有没有大神会用gpu跑llama3 8b的

lilyhcn1

有张3060，但不会用。求大神指点

lilyhcn1

Eureka 发表于 2024-5-8 15:37
在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。

显卡可以试着多 ...

找了挺多教程，没看懂。
是不是不能在windows平台下用，
windows平台好像只能用cpu跑，这个太慢了。

c782464295

那么多教程，就是下载python装环境，下载模型和demo跑

acpp

直接用ollama简单点。

Eureka

在用rs2000（8H16G）跑llama3 8B，加了各种prompt后，生成速度5.74tokens/s，速度还不错。

显卡可以试着多加几张，跑个llama3 70B，ollama支持多卡的，总显存有50G这样子就可以非常流畅的运行了。

isxuew

ollama，windows下也可以用显卡，直接run就完事了

Eureka

lilyhcn1 发表于 2024-5-8 19:07
找了挺多教程，没看懂。
是不是不能在windows平台下用，
windows平台好像只能用cpu跑，这个太慢了。 ...

https://ollama.com/
windows上官网下载安装，然后打开cmd运行

1. ollama run llama3

复制代码

会自动下载几个G的模型，下载完然后就可以用了

GPU我是N卡，什么都没配置，直接就用上GPU了。

lilyhcn1

Eureka 发表于 2024-5-8 19:29
https://ollama.com/
windows上官网下载安装，然后打开cmd运行

！！！我也是这样啊，但GPU就没有用上。
那我重装试试

Eureka

lilyhcn1 发表于 2024-5-8 21:22
！！！我也是这样啊，但GPU就没有用上。
那我重装试试

据我的经验来看，运算的时候，GPU使用率不会太明显，只是显存会被占满，然后溢出，继续占用主板上的内存容量。

isxuew

lilyhcn1 发表于 2024-5-8 21:22
！！！我也是这样啊，但GPU就没有用上。
那我重装试试

只要看启动的时候的日志，就可以知道是cpu还是gpu了