有没有大神会用gpu跑llama3 8b的

lilyhcn1 · 发表于 2024-5-9 08:19:33

本帖最后由 lilyhcn1 于 2024-5-9 08:25 编辑

Eureka 发表于 2024-5-8 21:51
据我的经验来看，运算的时候，GPU使用率不会太明显，只是显存会被占满，然后溢出，继续占用主板上的内存 ...

查看日志发现了，是CPU太渣了，无法启用GPU。
感谢

lilyhcn1 · 发表于 2024-5-9 08:21:57

isxuew 发表于 2024-5-8 21:57
只要看启动的时候的日志，就可以知道是cpu还是gpu了

CPU does not have AVX or AVX2, disabling GPU support
发现了，是CPU太烂的原因。我换个稍好点的CPU

		自动登录	找回密码
密码			注册