流出的类 GPT 模型 LLaMA 的运行效果

ByteCat · 发表于 2023-3-5 18:34:26

相信大家都已经下载了 LLaMA 的模型来玩了，我今天也玩了一下，效果其实和想象的差很多。

运行环境：
GPU: RTX 4090
Weight: LLaMA-7B
在默认 FP16 下运行，会占用 22GB 左右的显存

总结：英文补全勉强能看，但好像还是挺差的，中文补全直接胡言乱语，和 GPT-3 相距甚远，可能还要作为模型基础继续针对训练，对普通用户来说基本没什么可用性

5700pgf · 发表于 2023-3-5 18:36:53

下不动，更关键是没卡。。。。

ByteCat · 发表于 2023-3-5 18:52:35

5700pgf 发表于 2023-3-5 18:36
下不动，更关键是没卡。。。。

下载还好吧，我用qb直接跑满带宽了，主要是效果有点拉，而且有点烧钱，我用 4090 的24G才跑动最小的7B模型……

小旭 · 发表于 2023-3-5 18:52:53

人家烧掉上百亿才出现目前的程度而且每天还在增加自己玩儿根本不行除非数据全部拿到

WZ-Software · 发表于 2023-3-5 18:53:16

下不动，老哥能传一份网盘分流一下吗

5700pgf · 发表于 2023-3-5 19:27:36

ByteCat 发表于 2023-3-5 18:52
下载还好吧，我用qb直接跑满带宽了，主要是效果有点拉，而且有点烧钱，我用 4090 的24G才跑动最小的7B模 ...

好像是有这个问题，QB可以下，ARIA2下不动，之前我有看到别人这样说

CJ大牛赚美元 · 发表于 2023-3-5 19:49:39

提示: 作者被禁止或删除内容自动屏蔽

52naiba · 发表于 2023-3-5 19:54:56

gpt好像170多PB的数据，

colla · 发表于 2023-3-5 21:11:42

效果好的肯定不会放出来

antbt · 发表于 2023-3-6 07:31:57

想达到GPT的效果，家里没矿就别想了；人家把算法和训练模型给你，你也运行不起来

		自动登录	找回密码
密码			注册

CJ大牛赚美元 CJ大牛赚美元当前离线积分 2968	发表于 2023-3-5 19:49:39 来自手机 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
CJ大牛赚美元 CJ大牛赚美元当前离线积分 2968
	回复支持反对举报

流出的类 GPT 模型 LLaMA 的运行效果

浏览过的版块