现在自己部署deepseek是不是配置要求比LLAMA低了很多

netAlchemist · 发表于 4 天前

有没有折腾过的大神说说自己配置和体验

julie · 发表于 4 天前

要是你说的是r1的话, 个人应该不好部署. 要是你说的是蒸馏的千问或Llama, 我觉得还不如base model.

因为deepseek r1是MoE结构, 我估计拿CPU跑都不慢的. 以前我用老的服务器只用CPU跑也是MoE的WizardLM-2-8x22B, 一秒钟也有2, 3个token.

你要是有1T的内存, 可以试试用纯CPU跑.

无神通 · 发表于 4 天前

低很多，原版只需要 800G 内存，Q4 量化版本只需要 400G 内存

httpd · 发表于 4 天前

是不是參雜許多特色內容

netAlchemist · 发表于 4 天前

redneck 发表于 2025-1-27 19:02

这个有意思啊 4个MAC MINI也不是很贵一般公司负担的起

=== · 发表于 4 天前

插眼

eastcukt · 发表于 4 天前

配置主要看你要部署的模型参数。

redneck · 发表于 4 天前

pykane · 发表于 4 天前

参数越大，需要的显卡要求越高，内存也很。
我之前本老的IMAC 电脑上跑过 lama2 7B 最小的，提交个筒单的处理，要几分钟。
DS 正在打算试试。应配制要底一些。

terryxu · 发表于 4 天前

可以试试用 LM studio 部署 deepseek 7b的模型

magneticfield · 发表于 4 天前

1.5B的可以在手机上跑

		自动登录	找回密码
密码			注册

现在自己部署deepseek是不是配置要求比LLAMA低了很多

浏览过的版块