集显、docker本地部署deepseek大模型

云生

https://v.douyin.com/if45L5qx/

deepseek r1  1.5B
最小的模型，可以用集显运行
docker 部署

gspl

客户端凑合用，又不是ai包子

非常店小二

太香了

VMISS

不是很明白 自己部署了有啥用？ 还需要自己训练么？

自然卷的气质

集显显存能多大

masir

API便宜部署个毛线，多大量啊

你好，再见

7b我都嫌废，这还1.5b

Hetzner

大模型，即大型语言模型(LLM)，是指基于Transformer 模型架构，具有大规模参数和复杂计算结构的超大型机器学习模型（超过10 亿个参数），通常由深度神经网络构建，对海量数据进行预训练处理。 大模型的底层转换器包含一系列神经网络，分为编码器和解码器，且具有自注意力功能。

1.5亿参数严格来说不算大模型

louiejordan

集显就算了，6系A卡能不能跑？

bobbylong

louiejordan 发表于 2025-1-29 01:05
集显就算了，6系A卡能不能跑？

你OUT了，谁告诉你非要独立显卡跑的？一年前deep seek家的模型就不吃显卡了。