拿vps跑deepseek r1

louiejordan

jhsyue 发表于 2025-1-29 17:30
api那么便宜，真不如直接用api了啊

他家API页面到现在还没恢复

DogeLee2

toot 发表于 2025-1-29 17:42
牛逼啊。开搞

还有更厉害的模型吗，100刀独服左右能带得动那种

你cpu再厉害也跑不过显卡的
只能说是玩具
还是拿显卡跑

cherbim

不建议折腾，没显卡跑这玩意，一个问题，可能几分钟才能生成答案

toot

DogeLee2 发表于 2025-1-29 17:55
你cpu再厉害也跑不过显卡的
只能说是玩具
还是拿显卡跑

hetzner家应该有显卡吧

phigros

louiejordan 发表于 2025-1-29 17:44
他家API页面到现在还没恢复

话说，他家api到底多便宜啊，我没那个概念，能打个比方吗？

DogeLee2

cherbim 发表于 2025-1-29 17:56
不建议折腾，没显卡跑这玩意，一个问题，可能几分钟才能生成答案

是的
7b还是很快的
32b我5600都直卡死了
所以我后面写了玩具一个
不如api，显卡跑

DogeLee2

toot 发表于 2025-1-29 17:58
hetzner家应该有显卡吧

服务器一般除非专门的显卡服务器
不然没显卡的啊，除非你家用平台的服务器

看了下hz的是有的，但是核显，还不如1060的核显，llama的核显也难搞
真不建议跑，老实拿显卡跑，或者玩api
这个最多当玩具用

DogeLee2

phigros 发表于 2025-1-29 18:00
话说，他家api到底多便宜啊，我没那个概念，能打个比方吗？

100万token只要一毛钱
对比下openai的你就知道多便宜了

adminn

折腾啊~~~

phigros

DogeLee2 发表于 2025-1-29 18:05
100万token只要一毛钱
对比下openai的你就知道多便宜了

哦，但我看他还有个：
v3的百万tokens输出价格：2元

这个啥意思啊，还得加上输出价格嘛？
假如api调用了v3的100万token，他也输出了100万token的信息，那就是2.1元？