hostloc首发？在自己机器上跑起来了英伟达Nemotron-Ultra-253B模型

吊打华伪

众生平等，这个体积，除了英伟达专业显卡，其他所有卡包括4090都是废品，大家都要用cpu算

非moe，用不了清华大学的推理构架。


众生平等之下MJJ掌握优势：一般人没有4通道的内存， MJJ人手一个E5 ovh


实测，E5 ovh不到0.3个token/s, 我去问个问题，吃完饭，回来再看！



官网：https://build.nvidia.com/nvidia/llama-3_1-nemotron-ultra-253b-v1   卡成狗了

loc首发介绍：https://hostloc.wiki/thread-1402426-1-1.html   但是openrouter就没必要了，貌似时非推理的。




英伟达整个模型比较强，可以时推理的模型，也可以关闭推理。

我是老王

免费的一大堆 干什么要这样折磨自己呢

坏鸡鸡

钱多,,,,,,我们用不起

纵横天下

我是老王 发表于 2025-4-13 12:34
免费的一大堆 干什么要这样折磨自己呢

这样可以显得自己相当的牛逼。就好像AI程序是他设计出来的一样