RCreddit.com
13
·11小时前·开发者社区 · RSS
First time running local models
Llama模型发布端侧推理
热度趋势
趋势数据积累中
百分比基于当前可用热度信号,而非评论数或独立用户人数。
Llama 相关模型动态已经出现,适合跟踪能力变化、生态影响和后续可用性。
一位Reddit用户在dev_community中首次运行本地模型,标题为“First time running local models”。尽管该用户只有12GB的VRAM,对此感到有些遗憾,但他们对ik_llama的速度印象深刻,认为其运行非常快。
Sad that I only have 12gb of vram but this ik_llama is so fast