Ninfer and a 5090 with 3.8 27B is making me cry tears of joy it's so good.

查看原文

Llama模型发布

热度趋势

趋势数据积累中

百分比基于当前可用热度信号，而非评论数或独立用户人数。

推荐理由

Llama 相关模型动态已经出现，适合跟踪能力变化、生态影响和后续可用性。

AI 摘要

一位用户报告称，使用 Ninfer 和 5090 GPU 在 3.8 27B 模型上取得了卓越的性能，最高可达每秒 220 个 token，平均速度在 170 左右。该设置包括 ninfer-serve 命令，并带有 --max-context 240000、--kv-capacity 240000 和 --kv-dtype fp8 等参数。据称，与 llama.cpp 相比，吞吐量增加了一倍以上。用户对该项目所取得的令人难以置信的成就表示了极大的满意。

Built the latest and I'm getting as much as 220 tokens per second and averaging in the 170s, I can't get over it.

If anyone on here is on that project, fuckkkin' chapeau man, really incredible job. I can't believe I was able to like double or more my throughput from llama.cpp

This is what I set up:

command: >

ninfer-serve /models/qwen3_8_27b_nvfp4.ninfer

--model-id qwen3.8-27b-nvfp4

--host 0.0.0.0

--max-context 240000

--kv-capacity 240000

--max-concurrency 2

--kv-dtype fp8

--host-kv-mib 16384

--spec mtp --draft-tokens 3

--lm-head-draft

--vision

--media-live-mib 2048