Draft acceptance tweaks?
一位用户正在寻求关于优化 MTP 性能的建议，特别是想知道他们当前的设置是否在预期范围内，或者是否可以进行进一步的调整。提供的配置详细信息包括一个运行 llama-server 的命令，使用了 Qwen3.6-35B-A3B-MTP-UD-Q8_K_XL.gguf 模型，并指定了诸如 --ctx-size 100352、--gpu-layers 999、--batch-size 1024 和 --spec-type draft-mtp 等参数，以期获得更好的草稿接受度。
- 发布
- 2026年9月7日 02:19
- 来源类型
- 开发者社区
- 档位
- 社区
- 信源状态
- 正常
时间以 UTC 显示
更多信息
What can I do to get more from MTP if anything? Or am I sitting at the expected range. Thanks
/opt/llama.cpp/build/bin/llama-server \ --host 10.210.44.126 \ --port 11434 \ --model /opt/models/Qwen3.6-35B-A3B-MTP-UD-Q8_K_XL.gguf \ --mmproj /opt/models/mmproj-35B-A3B-BF16.gguf \ --ctx-size 100352 \ --cache-type-k f16 \ --cache-type-v f16 \ --gpu-layers 999 \ --main-gpu 1 \ --poll 0 \ --batch-size 1024 \ --ubatch-size 256 \ --threads 6 \ --split-mode tensor \ --tensor-split 34,40,26 \ --jinja \ --reasoning-format deepseek \ --image-min-tokens 1024 \ --alias Qwen3.6-35B-MTP-Q8-XL,frigate \ --flash-attn on \ --reasoning on \ --spec-type draft-mtp \ --spec-draft-n-max 5 \ --ctx-checkpoints 48 \ --cont-batching \ --min-p 0.05 \ --top-p 0.80 \ --parallel 2 \ --metrics \ --kv-unified \ --temp 0.6 \ --top-k 20 \ --load-mode none \ --lazy-mode off \ --fit off \ --slots