跳到正文
RCreddit.com·
暂不在当前实时榜单

What's the best setup for Qwen3.8 27b for a 16 gig VRAM?

AI 摘要

A user on reddit.com inquired about the optimal setup for Qwen3.8 27b with 16 GB VRAM. They provided a llama.cpp command for llama-server, specifying parameters like --model ~/Documents/Models/Qwen3.8-27B-GSQ-RCO-IQ3_XXS-mtp.gguf, --host 0.0.0.0, --port 8001, --ngl 99, --flash-attn on, and --ctx-size 131072. The user reported achieving speeds of 35 tokens/second or more with this configuration.

为什么是这条

Unlike general discussions, this post provides a specific llama.cpp command and performance metrics (35+ t/s) for Qwen3.8 27b on 16GB VRAM, offering a concrete starting point.

时间与来源

时间显示为 UTC

显示时区:UTC

本地时区尚不可用,暂时显示 UTC。

收录当时偏移:UTC+02026年10月2日 03:00 UTC

收录
2026年10月2日 03:00
来源类型
开发者社区

本站未收录正文。

前往源站阅读 →
来源·reddit.com