Slow interference is great

模型发布

热度趋势

趋势数据积累中

百分比基于当前可用热度信号，而非评论数或独立用户人数。

AI 摘要

一位用户表达了对慢速推理的喜爱，认为以轻松的节奏解决问题令人愉快。他们承认，虽然可以使用更强大的设置（例如，在他们的游戏设备上运行“debian”，速度达到“10t/s +”），但他们更喜欢让一台没有GPU的较弱服务器以“2t/s”的速度处理模型，并“放松”。这种方法让他们可以预估“20分钟”的烹饪时间，每次搜索会增加“30分钟”，从而创造出一种刻意而从容的工作流程。

No seriously, I kinda like it. You have something to solve, you put it.

You know its gonna take like 20 mins to cook. Every search adds another 30 minutes.

Yes I could boot up my debian on my gaming rig, run the same model at 10t/s + but why? I rather let the poor server without GPU burn and run the same model at 2t/s and chill.

Its great, I love it.