なんJLLM部 ★7

341 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽﾌﾟｯｯ Sd73-A0KB)：2024/03/23(土) 22:20:21.24 ID:wboDdXped.net

>>340
脱獄オフだと申し訳されたからオンにして出力してもらった

imatrix併用のiQ3_XXSで量子化して使ってみてたけど、これいいかもしれない
70Bモデルが24.8GBまで縮んで会話内容もそんなに悪くなってる感じしない(個人的感覚)
ただ追加処理があるせいでCPUがボトルネックになってくるから、VRAMがそこまでなくてマルチスレッドに強いCPUを積んでるPCなら効果が高いかもしれない
うちはRyzen5600Xで生成1.35T/sで頭打ちっぽい(同じくらいの容量のQ2_Kだと2.1T/s出る)