なんJLLM部 ★7

160 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ fb1b-BQFt)：2024/03/20(水) 05:27:28.46 ID:xP9UpbZh0.net

>>159
GPTQ、AWQ、EXL2はGPU&VRAMしか使わない。
GGUFは基本的にはCPU&メインメモリを使うけど、n-gpu-layers設定で一部をGPU&VRAMにオフロードすることもできる。