なんJNVA部★350

651 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった ：2024/03/05(火) 02:07:25.74 ID:grPNMGVe0.net

LoRA学習始めてみたんやけど、
ステップ数が同じ条件で、バッチ1とバッチ24（gradient_checkpointingあり）で比較してみたら
バッチ1の方が圧倒的に反映出来てたんやけど、ここまで違いでるもんなんかな

バッチ24でステップ数増やしたら改善されたから、gradient_checkpointing入れたらステップ数上げなアカン感じ？
ちなAdamW8bitでdim8