なんJNVA部★364

339 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ｽｯﾌﾟ Sd73-/rD8)：2024/03/17(日) 13:51:31.02 ID:nWvnyP/Od.net

ebaraで2.5セミリアルlora作ろうとしてる人いるかな？
ワイは以下のパラメータでやってるんやけど、他にいいパラメータあったら教えて欲しい
LR 0.0001
dim 32
batch size 1
optimizer AdamW8bit

Prodigyとか試してみたいけど、難しそうやから二の足踏んでます