なんJNVA部★318

556 ：今、天王星のwiki見てきたら軌道傾斜角(i) が0.774°だった (ﾜｯﾁｮｲ 46f3-xGnM)：2024/01/18(木) 19:27:39.60 ID:vvCcwr7V0.net

ええタイミングやからニキらの意見聞きたい1.5環境での学習なんじゃが　11GB VRAM　128GB RAM
なんぼかLora作成しての体感的なものなんやがGradient?使用してバッチ数大きくしてVRAM限界で学習したものと、Gradient?利用せずに2〜4バッチで学習したLoraやと利用せずに少バッチで学習したほうが割かし望むものが出来た（気がする体感）
画風学習はDim128~ Alpha64~でやってて繰り返し数は15回で総ステップ数は40000前後になるよう調整してる（Loss 0.02ぐらい目指して）
オプティマイザーはAdam8w スケジューラ―はCosine with restart ,サイクル4回　LRは0.00005、0.0001
層別学習も試してみたけど、BlockWeightで後でいじればええかなって気持ちになってるんやが容量小さくできる以上にやっぱりメリットあるやろか？

小物の学習やシチュエーション、キャラLoraも作成してみたいんやがニキらの経験上の体感Dim Alphaはこれぐらいでいいよって基準ある？