なんJNVA部★395

797 ：：2024/05/15(水) 17:13:43.10 ID:u1ymusUy0.net

Prodigyはepochが終わるときに学習率を調整するから、repeatは1にしてこまめに調整したほうが良いと聞いたで
本当かどうかは知らんがそれでうまくいってるからそうしてる
スケジューラはcosine使ってるけど、それが原因の失敗はしてないで

ワイが思うProdigyの難しさはweight_decayとかd_coefとかbetasとかやと思うんや
Prodigy独自の設定項目やから調べても全然情報が出てこなくて何も分からんわ