o ϯi“ã@s$ddlZdd„Zdd„Zdd„ZdS)éNcCs|jD]}||d<qdS)NÚlr)Ú param_groups)Ú optimizerÚnew_lrÚ param_group©rúQ/home/ubuntu/.local/lib/python3.10/site-packages/laion_clap/training/scheduler.pyÚassign_learning_rates  ÿr cCs||d|S)Nér)Úbase_lrÚ warmup_lengthÚsteprrrÚ _warmup_lr srcs‡‡‡‡fdd„}|S)NcsT|ˆkr tˆˆ|ƒ}n|ˆ}ˆˆ}ddt tj||¡ˆ}tˆ|ƒ|S)Ngà?r )rÚnpÚcosÚpir )r rÚeÚes©r rÚstepsr rrÚ _lr_adjusters  zcosine_lr.._lr_adjusterr)rr r rrrrrÚ cosine_lr s r)Únumpyrr rrrrrrÚs