o …wÖi†ã@sRddlZddlmZejjdd„ƒZdd„Zedejdejfd d „ƒZd d „Z dS) éN)Ú jit_fusercCs*d|dt d|dd||¡S)zOpenAI's gelu implementation.gà?gð?gQ6Ô3Eˆé?g÷Hmâä¦?)ÚtorchÚtanh©Úx©rú_/home/ubuntu/sommelier/.venv/lib/python3.10/site-packages/nemo/collections/llm/fn/activation.pyÚ gelu_impls*r cCst|ƒS)N)r rrrrÚ openai_gelusr rÚreturncCs|t d|¡S)Ng¬Zd;û?)rÚsigmoidrrrrÚ quick_gelusr cCst tjj |¡d¡S)z!Squared ReLU activation function.é)rÚpowÚnnÚ functionalÚrelurrrrÚ squared_relu#sr) rÚmegatron.core.jitrÚjitÚscriptr r ÚTensorr rrrrrÚs