o  ¢i{ã@s<ddlZddlZddlmZddlmZGdd„deƒZdS)éN)ÚTensor)ÚModulecs>eZdZddœdedef‡fdd„Zdedefd d „Z‡ZS) ÚSinusoidalPositionalEmbeddingT)Ú normalizeÚdimÚmax_lencsÀtƒ ¡t |¡ d¡}t t d|d¡t d¡ |¡}t ||¡}t  ||¡|dd…ddd…f<t  ||¡|dd…ddd…f<|dkrWtj |dd}|| d¡}||_ d|j _ dS) NérégˆÃ@Téÿÿÿÿ)rF)ÚsuperÚ__init__ÚtorchÚarangeÚ unsqueezeÚexpÚmathÚlogÚzerosÚsinÚcosÚnormÚpeÚ requires_grad)ÚselfrrrÚpositionÚdiv_termrÚl2©Ú __class__©úZ/home/ubuntu/.local/lib/python3.10/site-packages/curated_transformers/models/embeddings.pyr s $    z&SinusoidalPositionalEmbedding.__init__ÚxÚreturncCs|j| d¡dd…fS)z: Shapes: x - (batch, seq_len) rN)rÚsize)rr!rrr Úforwardsz%SinusoidalPositionalEmbedding.forward)Ú__name__Ú __module__Ú __qualname__Úintr rr$Ú __classcell__rrrr rsr)rr rÚtorch.nnrrrrrr Ús