o ãÊi‰ã@sìUddlmZmZddlZddlZddlmZejj Z iZ eeefed<dd„Zee j je jjgƒddd„ƒZee jjgƒdd d „ƒZee jjgƒddd„ƒZee jjgƒdd d„ƒZee jjgƒddd„ƒZee jjgƒddd„ƒZdS)é)ÚAnyÚDictN)Ú SwizzleTensorÚSWIZZLE_OPS_TABLEcs‡fdd„}|S)z)Register aten ops to the swizzle op tablecsˆD]}|t|<q|S©N)r)ÚfuncÚop©Úaten_ops©úO/home/ubuntu/.local/lib/python3.10/site-packages/torchao/swizzle/swizzle_ops.pyÚ decorators zimplements..decoratorr)r r rr rÚ implementssrcCsÄ|d}|d}t |¡rAt |¡rA|jdkrA|jdkrAd}d}t|tƒr+| ¡}d}t|tƒr6| ¡}d}tj ||||¡}|St|tƒrJ| ¡n|}t|tƒrU| ¡n|}|||fi|¤Ž}|S)NrééFT) ÚtorchÚis_floating_pointÚndimÚ isinstancerÚ as_tensorÚtorchaoÚopsÚ swizzle_mmÚ unswizzle)Úaten_opÚargsÚkwargsÚaÚbÚ a_is_swizzledÚ b_is_swizzledÚ tensor_outrrrrs,ÿþ ýrcCsN|d}|d}t|tƒr| ¡n|}t|tƒr| ¡n|}|||fi|¤ŽS)Nrr©rrr)rrrrrrrrÚswizzle_bmm7s r#cCsb|d}|d}|d}t|tƒr| ¡n|}t|tƒr | ¡n|}|||||dd…fi|¤ŽS)Nrrrér")rrrÚbiasrrrrrÚ swizzle_addmmAsr&c CsÀ|d}|d}|d}|d}t|ƒdkrdn|d}t|ƒdkr$dn|d}t|ƒdkr0dn|d} d} d}t|tƒrC| ¡}d } t|tƒrN| ¡}d }tjj||| |||||| f i|¤ŽS) Nrrrr$éééFT)ÚlenrrrrrÚswizzle_scaled_mm)rrrrrÚscale_aÚscale_br%Úscale_resultÚ out_dtyperr rrrr+Ks8 ÷ ör+cCsJ|d}|d}t|ƒdkr|ddkr|ddkr| ¡S|| ¡|ƒS)Nrrr)r*Úshallow_transposer)rrrÚtensorÚdimsrrrÚswizzle_permuteks $r3cCs|d}| ¡S)Nr)r0)rrrr1rrrÚswizzle_numpy_Ttsr4r)ÚtypingrrrÚtorchao.opsrÚtorchao.swizzle.swizzle_tensorrrÚatenrÚ__annotations__rÚmmÚdefaultÚmatmulrÚbmmr#Úaddmmr&Ú _scaled_mmr+Úpermuter3Únumpy_Tr4rrrrÚs&