o ¸i<ã@sddlmZmZmZddlZddlmZdeejdedej fdd„Z ej    dd ej d ej d ej d ej d ej dej dejdejdeedejedejedejeddfdd„ƒZej dd ej d ej d ej d ej dej dejdeeddfdd„ƒZdS)é)ÚTypeÚCallableÚOptionalNÚdtypeÚk_dimÚreturnc CsÜt |jd¡}t ||¡}t |ddkrdn|ddkr!dn |ddkr)dnd¡|}|dkr4dn |dkr:dn|dkr@d nd }|dkrHd n|d krNdnd}t t |||¡dtjt |ddk¡rfdnd|fd d ¡S) Néé€ré@é ééééé)rr)Úorder)ÚcutlassÚ const_exprÚwidthÚcuteÚmake_composed_layoutÚ make_swizzleÚmake_ordered_layout)rrÚ dtype_byteÚ bytes_per_rowÚsmem_k_block_sizeÚ swizzle_bitsÚ swizzle_base©rúT/home/ubuntu/vllm_env/lib/python3.10/site-packages/flash_attn/cute/ampere_helpers.pyÚget_smem_layout_atoms& ÿ"ýüÿý &ýr FÚ tiled_mmaÚaccÚtCrAÚtCrBÚtCsAÚtCsBÚsmem_thr_copy_AÚsmem_thr_copy_BÚhook_fnÚ A_in_regsÚ B_in_regsÚswap_ABc Cslt | ¡rt|||||||||| | dd dS| |¡} | |¡} t | ¡r2t ||d| d¡t | ¡rCt ||d| d¡t t |jd¡¡D]e}|t |jd¡dkr’t | ¡rwt ||dd|df| dd|df¡t | ¡r’t ||dd|df| dd|df¡t |||dd|f|dd|f|¡t |dko®|du¡r³|ƒqNdS)NF)r*r+r,©NNrrrr) rrÚgemmÚretilerÚcopyÚrange_constexprÚsizeÚshape)r!r"r#r$r%r&r'r(r)r*r+r,ÚtCrA_copy_viewÚtCrB_copy_viewÚkrrrr.sH  ô     "ÿ "ÿ&€ôr.c CsÊ| |¡}t ||d|d¡t t |jd¡¡D]G}t |t |jd¡dk¡rAt ||dd|df|dd|df¡t |||dd|f|dd|f|¡t |dko]|du¡rb|ƒqdS)Nr-rrr) r/rr0rr1r2r3rr.) r!r"r#r$r&r(r)r5r6rrrÚgemm_rsQs *&€ûr7)NFFF)N)ÚtypingrrrrÚ cutlass.cuterÚNumericÚintÚComposedLayoutr ÚjitÚTiledMmaÚTensorÚ TiledCopyÚ ConstexprÚboolr.r7rrrrÚsn  ôÿþýüûúùø ÷ ö õ ô ó3ùÿþýüûúùø