o ÒÙ¾i¬ã@s´ddlmZddlZddlZddlmZ  ddejdejdejdedeejd eejd dfd d „Z   ddejd ejdejdedeejdeejdeejd dfdd„Z dS)é)ÚOptionalN)Úrms_norm_kernelÚxÚweightÚoutÚepsÚin_scaleÚ out_scaleÚreturnc Cs¼|j\}}t |¡}tdtd|dƒƒ} t|fdid|“d|“d|“d| d¡“d |“d d “d d“d |“d|“d| d¡“d|“d|“d|“d|d u“d|d u“dd“dd“d| “Žd S)z[RMS norm. Computes `out[i,j] = x[i,j] * weight[j] / sqrt(eps + sum(x[i]^2) / n)`. éé éÚnÚbÚx_ptrÚx_striderÚ x_scale_ptrÚr_ptrNÚr_strideÚw_ptrÚo_ptrÚo_strideÚ o_scale_ptrÚEPSÚ BLOCK_SIZEÚ HAS_IN_SCALEÚ HAS_OUT_SCALEÚ HAS_OUTPUTTÚ HAS_RESIDUALFÚ num_warps©)ÚshapeÚtritonÚnext_power_of_2ÚmaxÚminrÚstride) rrrrrr rrÚ block_sizerr r úJ/home/ubuntu/.local/lib/python3.10/site-packages/flashinfer/triton/norm.pyÚrms_norm sP ÿþý üûúùø ÷ ö õ ô óòñðïîr)ÚresidualÚx_outÚ x_in_scaleÚ x_out_scalec Cs>|j\}}|j|jks J‚| d¡| d¡ksJ‚t |¡} tdt | d¡ƒ} t|fdid|“d|“d|“d| d¡“d|“d|“d | d¡“d |“d |“d |d urX| d¡n$d“d|“d|“d| “d|d u“d|d u“d|d u“dd“d| “Žd S“d|“d|“d| “d|d u“d|d u“d|d u“dd“d| “Žd S)zmIn-place RMS norm with fused residual addition. Computes `r = r + x`, followed by `x = rmsnorm(r)`. rr rrrrrrrrrrNrrrrrrrTrr )r!r&r"r#r%Úcdivr) rr*rrr+r,r-rrr'rr r r(Úrms_norm_add_residual1sx  ÿþý üûú ùø ÷ ö õ ô óòñðïî ö õ ô óòñðïîr/)NN)NNN) ÚtypingrÚtorchr"Úflashinfer.triton.kernels.normrÚTensorÚfloatr)r/r r r r(ÚsR  úÿþýüûú ù-ùÿþýüûúùø