o 'N ic%ã@sžddlZddlZddlmZddlZddddddd œZiZe ¡D]\Z Z e ee <q!d d „Z d d „Z dd„Z dd„Zdd„Zddd„Zddd„Zddd„ZdS)éN)Ú indic_scriptsuà´£uà´¨uà´°uà´²uà´³uà´•)uൺuൻuർuൽuൾuൿcCsTt dd|¡}t ¡D]\}}| |d |¡¡}| |d¡}q t dd|¡}||fS)Nú[0-9]Ú0u{}àµÚ41ú[^0-9])ÚreÚsubÚchillu_char_mapÚitemsÚreplaceÚformat)ÚwordÚ word_maskÚchilluÚchar©rúQ/home/ubuntu/.local/lib/python3.10/site-packages/indicnlp/syllable/syllabifier.pyÚnormalize_malayalams rc Cst|ƒ}t|ƒ}d}|dkrCz| d|¡}t|||||d…<d|||d…<|}Wnty>}zWYd}~n d}~ww|dksd |¡S)NrÚ4érÚ)ÚlistÚindexÚchar_chillu_mapÚ ValueErrorÚjoin©r rÚidxÚstartÚerrrÚdenormalize_malayalam's  €ÿú r cCsXt dd|¡}| dd¡}| dd¡}t dd|¡}t dd|¡}t d d|¡}||fS) Nrrõà©°uਂÚ2z \u0a71(.)u\1à©\1Ú311r)rrr )r rrrrÚnormalize_punjabi9s  r$c Csðt|ƒ}t|ƒ}d}|dkr7z| d|¡}d||<d||<|}Wnty2}zWYd}~n d}~ww|dksd}|dkrsz| d|¡}d ||¡|||d…<d|||d…<|}Wntyn}zWYd}~n d}~ww|dks=d  |¡S) Nrr"r!rÚ3uੱ{}éÚ00r)rrrr rrrrrÚdenormalize_punjabiHs6  €ÿú   €ÿú r(cCsJg}|dur |}|S|D]}||vr| |¡q |D]}| |¡qq |S©N)Úappend)Úsyllables_listÚvocabÚsyllables_finalÚsÚxrrrÚ char_backoffes ù  ÿr0c sèdgt|ƒ}ˆdkrt|ƒ\}}|}n ˆdkrt|ƒ\}}‡fdd„|Dƒ}g}g}tt|ƒƒD] }||}| ||¡| ||¡|dt|ƒkrkt ||d¡r`t ||d¡rk| d¡| d¡q1t |¡rut |¡r€| d¡| d¡q1t |¡rÀ|dt|ƒkoŸt  ||d¡oŸt  ||d¡ } |dt|ƒko°t  ||d¡} | s¿| s¿| d¡| d¡q1|dt|ƒkróz3orthographic_syllabify_improved..éú rrÚ01rÚWarning)Úlenrr$Úranger*r5Úis_validÚis_miscÚis_vowelÚ is_anusvaarÚ is_plosiveÚ is_consonantÚis_nuktaÚis_dependent_vowelrÚfindÚprintr r(ÚstripÚsplitr0) r r;r,rÚ p_vectorsÚ syllablesÚsyllables_maskÚiÚvÚ anu_nonplosÚanu_eowr+rr:rÚorthographic_syllabify_improvedus€  4     ÿþÿ  €ÿÿ  ÿ  ÿ   €       rWc sü‡fdd„|Dƒ}g}tt|ƒƒD]Ý}||}| ||¡|dt|ƒkr>t ||d¡r8t ||d¡r>| d¡qt |¡rHt |¡rN| d¡qt |¡r‰|dt|ƒkomt ||d¡omt ||d¡ }|dt|ƒko~t ||d¡}|sˆ|sˆ| d¡q|dt|ƒkrît  |¡s›t  |¡rît  ||d¡rª| d¡qt ||d¡rÂt  ||d¡sÂ| d¡qt ||d¡rî|dt|ƒkoÜt ||d¡ }|dt|ƒk}|sî|sî| d¡qd  |¡  ¡ d¡} t| |ƒS)Ncr3rr4r7r:rrr<×r=z*orthographic_syllabify..r>r?rr)rCrBr*r5rDrErFrGrHrIrJrKrrNrOr0) r r;r,rPrQrSrTrUrVr+rr:rÚorthographic_syllabifyÕsT4   ÿþÿ €ÿÿ ÿ ÿ € rXcs‡fdd„|Dƒ}g}tt|ƒƒD]k}||}| ||¡|dt|ƒkr>t ||d¡r8t ||d¡r>| d¡qt |¡rMt |¡sMt |¡rS| d¡q|dt|ƒkr|t |¡set |¡r|t ||d¡swt  ||d¡r|| d¡qd  |¡  ¡  d¡}t ||ƒS)Ncr3rr4r7r:rrr<r=z1orthographic_simple_syllabify..r>r?r)rCrBr*r5rDrErFrIrJrGrrNrOr0)r r;r,rPrQrSrTr+rr:rÚorthographic_simple_syllabifys4ÿÿ  ÿÿþþ € rYr))ÚcodecsÚsysÚindicnlp.scriptrr5rr rr ÚkrTrr r$r(r0rWrXrYrrrrÚs* ú     `@