o ¡¿¯i@"ã@sPddlZddlZddlmZddlmZGdd„dejƒZGdd„dejƒZ dS)éN)Úmake_lexical_treecs<eZdZdZdZ   d ‡fdd„ Zdd „Zd d „Z‡ZS) Ú MultiLevelLMç _ Â绽×Ùß|Û=çš™™™™™é?çð?Tcs¦tt|ƒ ¡||_||_|d|_|d|_|j d|jd¡|_ |j d|jd¡|_ |d|_ |d|_ t |||jƒ|_t |¡|_||_t|ƒ|_||_d|_dS©NzzéÚizT)ÚsuperrÚ__init__ÚwordlmÚ subwordlmÚword_eosÚword_unkÚxpÚfullÚ xp_word_eosÚ xp_word_unkÚspaceÚeosrÚlexrootÚmathÚlogÚlog_oov_penaltyÚ open_vocabÚlenÚsubword_dict_sizeÚsubwordlm_weightÚ normalized)Úselfr rÚ word_dictÚ subword_dictrÚ oov_penaltyr©Ú __class__©úS/home/ubuntu/.local/lib/python3.10/site-packages/espnet/lm/chainer_backend/extlm.pyr s        zMultiLevelLM.__init__cCs |dur-| d|j¡\}}t |¡j}| d|¡\}}t |¡j|j}|j} d} |j} nŠ|\}}}} }} t |ƒ} | |jkrj| durS| ddkrS|j   d| dd¡} n|j } | || ¡\}}t |¡j}|j} d} n<| durƒ| | dvrƒ| d| } | |d| f7} n#|j r‘d} | |d| f7} n|j   d|jf|jd¡}||d|df|fS| ||¡\}}t |¡j|j}| |jkrò| durÓ| ddkrÓ|dd…| df| }n |dd…|jf|j}||dd…|jf<||dd…|jf<n|j|dd…|jf<|j|dd…|jf<|||| || f|fS)Ngr rr Úf)r rÚFÚ log_softmaxÚdatarrrrÚintrrrrrÚlogzerorrr)r ÚstateÚxÚ wlm_stateÚz_wlmÚ wlm_logprobsÚ clm_stateÚz_clmÚlog_yÚnew_nodeÚ clm_logprobÚxiÚnodeÚwÚ wlm_logprobr&r&r'Ú__call__.sJ     zMultiLevelLM.__call__c Csj|\}}}}}}|dur|ddkr|j d|dd¡}n|j}| ||¡\}} t | ¡jdd…|jfS©Nr rr ©rrrr r)r*r+r) r r.r3r0r2r9r5r7r:r1r&r&r'Úfinal`s zMultiLevelLM.final)rrT© Ú__name__Ú __module__Ú __qualname__r-Úzeror r<r?Ú __classcell__r&r&r$r'rsø2rcs8eZdZdZdZ d ‡fdd„ Zdd„Zd d „Z‡ZS) ÚLookAheadWordLMrrç-Cëâ6?Tcs”tt|ƒ ¡||_|d|_|d|_|j d|jd¡|_|j d|jd¡|_ |d|_ |d|_ t |||jƒ|_ ||_||_t|ƒ|_d|_dSr)r rFr r rrrrrrrrrrr#rrrr)r r r!r"r#rr$r&r'r os      zLookAheadWordLM.__init__cCsè|dur | d|j¡\}}|jjt |¡jdd}|j}|j}nh|\}}}t |ƒ}||jkr^|durC|ddkrC|j  d|dd¡} n|j } | || ¡\}}|jjt |¡jdd}|j}n*|duro||dvro|d|}n|j rud}n|j  d|j f|jd¡} |ddf| fS|durc|\} } } | durª|dd…| df|dd…| dfnd}||jkrÄ|j  d|j f|jd¡} |||f| fS|dd…|jf|dd…|jdf}|j  d|j f||jd¡}|  ¡D]$\}}|dd…|ddf|dd…|ddf||dd…|f<qê| dkr;|dd…| f|dd…| df|}||dd…|jf<||dd…|jf<n||jkrU|j|dd…|jf<|j|dd…|jf<|j |j ||jd¡¡} n |j d|j fd¡} |||f| fS)Nr )Úaxisrr r(ré)r rrÚcumsumr)Úsoftmaxr+rrr,rrrrr-rDrr#ÚitemsrrÚclipÚzeros)r r.r/r0r1Ú cumsum_probsr6r8r9r:r5ÚsuccÚwidÚwidsÚsum_probÚunk_probÚyÚcidÚndÚwlm_probr&r&r'r<€sd    (ÿý &ÿÿ.þ ( ÿzLookAheadWordLM.__call__cCsd|\}}}|dur|ddkr|j d|dd¡}n|j}| ||¡\}}t |¡jdd…|jfSr=r>)r r.r0rOr9r:r1r&r&r'r?Ás zLookAheadWordLM.final)rGTr@r&r&r$r'rFksÿArF) rÚchainerÚchainer.functionsÚ functionsr)Úespnet.lm.lm_utilsrÚChainrrFr&r&r&r'Ús   [