o ³©i!ã@s(ddlmZddlmZddlZddlZe dd¡Ze e  d¡¡Z e dd¡Ze e  d¡¡Z e dd¡Ze e  d¡¡Z d D] Z e e e dd …d <q@e  d d „e  ¡Dƒ¡e  dd „e  ¡Dƒ¡egd¢ƒZdd„Zdd„ZiZe  ¡D]#\ZZe ¡evr„qydevr‰qye d¡ZeeddgƒD]Zeee<q•qye  e¡eddƒZe e ¡e e ¡eddƒZe e ¡e e ¡e e ¡eddƒZe e ¡e e ¡eddƒZe e ¡eddƒZ e  e!e  "¡ƒ¡e  e!e  "¡ƒ¡e  e!e  "¡ƒ¡eeeedœZ#d!dd„Z$dd„Zdd „Z%dS)"é)Úproduct)Ú TextSearchNÚ contractionszdata/contractions_dict.jsonzutf-8zdata/leftovers_dict.jsonzdata/slang_dict.json) ÚjanuaryÚfebruaryÚmarchÚaprilÚjuneÚjulyÚaugustÚ septemberÚoctoberÚnovemberÚdecemberéÚ.cCói|] \}}| dd¡|“qS©ú'u’©Úreplace©Ú.0ÚkÚv©rúI/home/ubuntu/.local/lib/python3.10/site-packages/contractions/__init__.pyÚ órcCrrrrrrrr!r) zhe'szhe'llzwe'llúwe'dzit'szi'drzwe'rezi'llzwho'rezo'cCsVg}| |¡g}|D]}dd„|Dƒ}t||ƒ}t|ŽD] }| d |¡¡qq |S)NcSsg|]}|g‘qSrr)rÚxrrrÚ -sz$get_combinations..Ú)ÚappendÚ intersperserÚjoin)ÚtokensÚjoinersÚcombsÚresultsÚoptionÚcrrrÚget_combinations(s   ÿr,cCs(|gt|ƒdd}||ddd…<|S)Néér)Úlen)ÚlstÚitemÚresultrrrr$4sr$rr"Ú insensitiveÚnormÚobject))TF©TT)FT)FFTcCst||f}| |¡S©N)Ú replacersr)ÚsÚ leftoversÚslangÚtsrrrÚfixds  r=cCst ¡D]}| ||¡qdSr7)r8ÚvaluesÚadd)ÚkeyÚvaluer<rrrr?is ÿr?c Cs¬zt|ƒWnty}zt|ƒtdƒ‚d}~wwt}| |¡}g}|D]-}|j|}|j|}|dkr8d}|t|ƒkrBt|ƒ}| |j |j|j|||…dœ¡q&|S)a Return all contractions and their location before fix for manual check. Also provide a viewing window to quickly preview the contractions in the text. :param text: texture. :param flank: int number, control the size of the preview window. The window would be "flank-contraction-flank". :return: preview_items, a list includes all matched contractions and their locations. zArgument flank must be integer!Nr)ÚmatchÚstartÚendÚviewing_window) ÚintÚ ExceptionÚprintÚts_view_windowÚfindallrCrDr/r#rB) ÚtextÚflankÚer<r)Ú preview_itemsr2Ú window_startÚ window_endrrrÚpreviewns* €þ      ÿrQr6)&Ú itertoolsrÚ textsearchrÚjsonÚpkgutilÚget_dataÚ json_openÚloadsÚdecodeÚcontractions_dictÚleftovers_dictÚ slang_dictÚmonthÚupdateÚitemsÚsetÚ safety_keysr,r$Ú unsafe_dictrrÚlowerÚsplitr&ÚcombÚ ts_leftoversr?Úts_leftovers_slangÚts_slangÚts_basicrIÚlistÚkeysr8r=rQrrrrÚsl     ÿ    ÿ              ü