o i @s8ddlZddlmZgdZddZddZeeiZdS) N)LIKE_NUM)Mueníuoókànu ọ̀kanláuẹ́ẹdọ́gbọ̀nu àádọ́fàuẹ̀walélúɡbauegbèjeu ẹgbàárinuèjìueéjìuèjìláu ọgbọ̀n,u ọgọ́fàuọ̀ọ́dúrúnuẹgbẹ̀jọuẹ̀ẹ́dẹ́ɡbàárùnuẹ̀tau ẹẹ́tau ẹ̀taláuaárùndílogójìu àádójeuirinwóuẹgbẹ̀sànu ẹgbàárùnuẹ̀rinu ẹẹ́rinu ẹ̀rinláuogójìuogójeuẹ̀ẹ́dẹ́gbẹ̀tau ẹgbàáu ẹgbàájọuàrúnuaárùnuẹ́ẹdógúnu àádọ́tauàádọ́jọu ẹgbẹ̀tauẹgboókànláu ẹgbàawǎuẹ̀fàu ẹẹ́fàuẹẹ́rìndílógúnu ọgọ́tau ọgọ́jọuọ̀ọ́dẹ́gbẹ̀rinuẹgbẹ́ẹdógúnuọkẹ́marunuèjeuetàdílógúnu àádọ́rinuàádọ́sánu ẹgbẹ̀rinu ẹgbàajìuẹgbẹ̀ẹgbẹ̀rúnu ẹ̀jọu ẹẹ́jọueéjìdílógúnu ọgọ́rinu ọgọsànuẹ̀ẹ́dẹ́gbẹ̀rúnuẹgbẹ́ẹdọ́gbọ̀nuọgọ́rùn ọkẹ́u ẹ̀sánu ẹẹ́sànuoókàndílógúnuàádọ́rùnuẹ̀wadilúɡbauẹgbẹ̀rúnu ẹgbàátauẹ̀wáu ẹẹ́wàáuogúnu ọgọ́rùnigbau ẹgbẹ̀fàuẹ̀ẹ́dẹ́ɡbarincCsdddtd|DS)z Converts the string to NFD, separates & returns only the base characters :param text: :return: input string without diacritic adornments on base characters css"|] }t|dkr|VqdS)MnN) unicodedatacategory).0cr K/home/ubuntu/.local/lib/python3.10/site-packages/spacy/lang/yo/lex_attrs.py \sz%strip_accents_text..NFD)joinr normalizetextr r r strip_accents_textVs  rcstddddgd}tfdd|DrdStdd tD}r,dS|vs6|vr8dSd S) N,r.)udíudọuléudíndidinledoc3s|]}|vVqdS)Nr )r markrr r r dszlike_num..TcSsg|]}t|qSr )r)r numr r r gszlike_num..F)replaceanyr _num_wordsisdigitlower)r num_markers_num_words_strippedr rr like_numasr$)rattrsrrrr$ LEX_ATTRSr r r r s  Q