o  ¢iáã@s0ddlZdgd¢fgZej de¡dd„ƒZdS)éNuOKedagi ei või piinata ega ebainimlikult või alandavalt kohelda ega karistada.) ÚKedagiÚeiõvõiÚpiinataÚegaÚ ebainimlikultrÚ alandavaltÚkoheldarÚ karistadaÚ.ztext,expected_tokenscCs&||ƒ}dd„|Dƒ}||ksJ‚dS)NcSsg|]}|js|j‘qS©)Úis_spaceÚtext)Ú.0Útokenr r úV/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/et/test_tokenizer.pyÚ sz+test_et_tokenizer_basic..r )Ú et_tokenizerrÚexpected_tokensÚtokensÚ token_listr r rÚtest_et_tokenizer_basicsr)ÚpytestÚET_BASIC_TOKENIZATION_TESTSÚmarkÚ parametrizerr r r rÚsýÿ