o  ¢iíã@s0ddlZdgd¢fgZej de¡dd„ƒZdS)éNuPAle eksistÄ›rujo mimo togo ceÅ‚a kopica narÄ›cow, ako na pÅ›ikÅ‚ad slÄ›pjaÅ„ska.) ÚAleu eksistÄ›rujoÚmimoÚtogouceÅ‚aÚkopicaunarÄ›cowú,ÚakoÚnau pÅ›ikÅ‚adu slÄ›pjaÅ„skaÚ.ztext,expected_tokenscCs&||ƒ}dd„|Dƒ}||ksJ‚dS)NcSsg|]}|js|j‘qS©)Úis_spaceÚtext)Ú.0Útokenr r úW/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/dsb/test_tokenizer.pyÚ sz,test_dsb_tokenizer_basic..r )Ú dsb_tokenizerr Úexpected_tokensÚtokensÚ token_listr r rÚtest_dsb_tokenizer_basicsr)ÚpytestÚDSB_BASIC_TOKENIZATION_TESTSÚmarkÚ parametrizerr r r rÚsþÿ