o i!@s0ddlZdgdfgZejdeddZdS)Nu`Nitko se ne smije podvrgnuti mučenju ni nečovječnom ili ponižavajućem postupanju ili kazni.)Nitkosenesmije podvrgnutiumučenjuniu nečovječnomiliuponižavajućem postupanjurkazni.ztext,expected_tokenscCs&||}dd|D}||ksJdS)NcSsg|]}|js|jqS)is_spacetext).0tokenr r V/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/hr/test_tokenizer.py sz+test_hr_tokenizer_basic..r ) hr_tokenizerrexpected_tokenstokens token_listr r rtest_hr_tokenizer_basicsr)pytestHR_BASIC_TOKENIZATION_TESTSmark parametrizerr r r rs