o i>@s,ddlZejddgdfgddZdS)Nztext,expected_tokensu!คุณรักผมไหม)u คุณu รักuผมu ไหมcCs"dd||D}||ksJdS)NcSsg|]}|jqS)text).0tokenrrV/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/th/test_tokenizer.py sz%test_th_tokenizer..r) th_tokenizerrexpected_tokenstokensrrrtest_th_tokenizersr )pytestmark parametrizer rrrrs