o i@sPddlZddfddfgZddfdd fgZd d fgZd d fd dfddfddfddfgZddfddfddfddfddfgZddfddfddfd d!fd"d#fgZd$d%fgZeeeeeeeZ d&gd'fgZ ej d(e d)d*Z ej d+e d,d-ZdS).Nu!Бала-чака жакшыбы?u"Бала-чака жакшыбы ?u%Кыз-келиндер кийими.u&Кыз-келиндер кийими .unПассажир саны - 2,13 млн — киши/күнүнө (2010), 783,9 млн. киши/жылына.uvПассажир саны - 2,13 млн — киши / күнүнө ( 2010 ) , 783,9 млн. киши / жылына .u То"койu То " койuЭртең 22-январь...u Эртең 22 - январь ...u*Маселе б-ча эртең келетu$Ахунбаев көч. турат.u%Ахунбаев көч. турат .u'«3-жылы (б.з.ч.) туулганu,« 3 - жылы ( б.з.ч. ) туулганu5Жүгөрү ж.б. дандар колдонулатu3-4 кк. курулган.u3 - 4 кк. курулган .u М.Жумашu М.жумашu м.Жумашuм . ЖумашuЖумаш М.Н.u Жумаш.u Жумаш .u«3-жылда , туулганu"« 3 - жылда , туулганu«3-жылда,туулганu«3-жылда,туулган.u$« 3 - жылда , туулган .uАл иштейт(качан?)u"Ал иштейт ( качан ? )uАл (качан?)иштейтu!Ал ( качан ?) иштейтuАлыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак: ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал. Мисалы, январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка (100 чакырымдан кем эмес) барып келгенге аракет кылдык.uАлыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак : ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал . Мисалы , январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка ( 100 чакырымдан кем эмес ) барып келгенге аракет кылдык .u:ит, мышык ж.б.у.с. үй жаныбарлары.)uит,u мышыкu+жана башка ушул сыяктууuүйuжаныбарлары.ztext,expected_tokenscCs"dd||D}||ksJdS)NcSsg|]}|js|jqS)is_spacetext.0tokenrrV/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/ky/test_tokenizer.py Nsz7test_ky_tokenizer_handles_testcases..r) ky_tokenizerrexpected_tokenstokensrrr #test_ky_tokenizer_handles_testcasesLsrz text,normscCs"||}dd|D|ksJdS)NcSsg|]}|jqSr)norm_rrrr r Usz=test_ky_tokenizer_handles_norm_exceptions..r)r rnormsrrrr )test_ky_tokenizer_handles_norm_exceptionsRsr)pytestsplitINFIX_HYPHEN_TESTSPUNC_INSIDE_WORDS_TESTSMIXED_ORDINAL_NUMS_TESTS ABBREV_TESTSNAME_ABBREV_TESTSTYPOS_IN_PUNC_TESTSLONG_TEXTS_TESTS TESTCASESNORM_TESTCASESmark parametrizerrrrrr sp