o qiO@spdZddlZddlmZmZddlmZmZmZddl m Z ddl m Z m Z dd Zd d Zd d ZddZdS)z test caseN)URDU_ALPHABETSURDU_ALL_CHARACTERS)_URDU_CONJUNCTIONS_URDU_NEWLINE_WORDS_generate_sentences)sentence_tokenizer) WORDS_SPACEfix_join_wordscCsDtD] }|D]}|tvsJqqtD] }|D]}|tvsJqqdS) Test caseN)rrr)wordcharrX/home/ubuntu/.local/lib/python3.10/site-packages/urduhack/tokenization/tests/test_eos.pytest_conjunctions_newline_words srcCsVtD]$\}}|D] }|dkrq |tvsJq |D] }|dkr!q|tvs'JqqdS)r  N)r itemsr)keyvaluer rrrtest_words_spacesrcCsd}d}d}tt|dksJt|tsJt|tsJt|}t|}t|ts-Jt|ts4Jt|dts=Jt|}t|}t|tsLJt|tsSJt|dts\Jtt tdWddS1sqwYdS) Test Caseuہم اس کیلئے تیار ہیں لیکن پھرسسٹم لپیٹاجائے ؟کیجئے گا۔قومی اسمبلی کے اجلاس میں خطاب کرتے ہوئے۔ایسے رویوں سے تشدد کی لہر شروع ہوگی۔udہم اس کیلئے تیار ہیں لیکن پھرسسٹم لپیٹاجائےکیجئے گا n\ ۔r{N) lenr isinstancestrlistrpytestraises TypeError)texttext1text2 sentences sentences2rrrtest_generate_sentences#s&  "r%cCsd}t|}t|ts JdS)ru1پرویز خٹک اس کیلئے تیار ہیںN)r rr)r joinedrrrtest_fix_join_words;sr')__doc__rurduhack.urdu_charactersrreosrrr tokenizerrwordsr r rrr%r'rrrrs