o
    iF                     @   s:   d dl Z dg dfdg dfgZe jdedd ZdS )	    Nu   Մետաղագիտությունը պայմանականորեն բաժանվում է տեսականի և կիրառականի (տեխնիկական))
u"   Մետաղագիտությունըu   պայմանականորենu   բաժանվում   էu   տեսականիu   ևu   կիրառականի(u   տեխնիկական)uy   Գետաբերանը գտնվում է Օմոլոնա գետի ձախ ափից 726 կմ հեռավորության վրա)u   Գետաբերանըu   գտնվումr   u   Օմոլոնաu   գետիu   ձախu   ափից726u   կմu   հեռավորությանu   վրաztext,expected_tokensc                 C   s&   | |}dd |D }||ksJ d S )Nc                 S   s   g | ]}|j s|jqS  )is_spacetext).0tokenr   r   V/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/hy/test_tokenizer.py
<listcomp>+   s    z=test_ga_tokenizer_handles_exception_cases.<locals>.<listcomp>r   )hy_tokenizerr   expected_tokenstokens
token_listr   r   r   )test_ga_tokenizer_handles_exception_cases(   s   r   )pytesthy_tokenize_text_testmarkparametrizer   r   r   r   r   <module>   s    #