o
    i
                     @   s0   d dl Z dg dfgZe jdedd ZdS )    Nu\   Nevienu nedrīkst spīdzināt vai cietsirdīgi vai pazemojoši ar viņu apieties vai sodīt.)Nevienuu	   nedrīkstu   spīdzinātvaiu   cietsirdīgir   u   pazemojošiaru   viņuapietiesr   u   sodīt.ztext,expected_tokensc                 C   s&   | |}dd |D }||ksJ d S )Nc                 S   s   g | ]}|j s|jqS  )is_spacetext).0tokenr   r   V/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/lv/test_tokenizer.py
<listcomp>   s    z+test_lv_tokenizer_basic.<locals>.<listcomp>r   )lv_tokenizerr	   expected_tokenstokens
token_listr   r   r   test_lv_tokenizer_basic   s   r   )pytestLV_BASIC_TOKENIZATION_TESTSmarkparametrizer   r   r   r   r   <module>   s    