o
     ¢i  ã                   @   sN   d dl Z dg d¢fdg d¢fdg d¢fdg d	¢fgZe j d
e¡dd„ ƒZdS )é    Nu`   MÃ¥let til direktoratet er at alle skal bli tilbydd jobb i politiet sÃ¥ raskt som mogleg i 2014.)u   MÃ¥letÚtilÚdirektoratetÚerÚatÚalleÚskalÚbliÚtilbyddÚjobbÚiÚpolitietu   sÃ¥ÚrasktÚsomÚmoglegr   Ú2014Ú.ux   Han Ã¸nskjer ikkje at staten skal vere med pÃ¥ Ã¥ finansiere slik undervisning, men dette er rektor pÃ¥ skulen ueinig i.)ÚHanu   Ã¸nskjerÚikkjer   Ústatenr   ÚvereÚmedõ   pÃ¥õ   Ã¥Ú
finansiereÚslikÚundervisningú,ÚmenÚdetter   Úrektorr   ÚskulenÚueinigr   r   u„   IfÃ¸lgje China Daily vart det 8.848 meter hÃ¸ge fjellet flytta 3 centimeter sÃ¸rvestover under jordskjelvet, som vart mÃ¥lt til 7,8.)u   IfÃ¸lgjeÚChinaÚDailyÚvartÚdetz8.848Úmeteru   hÃ¸geÚfjelletÚflyttaÚ3Ú
centimeteru   sÃ¸rvestoverÚunderÚjordskjelvetr   r   r$   u   mÃ¥ltr   z7,8r   u8   Brukssesongen er frÃ¥ nov. til mai, med ein topp i mars.)ÚBrukssesongenr   u   frÃ¥znov.r   Úmair   r   ÚeinÚtoppr   Úmarsr   ztext,expected_tokensc                 C   s&   | |ƒ}dd„ |D ƒ}||ksJ ‚d S )Nc                 S   s   g | ]}|j s|j‘qS © )Úis_spaceÚtext)Ú.0Útokenr2   r2   úV/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/nn/test_tokenizer.pyÚ
<listcomp>%   s    z=test_nn_tokenizer_handles_exception_cases.<locals>.<listcomp>r2   )Únn_tokenizerr4   Úexpected_tokensÚtokensÚ
token_listr2   r2   r7   Ú)test_nn_tokenizer_handles_exception_cases"   s   r=   )ÚpytestÚNN_TOKEN_EXCEPTION_TESTSÚmarkÚparametrizer=   r2   r2   r2   r7   Ú<module>   s     þþþþí