o
     ¢iS  ã                   @   sô   d dl Z dg d¢fdg d¢fdg d¢fgZdg d	¢fgZd
g d¢fdg d¢fdg d¢fdg d¢fgZdg d¢g d¢fdg d¢g d¢fdg d¢g d¢fgZe j de¡dd„ ƒZe j de¡dd„ ƒZe j de¡d d!„ ƒZ	e j d"e¡d#d$„ ƒZ
dS )%é    Nu'   HyvÃ¤Ã¤ uutta vuotta t. siht. NiemelÃ¤!)u   HyvÃ¤Ã¤ÚuuttaÚvuottazt.zsiht.u   NiemelÃ¤ú!zPaino on n. 2.2 kg)ÚPainoÚonzn.z2.2Úkgz Vuonna 1 eaa. tapahtui kauheita.)ÚVuonnaÚ1zeaa.ÚtapahtuiÚkauheitaÚ.uK   1700-luvulle sijoittuva taide-elokuva Wikimedia-sÃ¤Ã¤tiÃ¶n Varsinais-Suomen)z1700-luvulleÚ
sijoittuvaztaide-elokuvau   Wikimedia-sÃ¤Ã¤tiÃ¶nzVarsinais-Suomenz-VTT:ssa ennen v:ta 2010 suoritetut mittaukset)zVTT:ssaÚennenzv:taÚ2010Ú
suoritetutÚ
mittauksetzALV:n osuus on 24 %.)zALV:nÚosuusr   Ú24ú%r   u   HiihtÃ¤jÃ¤ oli kilpailun 14:s.)u
   HiihtÃ¤jÃ¤ÚoliÚ	kilpailunz14:sr   zEU:n toimesta tehtiin jotain.)zEU:nÚtoimestaÚtehtiinÚjotainr   u   PÃ¤Ã¤timme ettemme tule.)u
   PÃ¤Ã¤timmeÚettÚemmeÚtuler   )u
   pÃ¤Ã¤timmeu   ettÃ¤r   r   r   zMiksei puhuttaisi?)ÚMiksÚeiÚ
puhuttaisiú?)Úmiksir   r   r    z"He tottelivat vaikkeivat halunneet)ÚHeÚ
tottelivatÚvaikkÚeivatÚ	halunneet)Úher#   Úvaikkau   eivÃ¤tr&   ztext,expected_tokensc                 C   ó&   | |ƒ}dd„ |D ƒ}||ksJ ‚d S )Nc                 S   ó   g | ]}|j s|j‘qS © ©Úis_spaceÚtext©Ú.0Útokenr+   r+   úV/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/fi/test_tokenizer.pyÚ
<listcomp><   ó    z3test_fi_tokenizer_abbreviations.<locals>.<listcomp>r+   ©Úfi_tokenizerr.   Úexpected_tokensÚtokensÚ
token_listr+   r+   r2   Útest_fi_tokenizer_abbreviations9   ó   r:   c                 C   r)   )Nc                 S   r*   r+   r,   r/   r+   r+   r2   r3   C   r4   z6test_fi_tokenizer_hyphenated_words.<locals>.<listcomp>r+   r5   r+   r+   r2   Ú"test_fi_tokenizer_hyphenated_words@   r;   r<   c                 C   r)   )Nc                 S   r*   r+   r,   r/   r+   r+   r2   r3   J   r4   z>test_fi_tokenizer_abbreviation_inflections.<locals>.<listcomp>r+   r5   r+   r+   r2   Ú*test_fi_tokenizer_abbreviation_inflectionsG   r;   r=   z#text,expected_tokens,expected_normsc                 C   s@   | |ƒ}dd„ |D ƒ}dd„ |D ƒ}||ksJ ‚||ksJ ‚d S )Nc                 S   r*   r+   r,   r/   r+   r+   r2   r3   Q   r4   z2test_fi_tokenizer_contractions.<locals>.<listcomp>c                 S   r*   r+   )r-   Únorm_r/   r+   r+   r2   r3   R   r4   r+   )r6   r.   r7   Úexpected_normsr8   r9   Ú	norm_listr+   r+   r2   Útest_fi_tokenizer_contractionsN   s
   rA   )ÚpytestÚABBREVIATION_TESTSÚHYPHENATED_TESTSÚABBREVIATION_INFLECTION_TESTSÚCONTRACTION_TESTSÚmarkÚparametrizer:   r<   r=   rA   r+   r+   r+   r2   Ú<module>   sR    þ
þúþÿþ


ùýýýõ


