o
     ¢iH  ã                   @   sH   d dl Z dd„ Ze j dg d¢¡dd„ ƒZe j dg d	¢¡d
d„ ƒZdS )é    Nc                 C   s    d}| |ƒ}t |ƒdksJ ‚d S )NuŽ  á‰»áŠ•áˆµáˆˆáˆ­ áŒ€áˆ­áˆ˜áŠ• áŠ£áŠ•áŒˆáˆ‹ áˆ˜áˆ­áŠ¨áˆ áŠ£á‰¥á‰³ áˆƒáŒˆáˆ­ á‰áŒ½áˆª áˆ˜á‰µáˆ“á‹á‰² áŠ®á‰ªá‹µ áˆ˜á‹“áˆá‰³á‹Š áŠ­á‰¥áˆ¨ áˆ˜á‹áŒˆá‰¥ á‹µáˆ•áˆª áˆáˆ…áˆ«áˆ™- áŒ½áŠ‘á‹• áŠ¥áŒˆá‹³ áŠ­áŒá‰ áˆ­ áŒ¸á‹Šá‹“á¢

áˆ˜áˆ­áŠ¨áˆ áˆŽáˆš áŠ•á‰³áˆ•á‰³á‹‹á‹­ á‰£á‹­á‰¶ áˆƒáŒˆáˆ« áŠ­á‰µáŒˆáˆáŒ½ áŠ¨áˆ‹á¡ áŠ£á‰¥ á‹ˆáˆ³áŠ’ áˆá‹•áˆ«á á‰ƒáˆáˆ² áŠ¢áŠ“ á‹˜áˆˆáŠ“-á‹³áˆ•áˆ«á‹‹á‹­ áˆ›á‹•á‰ áˆ áŠ«á‰¥á‰² á‰€á‹³áˆ›á‹­ áŠ­áŒˆá‹µá‹µ á‹­áŠ½áŠ¥áˆ`á‹© áŠ¢áˆ‹á¢

á‰µáŠ«áˆ áˆáŠ­áˆáŠ»áˆ á‰°áˆ‹áŒˆá‰¥á‰² áˆ•áˆ›áˆ›á‰µ áŒ€áˆ­áˆ˜áŠ•á¡ áŠ£á‰¥ á‹áˆ“áˆˆáˆ 24 áˆ°á‹“á‰³á‰µ áŠ£á‰¥ áˆáˆáŠ¥á‰² áŒ€áˆ­áˆ˜áˆ­ 590 áˆ°á‰£á‰µ á‰¥áŠ®á‰ªá‹µ19 áˆáˆŸá‰¶áˆ áŠ£ááˆŠáŒ¡`áˆŽá¢

á‰»áŠ•áˆµáˆˆáˆ­ áŠ£áŠ•áŒ€áˆ‹ áˆ˜áˆ­áŠ¨áˆ áŠ£á‰¥ áŠ¥á‹‹áŠ• á‰ á‹“áˆ‹á‰µ áˆá‹°á‰µ áˆµá‹µáˆ«á‰¤á‰³á‰µ áŠ­á‰°áŠ£áŠ»áŠ¸á‰£ á‹áá‰€á‹°áˆˆáŠ•`áŠ³ áŠ¥áŠ•á‰°áŠ¾áŠ á‹µáˆ•áˆªáŠ¡ áŠ£á‰¥ á‹˜áˆŽ áŒá‹œ áŒáŠ• áŠ¥á‰² áŠ¥áŒˆá‹³á‰³á‰µ áŠ­á‰µáŒá‰ áˆ­ á‰µá‹°áˆŠá¢éU   ©Úlen)Úti_tokenizerÚtextÚtokens© r   úQ/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/ti/test_text.pyÚ#test_ti_tokenizer_handles_long_text   s   r
   ztext,length))u9   á‰»áŠ•áˆµáˆˆáˆ­ áŒ€áˆ­áˆ˜áŠ• áŠ£áŠ•áŒˆáˆ‹ áˆ˜áˆ­áŠ¨áˆá§é   )u   â€œáˆµá‹µáˆ«á‰¤á‰³á‰µá§â€é   )uw   áŠ£á‰¥ áŠ¥á‹‹áŠ• á‰ á‹“áˆ‹á‰µ áˆá‹°á‰µ áˆµá‹µáˆ«á‰¤á‰³á‰µ áŠ­á‰°áŠ£áŠ»áŠ¸á‰£ á‹áá‰€á‹°áˆˆáŠ•`áŠ³ áŠ¥áŠ•á‰°áŠ¾áŠá¢é	   )u$   á‰¥áŒáˆá‰µ 10áŠª.áˆœ. áŒŽá‹­á‹©á¢é   )u&   áŠ£á‰¥ á‹áˆ“áˆˆáˆ 24 áˆ°á‹“á‰³á‰µ...r   c                 C   s   | |ƒ}t |ƒ|ksJ ‚d S )Nr   )r   r   Úlengthr   r   r   r	   Útest_ti_tokenizer_handles_cnts   s   r   z
text,match))Ú10T)Ú1T)z10.000T)Ú1000T)z999,0T)u   áˆ“á‹°T)u	   áŠ­áˆá‰°T)u   á‰µáˆªáˆá‹®áŠ•T)u	   áŠ¨áˆá‰¢F)ú,F)z1/2Tc                 C   s.   | |ƒ}t |ƒdksJ ‚|d j|ksJ ‚d S )Né   r   )r   Úlike_num)r   r   Úmatchr   r   r   r	   Útest_lex_attrs_like_number    s   r   )Úpytestr
   ÚmarkÚparametrizer   r   r   r   r   r	   Ú<module>   s    þ

þ