o
     ¢i-  ã                   @   sH   d dl Z dd„ Ze j dg d¢¡dd„ ƒZe j dg d	¢¡d
d„ ƒZdS )é    Nc                 C   s    d}| |ƒ}t |ƒdksJ ‚d S )Nu²  áˆ†áˆ´ áˆ™áŒ‚áŠ« á‰ á‰ áŒ‹ á‹ˆá‰…á‰µ á‰ áŠ¦áŠ­áˆµáŽáˆ­á‹µ áŠ•áŒáŒáˆ­ áŠ áŠ•á‹µá‹«á‰€áˆ­á‰¡ áˆ²áŒ‹á‰ á‹™ áŒ­áŠ•á‰…áˆ‹á‰³á‰¸á‹ "áˆáŠá‹³"á¢

â€œáŠ¥áŒ…áŒ áŒ¥áŠ•á‰³á‹Šâ€ á‹¨áŠ¥áŠ•áŒáˆŠá‹áŠ› á‰°áŠ“áŒ‹áˆª á‹©áŠ’á‰¨áˆ­áˆµá‰²á£ á‰ áŠ áˆµáˆ­ áˆºá‹Žá‰½ á‹¨áˆšá‰†áŒ áˆ© á‹©áˆ®á‹Žá‰½áŠ• áˆˆá‰°áˆ›áˆªá‹Žá‰½ á‰ áˆ›áˆµá‰°áˆ›áˆ­ á‹¨áˆšá‹«áˆµáŠ¨ááˆˆá‹

áŠ¥áŠ“ áŠ¨áˆ›áˆ­áŒ‹áˆ¬á‰µ á‰³á‰¸áˆ­ áŠ¥áˆµáŠ¨ áˆµá‰²á‰¨áŠ• áˆ†áŠªáŠ•áŒ á‰ áŠ á‹³áˆ«áˆ¾á‰»á‰¸á‹ á‹áˆµáŒ¥ áŠ•áŒáŒáˆ­ á‹«á‹°áˆ¨áŒ‰á‰ á‰µ á‹¨á‰µáˆáˆ…áˆ­á‰µ áˆ›á‹•áŠ¨áˆá£ á‰ áˆžáŠ•á‰´á‰ªá‹´áŠ¦

á‰ áˆšáŒˆáŠ˜á‹ á‹¨áˆ˜áŠ•áŒáˆµá‰µ á‰µáˆáˆ…áˆ­á‰µ á‰¤á‰µ á‹¨áˆ°áˆˆáŒ áŠ‘á‰µáŠ• á‹¨81 á‹“áˆ˜á‰± áŠ á‹›á‹áŠ•á‰µ áŠ áŒˆáˆáŒáˆŽá‰µ áŒ á‹¨á‰á¢é8   ©Úlen)Úam_tokenizerÚtextÚtokens© r   úQ/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/am/test_text.pyÚ#test_am_tokenizer_handles_long_text   s   r
   ztext,length))u(   áˆ†áˆ´ áˆ™áŒ‚áŠ« áˆˆáˆáŠ• á‰°áˆ˜áˆ¨áŒ ?é   )u   â€œá‰ áááˆ?â€é   )uR   áŠ á‹Ž! áˆ†á‹œ áŠ áˆ­áŠ«á‹²á‹® á‰¡áŠ•á‹²á‹« â€œáŠ¥áŠ•áˆ‚á‹µâ€ áˆ²áˆ áˆ˜áˆˆáˆ°á¢é   )u+   áŠ¥áŠáˆ± á‰ áŒáˆá‰µ 10áŠª.áˆœ. áˆ®áŒ¡á¢é   )u   áŠ¥áŠ“ áŠ¨á‹šá‹« áˆˆáˆáŠ•...r   c                 C   s   | |ƒ}t |ƒ|ksJ ‚d S )Nr   )r   r   Úlengthr   r   r   r	   Útest_am_tokenizer_handles_cnts   s   r   z
text,match))Ú10T)Ú1T)z10.000T)Ú1000T)z999,0T)u	   áŠ áŠ•á‹µT)u	   áˆáˆˆá‰µT)u   á‰µáˆªáˆŠá‹®áŠ•T)u   á‹áˆ»F)ú,F)z1/2Tc                 C   s.   | |ƒ}t |ƒdksJ ‚|d j|ksJ ‚d S )Né   r   )r   Úlike_num)r   r   Úmatchr   r   r   r	   Útest_lex_attrs_like_number    s   r   )Úpytestr
   ÚmarkÚparametrizer   r   r   r   r   r	   Ú<module>   s    þ

þ