o
    iM                     @   s   d dl Z g dZddgZdgZddgZe jded	d
 Ze jdedd Ze jdedd Z	e jdedd Z
dd Ze jddd Zg dZe jdedd ZdS )    N)),   서울 타워 근처에 살고 있습니다.u0   서울 타워 근처 에 살 고 있 습니다 .)2   영등포구에 있는 맛집 좀 알려주세요.u7   영등포구 에 있 는 맛집 좀 알려 주 세요 .)u$   10$ 할인코드를 적용할까요?u)   10 $ 할인 코드 를 적용 할까요 ?)r   zNNP NNG NNG JKB VV EC VX EF SF)r   z"NNP JKB VV ETM NNG MAG VV VX EP SF)r   z(NNP JKB VV ETM NNG MAG VV+EC VX EP+EF SF)r   z&PROPN NOUN NOUN ADP VERB X AUX X PUNCT)r   z*PROPN ADP VERB X NOUN ADV VERB AUX X PUNCTztext,expected_tokensc                 C   &   dd | |D }||  ksJ d S )Nc                 S      g | ]}|j qS  text.0tokenr   r   V/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/ko/test_tokenizer.py
<listcomp>       z%test_ko_tokenizer.<locals>.<listcomp>split)ko_tokenizerr   expected_tokenstokensr   r   r   test_ko_tokenizer      r   ztext,expected_tagsc                 C   r   )Nc                 S   r   r   )tag_r	   r   r   r   r      r   z*test_ko_tokenizer_tags.<locals>.<listcomp>r   r   r   expected_tagstagsr   r   r   test_ko_tokenizer_tags   r   r   c                 C   s"   | |j d }|| ksJ d S )N	full_tags)	user_datar   r   r   r   r   test_ko_tokenizer_full_tags#   s   r   ztext,expected_posc                 C   r   )Nc                 S   r   r   pos_r	   r   r   r   r   +   r   z)test_ko_tokenizer_pos.<locals>.<listcomp>r   )r   r   expected_posposr   r   r   test_ko_tokenizer_pos)   r   r"   c                 C   s   | d}t |dksJ d S )N r   )lenr   r   r   r   r   test_ko_empty_doc/   s   r&   i')  c                 C   s   | d}|d j dksJ d S )Nu   미닛 리피터   Xr   r%   r   r   r   test_ko_tokenizer_unknown_tag4   s   r)   ))u   있다.u   있다 .)u   '예'는u   ' 예 ' 는)u   부 (富) 는   부 ( 富 ) 는)u   부(富)는r*   )z
1982~1983.z1982 ~ 1983 .)u6   사과·배·복숭아·수박은 모두 과일이다.u=   사과 · 배 · 복숭아 · 수박은 모두 과일이다 .)   그렇구나~r+   )u   『9시 반의 당구』,u   『 9시 반의 당구 』 ,c                 C   r   )Nc                 S   r   r   r   r	   r   r   r   r   J   r   z+test_ko_spacy_tokenizer.<locals>.<listcomp>r   )ko_tokenizer_tokenizerr   r   r   r   r   r   test_ko_spacy_tokenizerH   r   r-   )pytestTOKENIZER_TESTS	TAG_TESTSFULL_TAG_TESTS	POS_TESTSmarkparametrizer   r   r   r"   r&   issuer)   SPACY_TOKENIZER_TESTSr-   r   r   r   r   <module>   s.    





