o
    Si                     @   s   d dl Z d dlmZ d dlmZ d dlmZ d dlmZ d dlmZ d dlmZ d dlmZ d d	lm	Z	 G d
d de j
ZedkrGe   dS dS )    N)get_all_pipelines)filter_unusual_characters)handle_blank_character)uppercase_to_lowercase)traditional_to_simplified)full_angle_to_half_angle)handle_substitute)
preprocessc                   @   sf   e Zd ZdddZdddZdddZdd	d
ZdddZdddZdddZ	dddZ
dddZdS )TestPreprocessreturnNc                 C   s   g d| _ ddddd| _dddd| _d	gd
dd	gddd	gddd| _dddd| _dddd| _dddd| _ddgddddgddddgd dd!| _d S )"N)r   r   r   r   r   r      空白  字符u   emoji字符u   特殊字符   |[普通]【(标点)】\)r   u   emoji字符😈u   特殊字符�r   u   删除空白字符)u   删除 空白  字符u    删除 空白 字符u    删 除 空 白 字 符 ,u   删除,空白,字符)paramsresultu   ,删除,空白,字符u   ,删,除,空,白,字,符,uplowuptolow)UPr   UPtoLOWu   我干什么不干你事u?   机械计算机的应用已经完全被电子计算机所取代u   符号)u   我幹什麼不干你事u?   機械計算機的應用已經完全被電子計算機所取代u   符號z(hi)   你好:!)u   （hi）u	   你好：   ！z/: hi:u   你好r   z!/:)zhi/:r   u   ！/:)all_pipelinesfuc_datahbc_datahbc_data_with_paramsutl_datatts_datafth_datahsub_data_with_paramsself r&   J/home/ubuntu/.local/lib/python3.10/site-packages/proces/preprocess_test.pysetUp   sT   

zTestPreprocess.setUpc                 C   s   |  t | j d S N)assertEqualr   r   r$   r&   r&   r'   test_get_all_pipelinesU   s   z%TestPreprocess.test_get_all_pipelinesc                 C   (   | j  D ]\}}| t|| qd S r)   )r   itemsr*   r   r%   keyvaluer&   r&   r'   test_filter_unusual_charactersX      z-TestPreprocess.test_filter_unusual_charactersc                 C   s\   | j  D ]\}}| t|| q| j D ]\}}| t|g|d R  |d  qd S Nr   r   )r   r-   r*   r   r   r.   r&   r&   r'   test_handle_blank_character\   s
   "z*TestPreprocess.test_handle_blank_characterc                 C   r,   r)   )r    r-   r*   r   r.   r&   r&   r'   test_uppercase_to_lowercaseb   r2   z*TestPreprocess.test_uppercase_to_lowercasec                 C   r,   r)   )r!   r-   r*   r   r.   r&   r&   r'   test_traditional_to_simplifiedf   r2   z-TestPreprocess.test_traditional_to_simplifiedc                 C   r,   r)   )r"   r-   r*   r   r.   r&   r&   r'   test_full_angle_to_half_anglej   r2   z,TestPreprocess.test_full_angle_to_half_anglec                 C   s8   | j  D ]\}}| t|g|d R  |d  qd S r3   )r#   r-   r*   r   r.   r&   r&   r'   test_handle_substituten   s   "z%TestPreprocess.test_handle_substitutec              	   C   s   | j  D ]\}}| t|| q| j D ]\}}| t|d|d id|d  q| j D ]\}}| t|| q1| j D ]\}}| t|| qC| j D ]\}}| t|| qU| j D ]\}}| t|dgd|d id|d  qgd S )Nr   r   )r   r   r   )	pipelinesr   )	r   r-   r*   r	   r   r    r!   r"   r#   r.   r&   r&   r'   test_preprocessr   s    "zTestPreprocess.test_preprocess)r   N)__name__
__module____qualname__r(   r+   r1   r4   r5   r6   r7   r8   r:   r&   r&   r&   r'   r
      s    

G





r
   __main__)unittestprocesr   r   r   r   r   r   r   r	   TestCaser
   r;   mainr&   r&   r&   r'   <module>   s    w