o
    i3                     @   s.   d dl Z dd Ze jdddgdd ZdS )	    Nc                 C   s    d}| |}t |dksJ d S )Nu   അനാവശ്യമായി കണ്ണിലും മൂക്കിലും വായിലും സ്പർശിക്കാതിരിക്കുക   len)ml_tokenizertexttokens r   Q/home/ubuntu/.local/lib/python3.10/site-packages/spacy/tests/lang/ml/test_text.py#test_ml_tokenizer_handles_long_text   s   r
   ztext,length)uP  എന്നാൽ അച്ചടിയുടെ ആവിർഭാവം ലിപിയിൽ കാര്യമായ മാറ്റങ്ങൾ വരുത്തിയത് കൂട്ടക്ഷരങ്ങളെ അണുഅക്ഷരങ്ങളായി പിരിച്ചുകൊണ്ടായിരുന്നു
   )u   പരമ്പരാഗതമായി മലയാളം ഇടത്തുനിന്ന് വലത്തോട്ടാണ് എഴുതുന്നത്r   c                 C   s   | |}t ||ksJ d S )Nr   )r   r   lengthr   r   r   r	   test_ml_tokenizer_handles_cnts
   s   r   )pytestr
   markparametrizer   r   r   r   r	   <module>   s    
