o
¢iG ã @ s¾ d dl mZ d dlmZmZ d dlZd dlmZ ejdddd„ ƒZ ejd d
„ ƒZ
d d „ Z d
d„ Z dd„ Z
dd„ Zdd„ Zdd„ Zdd„ Zdd„ Zdd „ Zd d „ Zd d „ Zd!d"„ Zd#d$„ ZdS )%é )ÚPath)ÚdumpsÚloadsN)ÚSentencePieceProcessorÚmodule)Úscopec C s t | jƒjS ©N)r ÚfspathÚparent)Úrequest© r úT/home/ubuntu/.local/lib/python3.10/site-packages/curated_tokenizers/tests/test_sp.pyÚtest_dir s r c C s t t| d ƒ¡S )Nú toy.model)r Ú from_fileÚstr)r r r r
Ú toy_model s r c C s‚ t t| d ƒdƒ }| ¡ }W d ƒ n1 sw Y t |¡}t|ƒ | ¡ }||ks0J ‚t tƒ ¡}| ¡ tƒ ks?J ‚d S )Nr Úrb)Úopenr Úreadr Ú
from_protobufÚ
_check_idsÚ to_protobufÚbytes)r ÚfÚdataÚsppÚserialized_datar r r
Útest_load_proto s
ÿ
r c C s> t jtdd t d¡ W d ƒ d S 1 sw Y d S )Nz No such file)Úmatchz bogus.model)ÚpytestÚraisesÚOSErrorr r r r r r
Útest_load_unknown_file s "ÿr# c C ó2 | d¡\}}|g d¢ksJ ‚|g d¢ksJ ‚d S )Nz Test nul)éï i~ r é é éç )u â–TÚestú u â–ÚnÚul©Úencode©r ÚidsÚpiecesr r r
Útest_handles_nul_character% ó r2 c C ó | g d¢¡}|dks
J ‚d S )N©
é iÑ é
i³ é) r7 éª é¨ én é é é é ú I saw a girl with a telescope.)Údecode_from_ids©r Údecodedr r r
Útest_decode_from_ids+ s ÿrD c C r4 )N©
õ â–Iu â–sawõ â–au â–girlu â–withrG u â–tÚelÚesÚcÚoÚpeÚ.r@ )Údecode_from_piecesrB r r r
Útest_decode_from_pieces2 s ÿrO c C sr t t¡
| d¡ W d ƒ n1 sw Y t t¡ | g d¢¡ W d ƒ d S 1 s2w Y d S )NÚtest)é é é )r r! Ú TypeErrorrN ©r r r r
Ú.test_decode_with_pieces_rejects_inccorect_typeG s ÿ "ÿrV c C r$ )Nr@ r5 rE r- r/ r r r
Ú test_encodeN r3 rW c C s t | ƒ d S r )r rU r r r
Útest_encode_as_idsb s rX c C s | d¡}|g d¢ks
J ‚d S )Nr@ rE )Úencode_as_pieces)r r1 r r r
Útest_encode_as_piecesf s
rZ c C sÜ t ƒ } t t¡
| d¡ W d ƒ n1 sw Y t t¡
| d¡ W d ƒ n1 s2w Y t t¡
| d¡ W d ƒ n1 sLw Y t t¡ | dg¡ W d ƒ n1 sgw Y t t¡ | dg¡ W d ƒ n1 s‚w Y t t¡ | ¡ W d ƒ n1 s›w Y t t¡ |
¡ W d ƒ n1 s´w Y t t¡ | ¡ W d ƒ n1 sÍw Y t t¡
| ¡ W d ƒ d S 1 sçw Y d S )Nr@ rF r6 )
r r r! Ú RuntimeErrorr. Ú
encode_as_idsrY rN rA Úbos_idÚeos_idÚunk_idÚpad_id)r r r r
Útest_uninitialized_modely s8 ÿ ÿ ÿ ÿ ÿ
ÿ
ÿ
ÿ
"ÿra c C sn t | ƒdksJ ‚| ¡ dksJ ‚| ¡ dksJ ‚| ¡ dks J ‚| ¡ dks(J ‚| d¡}|g d¢ks5J ‚d S )Niè rQ rR r éÿÿÿÿr@ r5 )Úlenr] r^ r_ r` r\ )r r0 r r r
r s
r c C s | d¡| ¡ ks J ‚| d¡| ¡ ksJ ‚| d¡| ¡ ks!J ‚| d¡| ¡ ks,J ‚| | ¡ ¡dks7J ‚| | ¡ ¡dksBJ ‚| | ¡ ¡dksMJ ‚t t¡
| d¡ W d ƒ n1 sbw Y t t¡ | t| ƒ¡ W d ƒ d S 1 sw Y d S )NzzzÚqotsarb ) Ú piece_to_idr] r^ r_ Ú id_to_piecer r! Ú
ValueErrorrc rU r r r
Ú test_id_to_piece_and_piece_to_id™ s ÿ "ÿrh c C s6 t | ƒ}t|ƒ}t|tƒsJ ‚| ¡ | ¡ ksJ ‚d S r )r r Ú
isinstancer r )r Ú
serializedÚ deserializedr r r
Ú test_pickle¨ s rl )Úpathlibr Úpickler r r Úcurated_tokenizersr Úfixturer r r r# r2 rD rO rV rW rX rZ ra r rh rl r r r r
Ú s*