o VÛ·i<ã@s6ddlmZmZmZmZddlmZGdd„dƒZdS)é)ÚListÚOptionalÚSequenceÚAnyé)ÚTokenIdc@sfeZdZUeed<eeed<eeed<eeed<de ddfdd „Z d e de efd d „Z e ZdS) ÚTokenizerWrapperÚ eos_token_idÚ bos_token_idÚtokensÚspecial_token_idsÚ gtokenizerÚreturnNcCsZ|j|_|j|_|j|_t|dgƒ|_d|_||_d|_z|dƒWdSd|_YdS)Nr TstestF)r r r Úgetattrr Úis_tokenizer_wrapperÚ _gtokenizerÚ_accepts_bytes)Úselfr ©rúK/home/ubuntu/vllm_env/lib/python3.10/site-packages/llguidance/_tokenizer.pyÚ__init__ s zTokenizerWrapper.__init__ÚscCs(|jr | | d¡¡}|S| |¡}|S)Nzutf-8)rrÚencode)rrÚrrrrÚ_encode_strings  ÿzTokenizerWrapper._encode_string)Ú__name__Ú __module__Ú __qualname__rÚ__annotations__rrÚbytesÚintrrÚstrrrÚ__call__rrrrrs     rN)ÚtypingrrrrÚ_utilrrrrrrÚs