["transcription:consecutive_2gram_repeat:ఒకటి దీనికిx4", "native_script_text:consecutive_2gram_repeat:ఒకటి దీనికిx4", "romanized_text:consecutive_2gram_repeat:okati deenikix4"]
tokenization ఎలా జరుగుతదంటే this is a sample test this కి ఒకటి దీనికి ఒకటి దీనికి ఒకటి దీనికి ఒకటి దీనికి ఒకటి ఇలా దీనికి మనకి ఇప్పుడు embedding models
టోకనైజేషన్ ఎలా జరుగుతదంటే దిస్ ఈజ్ ఏ శాంపిల్ టెస్ట్ దిస్ కి ఒకటి దీనికి ఒకటి దీనికి ఒకటి దీనికి ఒకటి దీనికి ఒకటి ఇలా దీనికి మనకి ఇప్పుడు ఎంబెడ్డింగ్ మోడల్స్
tokenization ela jarugutadante this is a sample test this ki okati deeniki okati deeniki okati deeniki okati deeniki okati ila deeniki manaki ippudu embedding models