o پi( @s,dZddlZddlZddlmZddlmZddlm Z m Z m Z m Z m Z gdZgdZgdZd d d d d ddddddd Zdddddddddddd Zd d!d"d#d$d%d&d'd(d)d*d Zd+ed,ed-efd.d/Zd0ed1ed-efd2d3Zd4ed-eeeeffd5d6Zd-eeeeffd7d8ZGd9d:d:e ZdS);a MGSM: Multilingual Grade School Math Benchmark (MGSM) is a benchmark of grade-school math problems. Language Models are Multilingual Chain-of-Thought Reasoners Freda Shi, Mirac Suzgun, Markus Freitag, Xuezhi Wang, Suraj Srivats, Soroush Vosoughi, Hyung Won Chung, Yi Tay, Sebastian Ruder, Denny Zhou, Dipanjan Das, Jason Wei https://arxiv.org/abs/2210.03057 reference: https://github.com/google-research/url-nlp N)Optional)simple_eval_common) HTML_JINJAEval EvalResult SamplerBaseSingleEvalResult) bndeenesfrjaruswtethzh)r r r r r)r rrrrrzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_bn.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_de.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_en.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_es.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_fr.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_ja.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_ru.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_sw.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_te.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_th.tsvzChttps://openaipublic.blob.core.windows.net/simple-evals/mgsm_zh.tsvzSolve this math problem. Give the reasoning steps before giving the final answer on the last line by itself in the format of "Answer:". Do not add anything other than the integer answer after "Answer:". {input}uএই গণিতের সমস্যাটি সমাধান করুন। চূড়ান্ত উত্তর দেওয়ার আগে যুক্তিসম্পন্ন পদক্ষেপ প্রদান করুন। চূড়ান্ত উত্তরটি একক সংখ্যা হিসাবে "উত্তর:" এর পরে শেষ লাইনে দিন। "উত্তর:" এর পরে অন্য কিছু যুক্ত করবেন না।. {input}uLöse dieses Mathematikproblem. Gib die Schritte zur Begründung an, bevor du die endgültige Antwort in der letzten Zeile alleine im Format "Antwort:" gibst. Füge nichts anderes als die ganzzahlige Antwort nach "Antwort:" hinzu. {input}uResuelve este problema matemático. Proporciona los pasos de razonamiento antes de dar la respuesta final en la última línea por sí misma en el formato de "Respuesta:". No añadas nada más que la respuesta entera después de "Respuesta:". {input}uRésolvez ce problème de mathématiques. Donnez les étapes de raisonnement avant de fournir la réponse finale sur la dernière ligne elle-même dans le format de "Réponse:". N'ajoutez rien d'autre que la réponse entière après "Réponse:". {input}uの数学の問題を解いてください。最終的な答えを出す前に、解答の推論過程を記述してください。そして最後の行には "答え:" の形式で答えを記述し、その後には整数の答え以外何も追加しないでください。 {input}uРешите эту математическую задачу. Объясните шаги рассуждения перед тем, как дать окончательный ответ в последней строке сам по себе в формате "Ответ:". Не добавляйте ничего, кроме целочисленного ответа после "Ответ:". {input}zSuluhisha tatizo hili la hesabu. Toa hatua za mantiki kabla ya kutoa jibu la mwisho kwenye mstari wa mwisho peke yake katika muundo wa "Jibu:". Usiongeze chochote kingine isipokuwa jibu la integer baada ya "Jibu:". {input}usఈ గణిత సమస్యను పరిష్కరించండి. చివరి సమాధానాన్ని ఇవ్వదానికి ముందు తర్కాత్మక అదుగులను ఇవ్వండి. చివరి పంక్తిలో మాత్రమే 'సమాధానం:' అనే ఆకారంలో చివరి సమాధానాద్ని ఇవ్వండి సమాధానం: తర్వాత పూర్ణాంక సమాధానానికి తప్పించి ఎదేనా చేర్చవద్దు. {input}uแก้ปัญหาคณิตศาสตร์นี้ ให้ให้ขั้นตอนการใช้เหตุผลก่อนที่จะให้คำตอบสุดท้ายในบรรทัดสุดท้ายโดยอยู่ในรูปแบบ "คำตอบ:" ไม่ควรเพิ่มอะไรนอกจากคำตอบที่เป็นจำนวนเต็มหลังจาก "คำตอบ:" {input}u解决这个数学问题。在最后一行给出答案前，请提供推理步骤。最后一行应该以 "答案: " 的形式独立给出答案。在 "答案：" 后不要添加除整数答案之外的任何内容。 {input}) r r r r r rrrrrrAnsweruউত্তরAntwort RespuestauRéponseu答えu ОтветJibuuసమాధానంuคำตอบu答案answer answer_prefixreturncCsH||vrdS||d}td|dd}|r"|ddSdS)Nz \d+\.?\d*,.)splitstriprefindallreplacerstrip)rr answer_textnumbersr'P/home/ubuntu/.local/lib/python3.10/site-packages/sglang/test/simple_eval_mgsm.py parse_answer[s r)target predictioncCs8d|vr |dd}|dd}|dd}||kS)Nr0rr)r$r#)r*r+r'r'r( score_mgsmis   r-langcCst|}g}tj|3}|dD] }|d\}}d|vr-t d|d| |||dqWd|S1sBwY|S)Nzutf-8 rztargets z contains a decimal point.)inputstargetsr.) LANG_TO_FPATHurllibrequesturlopenreaddecode splitlinesr r ValueErrorappend)r.fpathexamplesfliner0r1r'r'r(get_lang_examplesss r?cCs(g}tD] }|dkr q|t|7}q|S)Nr ) ALL_LANGUAGESr?)r<r.r'r'r(get_all_exampless rAc @sDeZdZddefdededeeefddZde d e fd d Z d S) MGSMEval@num_examples_per_lang num_threads languagescCs||durt}n|D]}|tvrtd|dtq ||_||_||_g}|jD]}t|}||d|jq(||_dS)Nz language z. is not a valid language. It should be one in )r@r9 _languages_num_examples_per_lang _num_threadsr?extendr<)selfrErFrGlanguager<r. lang_examplesr'r'r(__init__s$  zMGSMEval.__init__samplerrcs<dtttfffdd }tj||j|jd}tj|ddS)Nexamplec s|d}|tvr dnd}|d}t|}j|j|ddddg}z|}Wnty<}zd }WYd}~nd}~wwt|}t||} t|| } tj t j |t |d d| || d } |t |d dg} t| | | || || id S) Nr. group_latingroup_non_latinr1r0)inputuser)contentroler assistant)prompt_messages next_messagescorecorrect_answerextracted_answer)htmlr[convometrics)LATIN_LANGUAGESLANG_TO_INSTRUCTIONS _pack_messageformat ExceptionLANG_TO_ANSWER_PREFIXr)r-common jinja_env from_stringrrenderdictr) rQrMlatin_languager\ instructoinrY response_texterr]r[r^r_rPr'r(fns@      zMGSMEval.__call__..fn)rF)meanstd) default_stats)rkstrrgmap_with_progressr<rJaggregate_results)rLrPrqresultsr'rpr(__call__s $ zMGSMEval.__call__N) __name__ __module__ __qualname__r@intrlistrurOrrryr'r'r'r(rBs  rB)__doc__r!r3typingr sglang.testrrgsglang.test.simple_eval_commonrrrrrr@raNON_LATIN_LANGUAGESr2rbrfrur)boolr-r~rkr?rArBr'r'r'r(sd  %