Evaluate with TCEval_v2
| name | acc | acc_err | exact_match,get-answer | exact_match_stderr | exact_match | exact_match_stderr |
|---|---|---|---|---|---|---|
| tc-eval-v2 | 0.259 | 0.001 | 0.138 | 0.002 | 0.000 | 0.000 |
| drcd | nan | nan | nan | nan | 0.000 | 0.000 |
| TMMLU+_fewshot-accounting | 0.257 | 0.032 | nan | nan | nan | nan |
| TMMLU+_fewshot-administrative_law | 0.248 | 0.021 | nan | nan | nan | nan |
| TMMLU+_fewshot-advance_chemistry | 0.260 | 0.040 | nan | nan | nan | nan |
| TMMLU+_fewshot-agriculture | 0.252 | 0.035 | nan | nan | nan | nan |
| TMMLU+_fewshot-anti_money_laundering | 0.239 | 0.037 | nan | nan | nan | nan |
| TMMLU+_fewshot-auditing | 0.273 | 0.019 | nan | nan | nan | nan |
| TMMLU+_fewshot-basic_medical_science | 0.252 | 0.014 | nan | nan | nan | nan |
| TMMLU+_fewshot-business_management | 0.309 | 0.039 | nan | nan | nan | nan |
| TMMLU+_fewshot-chinese_language_and_literature | 0.261 | 0.031 | nan | nan | nan | nan |
| TMMLU+_fewshot-clinical_psychology | 0.296 | 0.041 | nan | nan | nan | nan |
| TMMLU+_fewshot-computer_science | 0.259 | 0.033 | nan | nan | nan | nan |
| TMMLU+_fewshot-culinary_skills | 0.336 | 0.028 | nan | nan | nan | nan |
| TMMLU+_fewshot-dentistry | 0.261 | 0.022 | nan | nan | nan | nan |
| TMMLU+_fewshot-economics | 0.265 | 0.022 | nan | nan | nan | nan |
| TMMLU+_fewshot-education | 0.266 | 0.040 | nan | nan | nan | nan |
| TMMLU+fewshot-education(profession_level) | 0.278 | 0.020 | nan | nan | nan | nan |
| TMMLU+_fewshot-educational_psychology | 0.250 | 0.033 | nan | nan | nan | nan |
| TMMLU+_fewshot-engineering_math | 0.252 | 0.043 | nan | nan | nan | nan |
| TMMLU+_fewshot-finance_banking | 0.259 | 0.038 | nan | nan | nan | nan |
| TMMLU+_fewshot-financial_analysis | 0.236 | 0.022 | nan | nan | nan | nan |
| TMMLU+_fewshot-fire_science | 0.250 | 0.039 | nan | nan | nan | nan |
| TMMLU+_fewshot-general_principles_of_law | 0.283 | 0.044 | nan | nan | nan | nan |
| TMMLU+_fewshot-geography_of_taiwan | 0.290 | 0.016 | nan | nan | nan | nan |
| TMMLU+_fewshot-human_behavior | 0.288 | 0.026 | nan | nan | nan | nan |
| TMMLU+_fewshot-insurance_studies | 0.267 | 0.016 | nan | nan | nan | nan |
| TMMLU+_fewshot-introduction_to_law | 0.232 | 0.027 | nan | nan | nan | nan |
| TMMLU+_fewshot-jce_humanities | 0.322 | 0.050 | nan | nan | nan | nan |
| TMMLU+_fewshot-junior_chemistry | 0.220 | 0.029 | nan | nan | nan | nan |
| TMMLU+_fewshot-junior_chinese_exam | 0.269 | 0.034 | nan | nan | nan | nan |
| TMMLU+_fewshot-junior_math_exam | 0.229 | 0.032 | nan | nan | nan | nan |
| TMMLU+_fewshot-junior_science_exam | 0.272 | 0.031 | nan | nan | nan | nan |
| TMMLU+_fewshot-junior_social_studies | 0.341 | 0.042 | nan | nan | nan | nan |
| TMMLU+_fewshot-logic_reasoning | 0.245 | 0.037 | nan | nan | nan | nan |
| TMMLU+_fewshot-macroeconomics | 0.248 | 0.021 | nan | nan | nan | nan |
| TMMLU+_fewshot-management_accounting | 0.242 | 0.029 | nan | nan | nan | nan |
| TMMLU+_fewshot-marketing_management | 0.226 | 0.044 | nan | nan | nan | nan |
| TMMLU+_fewshot-mechanical | 0.254 | 0.040 | nan | nan | nan | nan |
| TMMLU+_fewshot-music | 0.209 | 0.024 | nan | nan | nan | nan |
| TMMLU+_fewshot-national_protection | 0.213 | 0.028 | nan | nan | nan | nan |
| TMMLU+_fewshot-nautical_science | 0.249 | 0.018 | nan | nan | nan | nan |
| TMMLU+_fewshot-occupational_therapy_for_psychological_disorders | 0.271 | 0.019 | nan | nan | nan | nan |
| TMMLU+_fewshot-official_document_management | 0.270 | 0.030 | nan | nan | nan | nan |
| TMMLU+_fewshot-optometry | 0.239 | 0.014 | nan | nan | nan | nan |
| TMMLU+_fewshot-organic_chemistry | 0.275 | 0.043 | nan | nan | nan | nan |
| TMMLU+_fewshot-pharmacology | 0.232 | 0.018 | nan | nan | nan | nan |
| TMMLU+_fewshot-pharmacy | 0.212 | 0.021 | nan | nan | nan | nan |
| TMMLU+_fewshot-physical_education | 0.257 | 0.033 | nan | nan | nan | nan |
| TMMLU+_fewshot-physics | 0.237 | 0.043 | nan | nan | nan | nan |
| TMMLU+_fewshot-politic_science | 0.258 | 0.014 | nan | nan | nan | nan |
| TMMLU+_fewshot-real_estate | 0.250 | 0.045 | nan | nan | nan | nan |
| TMMLU+_fewshot-secondary_physics | 0.214 | 0.039 | nan | nan | nan | nan |
| TMMLU+_fewshot-statistics_and_machine_learning | 0.246 | 0.029 | nan | nan | nan | nan |
| TMMLU+_fewshot-taiwanese_hokkien | 0.178 | 0.034 | nan | nan | nan | nan |
| TMMLU+_fewshot-taxation | 0.261 | 0.023 | nan | nan | nan | nan |
| TMMLU+_fewshot-technical | 0.294 | 0.023 | nan | nan | nan | nan |
| TMMLU+_fewshot-three_principles_of_people | 0.302 | 0.039 | nan | nan | nan | nan |
| TMMLU+_fewshot-trade | 0.259 | 0.020 | nan | nan | nan | nan |
| TMMLU+_fewshot-traditional_chinese_medicine_clinical_medicine | 0.252 | 0.026 | nan | nan | nan | nan |
| TMMLU+_fewshot-trust_practice | 0.302 | 0.023 | nan | nan | nan | nan |
| TMMLU+_fewshot-ttqav2 | 0.478 | 0.047 | nan | nan | nan | nan |
| TMMLU+_fewshot-tve_chinese_language | 0.257 | 0.020 | nan | nan | nan | nan |
| TMMLU+_fewshot-tve_design | 0.246 | 0.020 | nan | nan | nan | nan |
| TMMLU+_fewshot-tve_mathematics | 0.227 | 0.034 | nan | nan | nan | nan |
| TMMLU+_fewshot-tve_natural_sciences | 0.267 | 0.021 | nan | nan | nan | nan |
| TMMLU+_fewshot-veterinary_pathology | 0.223 | 0.025 | nan | nan | nan | nan |
| TMMLU+_fewshot-veterinary_pharmacology | 0.267 | 0.019 | nan | nan | nan | nan |
| TMMLU+_generative_fewshot-accounting | nan | nan | 0.063 | 0.018 | nan | nan |
| TMMLU+_generative_fewshot-administrative_law | nan | nan | 0.155 | 0.018 | nan | nan |
| TMMLU+_generative_fewshot-advance_chemistry | nan | nan | 0.154 | 0.033 | nan | nan |
| TMMLU+_generative_fewshot-agriculture | nan | nan | 0.086 | 0.023 | nan | nan |
| TMMLU+_generative_fewshot-anti_money_laundering | nan | nan | 0.164 | 0.032 | nan | nan |
| TMMLU+_generative_fewshot-auditing | nan | nan | 0.093 | 0.012 | nan | nan |
| TMMLU+_generative_fewshot-basic_medical_science | nan | nan | 0.118 | 0.010 | nan | nan |
| TMMLU+_generative_fewshot-business_management | nan | nan | 0.237 | 0.036 | nan | nan |
| TMMLU+_generative_fewshot-chinese_language_and_literature | nan | nan | 0.136 | 0.024 | nan | nan |
| TMMLU+_generative_fewshot-clinical_psychology | nan | nan | 0.096 | 0.026 | nan | nan |
| TMMLU+_generative_fewshot-computer_science | nan | nan | 0.138 | 0.026 | nan | nan |
| TMMLU+_generative_fewshot-culinary_skills | nan | nan | 0.164 | 0.022 | nan | nan |
| TMMLU+_generative_fewshot-dentistry | nan | nan | 0.085 | 0.014 | nan | nan |
| TMMLU+_generative_fewshot-economics | nan | nan | 0.148 | 0.018 | nan | nan |
| TMMLU+_generative_fewshot-education | nan | nan | 0.121 | 0.029 | nan | nan |
| TMMLU+generative_fewshot-education(profession_level) | nan | nan | 0.107 | 0.014 | nan | nan |
| TMMLU+_generative_fewshot-educational_psychology | nan | nan | 0.119 | 0.025 | nan | nan |
| TMMLU+_generative_fewshot-engineering_math | nan | nan | 0.126 | 0.033 | nan | nan |
| TMMLU+_generative_fewshot-finance_banking | nan | nan | 0.119 | 0.028 | nan | nan |
| TMMLU+_generative_fewshot-financial_analysis | nan | nan | 0.120 | 0.017 | nan | nan |
| TMMLU+_generative_fewshot-fire_science | nan | nan | 0.081 | 0.025 | nan | nan |
| TMMLU+_generative_fewshot-general_principles_of_law | nan | nan | 0.094 | 0.029 | nan | nan |
| TMMLU+_generative_fewshot-geography_of_taiwan | nan | nan | 0.174 | 0.014 | nan | nan |
| TMMLU+_generative_fewshot-human_behavior | nan | nan | 0.104 | 0.017 | nan | nan |
| TMMLU+_generative_fewshot-insurance_studies | nan | nan | 0.138 | 0.013 | nan | nan |
| TMMLU+_generative_fewshot-introduction_to_law | nan | nan | 0.160 | 0.024 | nan | nan |
| TMMLU+_generative_fewshot-jce_humanities | nan | nan | 0.133 | 0.036 | nan | nan |
| TMMLU+_generative_fewshot-junior_chemistry | nan | nan | 0.148 | 0.025 | nan | nan |
| TMMLU+_generative_fewshot-junior_chinese_exam | nan | nan | 0.154 | 0.027 | nan | nan |
| TMMLU+_generative_fewshot-junior_math_exam | nan | nan | 0.166 | 0.028 | nan | nan |
| TMMLU+_generative_fewshot-junior_science_exam | nan | nan | 0.122 | 0.022 | nan | nan |
| TMMLU+_generative_fewshot-junior_social_studies | nan | nan | 0.206 | 0.036 | nan | nan |
| TMMLU+_generative_fewshot-logic_reasoning | nan | nan | 0.173 | 0.032 | nan | nan |
| TMMLU+_generative_fewshot-macroeconomics | nan | nan | 0.173 | 0.019 | nan | nan |
| TMMLU+_generative_fewshot-management_accounting | nan | nan | 0.098 | 0.020 | nan | nan |
| TMMLU+_generative_fewshot-marketing_management | nan | nan | 0.054 | 0.024 | nan | nan |
| TMMLU+_generative_fewshot-mechanical | nan | nan | 0.161 | 0.034 | nan | nan |
| TMMLU+_generative_fewshot-music | nan | nan | 0.155 | 0.022 | nan | nan |
| TMMLU+_generative_fewshot-national_protection | nan | nan | 0.152 | 0.025 | nan | nan |
| TMMLU+_generative_fewshot-nautical_science | nan | nan | 0.178 | 0.016 | nan | nan |
| TMMLU+_generative_fewshot-occupational_therapy_for_psychological_disorders | nan | nan | 0.092 | 0.012 | nan | nan |
| TMMLU+_generative_fewshot-official_document_management | nan | nan | 0.162 | 0.025 | nan | nan |
| TMMLU+_generative_fewshot-optometry | nan | nan | 0.107 | 0.010 | nan | nan |
| TMMLU+_generative_fewshot-organic_chemistry | nan | nan | 0.138 | 0.033 | nan | nan |
| TMMLU+_generative_fewshot-pharmacology | nan | nan | 0.166 | 0.016 | nan | nan |
| TMMLU+_generative_fewshot-pharmacy | nan | nan | 0.113 | 0.016 | nan | nan |
| TMMLU+_generative_fewshot-physical_education | nan | nan | 0.145 | 0.026 | nan | nan |
| TMMLU+_generative_fewshot-physics | nan | nan | 0.186 | 0.040 | nan | nan |
| TMMLU+_generative_fewshot-politic_science | nan | nan | 0.162 | 0.012 | nan | nan |
| TMMLU+_generative_fewshot-real_estate | nan | nan | 0.109 | 0.033 | nan | nan |
| TMMLU+_generative_fewshot-secondary_physics | nan | nan | 0.071 | 0.024 | nan | nan |
| TMMLU+_generative_fewshot-statistics_and_machine_learning | nan | nan | 0.125 | 0.022 | nan | nan |
| TMMLU+_generative_fewshot-taiwanese_hokkien | nan | nan | 0.163 | 0.033 | nan | nan |
| TMMLU+_generative_fewshot-taxation | nan | nan | 0.040 | 0.010 | nan | nan |
| TMMLU+_generative_fewshot-technical | nan | nan | 0.219 | 0.021 | nan | nan |
| TMMLU+_generative_fewshot-three_principles_of_people | nan | nan | 0.237 | 0.036 | nan | nan |
| TMMLU+_generative_fewshot-trade | nan | nan | 0.179 | 0.017 | nan | nan |
| TMMLU+_generative_fewshot-traditional_chinese_medicine_clinical_medicine | nan | nan | 0.079 | 0.016 | nan | nan |
| TMMLU+_generative_fewshot-trust_practice | nan | nan | 0.120 | 0.016 | nan | nan |
| TMMLU+_generative_fewshot-ttqav2 | nan | nan | 0.345 | 0.045 | nan | nan |
| TMMLU+_generative_fewshot-tve_chinese_language | nan | nan | 0.128 | 0.015 | nan | nan |
| TMMLU+_generative_fewshot-tve_design | nan | nan | 0.152 | 0.016 | nan | nan |
| TMMLU+_generative_fewshot-tve_mathematics | nan | nan | 0.160 | 0.030 | nan | nan |
| TMMLU+_generative_fewshot-tve_natural_sciences | nan | nan | 0.146 | 0.017 | nan | nan |
| TMMLU+_generative_fewshot-veterinary_pathology | nan | nan | 0.138 | 0.021 | nan | nan |
| TMMLU+_generative_fewshot-veterinary_pharmacology | nan | nan | 0.204 | 0.017 | nan | nan |
| TMMLU+_zeroshot-accounting | 0.257 | 0.032 | nan | nan | nan | nan |
| TMMLU+_zeroshot-administrative_law | 0.248 | 0.021 | nan | nan | nan | nan |
| TMMLU+_zeroshot-advance_chemistry | 0.260 | 0.040 | nan | nan | nan | nan |
| TMMLU+_zeroshot-agriculture | 0.252 | 0.035 | nan | nan | nan | nan |
| TMMLU+_zeroshot-anti_money_laundering | 0.239 | 0.037 | nan | nan | nan | nan |
| TMMLU+_zeroshot-auditing | 0.273 | 0.019 | nan | nan | nan | nan |
| TMMLU+_zeroshot-basic_medical_science | 0.252 | 0.014 | nan | nan | nan | nan |
| TMMLU+_zeroshot-business_management | 0.309 | 0.039 | nan | nan | nan | nan |
| TMMLU+_zeroshot-chinese_language_and_literature | 0.261 | 0.031 | nan | nan | nan | nan |
| TMMLU+_zeroshot-clinical_psychology | 0.296 | 0.041 | nan | nan | nan | nan |
| TMMLU+_zeroshot-computer_science | 0.259 | 0.033 | nan | nan | nan | nan |
| TMMLU+_zeroshot-culinary_skills | 0.336 | 0.028 | nan | nan | nan | nan |
| TMMLU+_zeroshot-dentistry | 0.261 | 0.022 | nan | nan | nan | nan |
| TMMLU+_zeroshot-economics | 0.265 | 0.022 | nan | nan | nan | nan |
| TMMLU+_zeroshot-education | 0.266 | 0.040 | nan | nan | nan | nan |
| TMMLU+zeroshot-education(profession_level) | 0.278 | 0.020 | nan | nan | nan | nan |
| TMMLU+_zeroshot-educational_psychology | 0.250 | 0.033 | nan | nan | nan | nan |
| TMMLU+_zeroshot-engineering_math | 0.252 | 0.043 | nan | nan | nan | nan |
| TMMLU+_zeroshot-finance_banking | 0.259 | 0.038 | nan | nan | nan | nan |
| TMMLU+_zeroshot-financial_analysis | 0.236 | 0.022 | nan | nan | nan | nan |
| TMMLU+_zeroshot-fire_science | 0.250 | 0.039 | nan | nan | nan | nan |
| TMMLU+_zeroshot-general_principles_of_law | 0.283 | 0.044 | nan | nan | nan | nan |
| TMMLU+_zeroshot-geography_of_taiwan | 0.290 | 0.016 | nan | nan | nan | nan |
| TMMLU+_zeroshot-human_behavior | 0.288 | 0.026 | nan | nan | nan | nan |
| TMMLU+_zeroshot-insurance_studies | 0.267 | 0.016 | nan | nan | nan | nan |
| TMMLU+_zeroshot-introduction_to_law | 0.232 | 0.027 | nan | nan | nan | nan |
| TMMLU+_zeroshot-jce_humanities | 0.322 | 0.050 | nan | nan | nan | nan |
| TMMLU+_zeroshot-junior_chemistry | 0.220 | 0.029 | nan | nan | nan | nan |
| TMMLU+_zeroshot-junior_chinese_exam | 0.269 | 0.034 | nan | nan | nan | nan |
| TMMLU+_zeroshot-junior_math_exam | 0.229 | 0.032 | nan | nan | nan | nan |
| TMMLU+_zeroshot-junior_science_exam | 0.272 | 0.031 | nan | nan | nan | nan |
| TMMLU+_zeroshot-junior_social_studies | 0.341 | 0.042 | nan | nan | nan | nan |
| TMMLU+_zeroshot-logic_reasoning | 0.245 | 0.037 | nan | nan | nan | nan |
| TMMLU+_zeroshot-macroeconomics | 0.248 | 0.021 | nan | nan | nan | nan |
| TMMLU+_zeroshot-management_accounting | 0.242 | 0.029 | nan | nan | nan | nan |
| TMMLU+_zeroshot-marketing_management | 0.226 | 0.044 | nan | nan | nan | nan |
| TMMLU+_zeroshot-mechanical | 0.254 | 0.040 | nan | nan | nan | nan |
| TMMLU+_zeroshot-music | 0.209 | 0.024 | nan | nan | nan | nan |
| TMMLU+_zeroshot-national_protection | 0.213 | 0.028 | nan | nan | nan | nan |
| TMMLU+_zeroshot-nautical_science | 0.249 | 0.018 | nan | nan | nan | nan |
| TMMLU+_zeroshot-occupational_therapy_for_psychological_disorders | 0.271 | 0.019 | nan | nan | nan | nan |
| TMMLU+_zeroshot-official_document_management | 0.270 | 0.030 | nan | nan | nan | nan |
| TMMLU+_zeroshot-optometry | 0.239 | 0.014 | nan | nan | nan | nan |
| TMMLU+_zeroshot-organic_chemistry | 0.275 | 0.043 | nan | nan | nan | nan |
| TMMLU+_zeroshot-pharmacology | 0.232 | 0.018 | nan | nan | nan | nan |
| TMMLU+_zeroshot-pharmacy | 0.212 | 0.021 | nan | nan | nan | nan |
| TMMLU+_zeroshot-physical_education | 0.257 | 0.033 | nan | nan | nan | nan |
| TMMLU+_zeroshot-physics | 0.237 | 0.043 | nan | nan | nan | nan |
| TMMLU+_zeroshot-politic_science | 0.258 | 0.014 | nan | nan | nan | nan |
| TMMLU+_zeroshot-real_estate | 0.250 | 0.045 | nan | nan | nan | nan |
| TMMLU+_zeroshot-secondary_physics | 0.214 | 0.039 | nan | nan | nan | nan |
| TMMLU+_zeroshot-statistics_and_machine_learning | 0.246 | 0.029 | nan | nan | nan | nan |
| TMMLU+_zeroshot-taiwanese_hokkien | 0.178 | 0.034 | nan | nan | nan | nan |
| TMMLU+_zeroshot-taxation | 0.261 | 0.023 | nan | nan | nan | nan |
| TMMLU+_zeroshot-technical | 0.294 | 0.023 | nan | nan | nan | nan |
| TMMLU+_zeroshot-three_principles_of_people | 0.302 | 0.039 | nan | nan | nan | nan |
| TMMLU+_zeroshot-trade | 0.259 | 0.020 | nan | nan | nan | nan |
| TMMLU+_zeroshot-traditional_chinese_medicine_clinical_medicine | 0.252 | 0.026 | nan | nan | nan | nan |
| TMMLU+_zeroshot-trust_practice | 0.302 | 0.023 | nan | nan | nan | nan |
| TMMLU+_zeroshot-ttqav2 | 0.478 | 0.047 | nan | nan | nan | nan |
| TMMLU+_zeroshot-tve_chinese_language | 0.257 | 0.020 | nan | nan | nan | nan |
| TMMLU+_zeroshot-tve_design | 0.246 | 0.020 | nan | nan | nan | nan |
| TMMLU+_zeroshot-tve_mathematics | 0.227 | 0.034 | nan | nan | nan | nan |
| TMMLU+_zeroshot-tve_natural_sciences | 0.267 | 0.021 | nan | nan | nan | nan |
| TMMLU+_zeroshot-veterinary_pathology | 0.223 | 0.025 | nan | nan | nan | nan |
| TMMLU+_zeroshot-veterinary_pharmacology | 0.267 | 0.019 | nan | nan | nan | nan |