********
Warning: flash-attn is not installed. Will only run the manual PyTorch version. Please install flash-attn for faster inference.
********
 
============================================================
  Qwen3-TTS-12Hz-0.6B-Base — Max Accuracy Eval
============================================================

[1/3] Loading Qwen3-TTS model (bfloat16, CUDA)...

Fetching 4 files:   0%|          | 0/4 [00:00<?, ?it/s]
Fetching 4 files: 100%|██████████| 4/4 [00:00<00:00, 67650.06it/s]
  TTS model loaded in 3.1s

[2/3] Loading Whisper large-v3 for transcription (max accuracy)...

  0%|                                              | 0.00/2.87G [00:00<?, ?iB/s]
  0%|                                     | 8.59M/2.87G [00:00<00:34, 89.6MiB/s]
  1%|▏                                    | 17.1M/2.87G [00:00<00:37, 82.9MiB/s]
  1%|▎                                    | 25.7M/2.87G [00:00<00:35, 85.6MiB/s]
  1%|▍                                    | 33.9M/2.87G [00:00<00:36, 82.6MiB/s]
  1%|▌                                    | 41.9M/2.87G [00:00<00:36, 83.0MiB/s]
  2%|▋                                    | 49.8M/2.87G [00:00<00:36, 82.1MiB/s]
  2%|▋                                    | 57.6M/2.87G [00:00<00:38, 77.8MiB/s]
  2%|▊                                    | 69.5M/2.87G [00:00<00:32, 91.9MiB/s]
  3%|▉                                    | 78.8M/2.87G [00:00<00:32, 93.5MiB/s]
  3%|█                                    | 88.7M/2.87G [00:01<00:31, 95.6MiB/s]
  3%|█▏                                   | 97.9M/2.87G [00:01<00:31, 95.6MiB/s]
  4%|█▍                                     | 109M/2.87G [00:01<00:29, 102MiB/s]
  4%|█▌                                     | 119M/2.87G [00:01<00:29, 102MiB/s]
  4%|█▋                                    | 129M/2.87G [00:01<00:30, 98.3MiB/s]
  5%|█▊                                    | 138M/2.87G [00:01<00:30, 96.5MiB/s]
  5%|█▉                                    | 148M/2.87G [00:01<00:30, 97.3MiB/s]
  5%|██                                    | 157M/2.87G [00:01<00:29, 98.7MiB/s]
  6%|██▏                                    | 168M/2.87G [00:01<00:28, 102MiB/s]
  6%|██▎                                    | 178M/2.87G [00:01<00:28, 101MiB/s]
  6%|██▍                                   | 187M/2.87G [00:02<00:34, 83.5MiB/s]
  7%|██▌                                   | 196M/2.87G [00:02<00:40, 70.6MiB/s]
  7%|██▌                                   | 203M/2.87G [00:02<00:39, 72.5MiB/s]
  7%|██▋                                   | 211M/2.87G [00:02<00:38, 73.9MiB/s]
  7%|██▊                                   | 218M/2.87G [00:02<00:41, 68.8MiB/s]
  8%|██▉                                   | 225M/2.87G [00:02<00:45, 63.3MiB/s]
  8%|██▉                                   | 232M/2.87G [00:02<00:44, 64.4MiB/s]
  8%|███                                   | 240M/2.87G [00:03<00:40, 70.0MiB/s]
  8%|███▏                                  | 250M/2.87G [00:03<00:35, 79.6MiB/s]
  9%|███▎                                  | 258M/2.87G [00:03<00:34, 81.6MiB/s]
  9%|███▍                                  | 268M/2.87G [00:03<00:32, 85.8MiB/s]
  9%|███▌                                  | 278M/2.87G [00:03<00:30, 92.4MiB/s]
 10%|███▊                                   | 291M/2.87G [00:03<00:26, 106MiB/s]
 10%|███▉                                  | 302M/2.87G [00:03<00:28, 96.1MiB/s]
 11%|████                                  | 312M/2.87G [00:03<00:27, 99.4MiB/s]
 11%|████▎                                  | 323M/2.87G [00:03<00:26, 105MiB/s]
 11%|████▍                                  | 335M/2.87G [00:03<00:24, 110MiB/s]
 12%|████▌                                  | 346M/2.87G [00:04<00:24, 110MiB/s]
 12%|████▋                                  | 356M/2.87G [00:04<00:25, 108MiB/s]
 13%|████▉                                  | 369M/2.87G [00:04<00:23, 116MiB/s]
 13%|█████                                  | 382M/2.87G [00:04<00:22, 121MiB/s]
 13%|█████▏                                 | 393M/2.87G [00:04<00:25, 103MiB/s]
 14%|█████▎                                 | 404M/2.87G [00:04<00:26, 102MiB/s]
 14%|█████▍                                 | 415M/2.87G [00:04<00:25, 105MiB/s]
 14%|█████▍                                | 425M/2.87G [00:04<00:26, 99.6MiB/s]
 15%|█████▊                                 | 435M/2.87G [00:04<00:25, 102MiB/s]
 15%|█████▋                                | 445M/2.87G [00:05<00:27, 95.4MiB/s]
 15%|█████▊                                | 455M/2.87G [00:05<00:27, 94.4MiB/s]
 16%|█████▉                                | 464M/2.87G [00:05<00:35, 73.5MiB/s]
 16%|██████                                | 471M/2.87G [00:05<00:34, 74.1MiB/s]
 16%|██████▏                               | 479M/2.87G [00:05<00:34, 74.7MiB/s]
 17%|██████▎                               | 487M/2.87G [00:05<00:34, 75.5MiB/s]
 17%|██████▍                               | 495M/2.87G [00:05<00:32, 78.1MiB/s]
 17%|██████▍                               | 503M/2.87G [00:05<00:36, 69.6MiB/s]
 17%|██████▌                               | 511M/2.87G [00:06<00:34, 73.3MiB/s]
 18%|██████▋                               | 518M/2.87G [00:06<00:35, 71.1MiB/s]
 18%|██████▊                               | 526M/2.87G [00:06<00:33, 74.9MiB/s]
 18%|██████▉                               | 534M/2.87G [00:06<00:33, 76.3MiB/s]
 18%|██████▉                               | 541M/2.87G [00:06<00:36, 69.2MiB/s]
 19%|███████                               | 548M/2.87G [00:06<00:39, 63.0MiB/s]
 19%|███████▏                              | 554M/2.87G [00:06<00:40, 61.6MiB/s]
 19%|███████▏                              | 561M/2.87G [00:06<00:38, 65.1MiB/s]
 19%|███████▎                              | 568M/2.87G [00:06<00:37, 66.3MiB/s]
 20%|███████▍                              | 577M/2.87G [00:07<00:33, 73.2MiB/s]
 20%|███████▌                              | 584M/2.87G [00:07<00:33, 73.6MiB/s]
 20%|███████▋                              | 591M/2.87G [00:07<00:33, 73.8MiB/s]
 20%|███████▋                              | 600M/2.87G [00:07<00:31, 79.3MiB/s]
 21%|███████▊                              | 608M/2.87G [00:07<00:31, 78.8MiB/s]
 21%|███████▉                              | 616M/2.87G [00:07<00:29, 82.2MiB/s]
 21%|████████                              | 624M/2.87G [00:07<00:29, 82.1MiB/s]
 21%|████████▏                             | 632M/2.87G [00:07<00:31, 78.0MiB/s]
 22%|████████▎                             | 640M/2.87G [00:07<00:30, 78.3MiB/s]
 22%|████████▍                             | 650M/2.87G [00:07<00:28, 85.6MiB/s]
 22%|████████▍                             | 658M/2.87G [00:08<00:28, 85.1MiB/s]
 23%|████████▌                             | 666M/2.87G [00:08<00:31, 76.7MiB/s]
 23%|████████▋                             | 674M/2.87G [00:08<00:31, 75.3MiB/s]
 23%|████████▊                             | 684M/2.87G [00:08<00:27, 85.1MiB/s]
 24%|████████▉                             | 692M/2.87G [00:08<00:29, 79.3MiB/s]
 24%|█████████                             | 701M/2.87G [00:08<00:28, 81.6MiB/s]
 24%|█████████▏                            | 709M/2.87G [00:08<00:28, 81.2MiB/s]
 24%|█████████▎                            | 719M/2.87G [00:08<00:25, 89.7MiB/s]
 25%|█████████▍                            | 729M/2.87G [00:08<00:24, 93.5MiB/s]
 25%|█████████▌                            | 738M/2.87G [00:09<00:26, 88.7MiB/s]
 25%|█████████▋                            | 747M/2.87G [00:09<00:28, 80.1MiB/s]
 26%|█████████▋                            | 755M/2.87G [00:09<00:27, 82.0MiB/s]
 26%|█████████▊                            | 763M/2.87G [00:09<00:28, 79.8MiB/s]
 26%|█████████▉                            | 771M/2.87G [00:09<00:28, 79.3MiB/s]
 27%|██████████                            | 780M/2.87G [00:09<00:26, 85.0MiB/s]
 27%|██████████▏                           | 789M/2.87G [00:09<00:27, 83.1MiB/s]
 27%|██████████▎                           | 797M/2.87G [00:09<00:26, 84.5MiB/s]
 27%|██████████▍                           | 805M/2.87G [00:09<00:26, 84.6MiB/s]
 28%|██████████▌                           | 816M/2.87G [00:10<00:23, 93.1MiB/s]
 28%|██████████▉                            | 827M/2.87G [00:10<00:22, 100MiB/s]
 28%|██████████▊                           | 837M/2.87G [00:10<00:22, 98.0MiB/s]
 29%|███████████▏                           | 848M/2.87G [00:10<00:20, 105MiB/s]
 29%|███████████▎                           | 859M/2.87G [00:10<00:21, 103MiB/s]
 29%|███████████▏                          | 868M/2.87G [00:10<00:24, 90.6MiB/s]
 30%|███████████▎                          | 877M/2.87G [00:10<00:24, 88.1MiB/s]
 30%|███████████▍                          | 886M/2.87G [00:10<00:26, 81.0MiB/s]
 30%|███████████▌                          | 894M/2.87G [00:10<00:26, 80.0MiB/s]
 31%|███████████▋                          | 902M/2.87G [00:11<00:26, 81.9MiB/s]
 31%|███████████▋                          | 910M/2.87G [00:11<00:27, 77.7MiB/s]
 31%|███████████▊                          | 918M/2.87G [00:11<00:27, 77.9MiB/s]
 32%|███████████▉                          | 928M/2.87G [00:11<00:24, 87.8MiB/s]
 32%|████████████                          | 937M/2.87G [00:11<00:24, 84.4MiB/s]
 32%|████████████▏                         | 945M/2.87G [00:11<00:25, 83.5MiB/s]
 32%|████████████▎                         | 953M/2.87G [00:11<00:25, 83.4MiB/s]
 33%|████████████▍                         | 964M/2.87G [00:11<00:22, 91.5MiB/s]
 33%|████████████▌                         | 973M/2.87G [00:11<00:22, 90.7MiB/s]
 33%|████████████▋                         | 981M/2.87G [00:12<00:24, 85.4MiB/s]
 34%|████████████▊                         | 990M/2.87G [00:12<00:23, 86.6MiB/s]
 34%|████████████▉                         | 999M/2.87G [00:12<00:23, 87.9MiB/s]
 34%|████████████▋                        | 0.98G/2.87G [00:12<00:26, 77.0MiB/s]
 34%|████████████▊                        | 0.99G/2.87G [00:12<00:26, 76.8MiB/s]
 35%|████████████▊                        | 1.00G/2.87G [00:12<00:26, 77.1MiB/s]
 35%|████████████▉                        | 1.01G/2.87G [00:12<00:26, 76.5MiB/s]
 35%|█████████████                        | 1.01G/2.87G [00:12<00:26, 75.8MiB/s]
 36%|█████████████▏                       | 1.03G/2.87G [00:12<00:21, 91.4MiB/s]
 36%|█████████████▎                       | 1.03G/2.87G [00:13<00:21, 92.9MiB/s]
 36%|█████████████▍                       | 1.04G/2.87G [00:13<00:23, 83.7MiB/s]
 37%|█████████████▌                       | 1.05G/2.87G [00:13<00:22, 87.1MiB/s]
 37%|█████████████▋                       | 1.06G/2.87G [00:13<00:20, 94.1MiB/s]
 37%|█████████████▊                       | 1.07G/2.87G [00:13<00:20, 95.6MiB/s]
 38%|█████████████▉                       | 1.08G/2.87G [00:13<00:20, 92.7MiB/s]
 38%|██████████████                       | 1.09G/2.87G [00:13<00:20, 93.3MiB/s]
 38%|██████████████▏                      | 1.10G/2.87G [00:13<00:19, 99.2MiB/s]
 39%|██████████████▎                      | 1.11G/2.87G [00:13<00:19, 99.2MiB/s]
 39%|██████████████▊                       | 1.12G/2.87G [00:13<00:18, 104MiB/s]
 39%|██████████████▉                       | 1.13G/2.87G [00:14<00:16, 114MiB/s]
 40%|███████████████                       | 1.14G/2.87G [00:14<00:16, 113MiB/s]
 40%|███████████████▎                      | 1.15G/2.87G [00:14<00:16, 110MiB/s]
 41%|███████████████▍                      | 1.17G/2.87G [00:14<00:16, 113MiB/s]
 41%|███████████████▌                      | 1.18G/2.87G [00:14<00:15, 119MiB/s]
 41%|███████████████▋                      | 1.19G/2.87G [00:14<00:15, 116MiB/s]
 42%|███████████████▊                      | 1.20G/2.87G [00:14<00:15, 114MiB/s]
 42%|███████████████▉                      | 1.21G/2.87G [00:14<00:17, 105MiB/s]
 42%|████████████████▏                     | 1.22G/2.87G [00:14<00:17, 102MiB/s]
 43%|███████████████▊                     | 1.23G/2.87G [00:15<00:18, 98.1MiB/s]
 43%|███████████████▉                     | 1.24G/2.87G [00:15<00:18, 95.4MiB/s]
 43%|████████████████                     | 1.25G/2.87G [00:15<00:17, 98.9MiB/s]
 44%|████████████████▏                    | 1.26G/2.87G [00:15<00:17, 98.9MiB/s]
 44%|████████████████▎                    | 1.27G/2.87G [00:15<00:17, 98.8MiB/s]
 44%|████████████████▍                    | 1.28G/2.87G [00:15<00:18, 95.2MiB/s]
 45%|████████████████▌                    | 1.29G/2.87G [00:15<00:21, 79.5MiB/s]
 45%|████████████████▋                    | 1.30G/2.87G [00:15<00:18, 90.1MiB/s]
 45%|████████████████▊                    | 1.31G/2.87G [00:15<00:19, 88.2MiB/s]
 46%|████████████████▉                    | 1.32G/2.87G [00:16<00:18, 91.0MiB/s]
 46%|█████████████████                    | 1.32G/2.87G [00:16<00:18, 88.9MiB/s]
 46%|█████████████████▏                   | 1.33G/2.87G [00:16<00:17, 93.2MiB/s]
 47%|█████████████████▎                   | 1.34G/2.87G [00:16<00:17, 95.3MiB/s]
 47%|█████████████████▍                   | 1.35G/2.87G [00:16<00:16, 97.2MiB/s]
 47%|█████████████████▌                   | 1.36G/2.87G [00:16<00:18, 88.2MiB/s]
 48%|█████████████████▋                   | 1.37G/2.87G [00:16<00:16, 98.3MiB/s]
 48%|█████████████████▊                   | 1.38G/2.87G [00:16<00:16, 96.0MiB/s]
 48%|█████████████████▉                   | 1.39G/2.87G [00:16<00:16, 97.1MiB/s]
 49%|██████████████████                   | 1.40G/2.87G [00:17<00:16, 96.8MiB/s]
 49%|██████████████████▏                  | 1.41G/2.87G [00:17<00:16, 97.0MiB/s]
 49%|██████████████████▊                   | 1.42G/2.87G [00:17<00:14, 105MiB/s]
 50%|██████████████████▉                   | 1.43G/2.87G [00:17<00:15, 101MiB/s]
 50%|██████████████████▌                  | 1.44G/2.87G [00:17<00:15, 98.4MiB/s]
 51%|███████████████████▏                  | 1.45G/2.87G [00:17<00:14, 104MiB/s]
 51%|███████████████████▎                  | 1.46G/2.87G [00:17<00:13, 110MiB/s]
 51%|███████████████████▍                  | 1.48G/2.87G [00:17<00:13, 108MiB/s]
 52%|███████████████████                  | 1.49G/2.87G [00:17<00:15, 95.8MiB/s]
 52%|███████████████████▊                  | 1.50G/2.87G [00:18<00:14, 102MiB/s]
 52%|███████████████████▉                  | 1.51G/2.87G [00:18<00:14, 103MiB/s]
 53%|████████████████████                  | 1.52G/2.87G [00:18<00:13, 108MiB/s]
 53%|████████████████████▏                 | 1.53G/2.87G [00:18<00:13, 108MiB/s]
 53%|████████████████████▎                 | 1.54G/2.87G [00:18<00:13, 106MiB/s]
 54%|████████████████████▍                 | 1.55G/2.87G [00:18<00:12, 114MiB/s]
 54%|████████████████████▋                 | 1.56G/2.87G [00:18<00:12, 115MiB/s]
 55%|████████████████████▊                 | 1.57G/2.87G [00:18<00:12, 110MiB/s]
 55%|████████████████████▉                 | 1.58G/2.87G [00:18<00:13, 102MiB/s]
 55%|█████████████████████                 | 1.59G/2.87G [00:18<00:13, 105MiB/s]
 56%|█████████████████████▏                | 1.60G/2.87G [00:19<00:13, 105MiB/s]
 56%|████████████████████▋                | 1.61G/2.87G [00:19<00:13, 99.7MiB/s]
 56%|█████████████████████▍                | 1.62G/2.87G [00:19<00:13, 103MiB/s]
 57%|█████████████████████                | 1.63G/2.87G [00:19<00:14, 92.2MiB/s]
 57%|█████████████████████▏               | 1.64G/2.87G [00:19<00:13, 97.8MiB/s]
 57%|█████████████████████▎               | 1.65G/2.87G [00:19<00:13, 99.6MiB/s]
 58%|█████████████████████▉                | 1.66G/2.87G [00:19<00:12, 101MiB/s]
 58%|█████████████████████▌               | 1.67G/2.87G [00:19<00:13, 95.2MiB/s]
 58%|█████████████████████▋               | 1.68G/2.87G [00:19<00:13, 97.0MiB/s]
 59%|██████████████████████▍               | 1.69G/2.87G [00:20<00:11, 106MiB/s]
 59%|██████████████████████▌               | 1.70G/2.87G [00:20<00:12, 102MiB/s]
 60%|██████████████████████▋               | 1.72G/2.87G [00:20<00:11, 112MiB/s]
 60%|██████████████████████▊               | 1.73G/2.87G [00:20<00:10, 112MiB/s]
 60%|██████████████████████▉               | 1.74G/2.87G [00:20<00:11, 109MiB/s]
 61%|███████████████████████               | 1.75G/2.87G [00:20<00:11, 109MiB/s]
 61%|███████████████████████▏              | 1.76G/2.87G [00:20<00:10, 110MiB/s]
 62%|███████████████████████▍              | 1.77G/2.87G [00:20<00:10, 113MiB/s]
 62%|███████████████████████▌              | 1.78G/2.87G [00:20<00:09, 118MiB/s]
 62%|███████████████████████▋              | 1.79G/2.87G [00:20<00:10, 115MiB/s]
 63%|███████████████████████▊              | 1.80G/2.87G [00:21<00:10, 115MiB/s]
 63%|███████████████████████▉              | 1.81G/2.87G [00:21<00:09, 114MiB/s]
 64%|████████████████████████▏             | 1.83G/2.87G [00:21<00:09, 122MiB/s]
 64%|████████████████████████▎             | 1.84G/2.87G [00:21<00:09, 124MiB/s]
 64%|████████████████████████▍             | 1.85G/2.87G [00:21<00:08, 126MiB/s]
 65%|████████████████████████▌             | 1.86G/2.87G [00:21<00:08, 125MiB/s]
 65%|████████████████████████▊             | 1.87G/2.87G [00:21<00:08, 124MiB/s]
 66%|████████████████████████▉             | 1.89G/2.87G [00:21<00:09, 117MiB/s]
 66%|█████████████████████████             | 1.90G/2.87G [00:21<00:08, 117MiB/s]
 66%|█████████████████████████▏            | 1.91G/2.87G [00:22<00:09, 113MiB/s]
 67%|█████████████████████████▎            | 1.92G/2.87G [00:22<00:09, 108MiB/s]
 67%|█████████████████████████▍            | 1.93G/2.87G [00:22<00:09, 102MiB/s]
 67%|█████████████████████████▋            | 1.94G/2.87G [00:22<00:09, 107MiB/s]
 68%|█████████████████████████▊            | 1.95G/2.87G [00:22<00:09, 102MiB/s]
 68%|█████████████████████████▏           | 1.96G/2.87G [00:22<00:10, 98.0MiB/s]
 68%|█████████████████████████▎           | 1.97G/2.87G [00:22<00:10, 94.4MiB/s]
 69%|█████████████████████████▍           | 1.98G/2.87G [00:22<00:09, 97.0MiB/s]
 69%|██████████████████████████▎           | 1.99G/2.87G [00:22<00:09, 103MiB/s]
 70%|█████████████████████████▋           | 2.00G/2.87G [00:23<00:10, 91.7MiB/s]
 70%|█████████████████████████▊           | 2.01G/2.87G [00:23<00:10, 88.9MiB/s]
 70%|█████████████████████████▉           | 2.02G/2.87G [00:23<00:10, 90.7MiB/s]
 71%|██████████████████████████           | 2.03G/2.87G [00:23<00:09, 97.1MiB/s]
 71%|██████████████████████████▉           | 2.04G/2.87G [00:23<00:08, 103MiB/s]
 71%|██████████████████████████▎          | 2.05G/2.87G [00:23<00:09, 97.0MiB/s]
 72%|██████████████████████████▍          | 2.06G/2.87G [00:23<00:09, 92.1MiB/s]
 72%|██████████████████████████▋          | 2.07G/2.87G [00:23<00:08, 99.6MiB/s]
 72%|██████████████████████████▋          | 2.08G/2.87G [00:23<00:08, 99.8MiB/s]
 73%|███████████████████████████▌          | 2.09G/2.87G [00:24<00:08, 102MiB/s]
 73%|███████████████████████████▋          | 2.10G/2.87G [00:24<00:08, 100MiB/s]
 73%|███████████████████████████          | 2.11G/2.87G [00:24<00:08, 99.5MiB/s]
 74%|███████████████████████████▏         | 2.12G/2.87G [00:24<00:08, 93.8MiB/s]
 74%|████████████████████████████▏         | 2.13G/2.87G [00:24<00:07, 104MiB/s]
 74%|████████████████████████████▎         | 2.14G/2.87G [00:24<00:07, 111MiB/s]
 75%|████████████████████████████▍         | 2.15G/2.87G [00:24<00:07, 107MiB/s]
 75%|████████████████████████████▌         | 2.16G/2.87G [00:24<00:07, 105MiB/s]
 76%|███████████████████████████▉         | 2.17G/2.87G [00:24<00:07, 96.8MiB/s]
 76%|████████████████████████████         | 2.18G/2.87G [00:25<00:10, 68.6MiB/s]
 76%|████████████████████████████▏        | 2.19G/2.87G [00:25<00:09, 73.7MiB/s]
 76%|████████████████████████████▎        | 2.20G/2.87G [00:25<00:08, 81.2MiB/s]
 77%|████████████████████████████▍        | 2.21G/2.87G [00:25<00:07, 90.2MiB/s]
 77%|████████████████████████████▌        | 2.22G/2.87G [00:25<00:07, 92.6MiB/s]
 78%|████████████████████████████▋        | 2.23G/2.87G [00:25<00:07, 89.5MiB/s]
 78%|████████████████████████████▊        | 2.24G/2.87G [00:25<00:06, 99.2MiB/s]
 78%|█████████████████████████████▊        | 2.25G/2.87G [00:25<00:06, 105MiB/s]
 79%|█████████████████████████████▉        | 2.26G/2.87G [00:25<00:06, 109MiB/s]
 79%|██████████████████████████████        | 2.27G/2.87G [00:26<00:06, 107MiB/s]
 79%|██████████████████████████████▏       | 2.28G/2.87G [00:26<00:06, 102MiB/s]
 80%|██████████████████████████████▎       | 2.29G/2.87G [00:26<00:06, 100MiB/s]
 80%|█████████████████████████████▌       | 2.30G/2.87G [00:26<00:06, 94.3MiB/s]
 80%|█████████████████████████████▊       | 2.31G/2.87G [00:26<00:06, 98.5MiB/s]
 81%|█████████████████████████████▊       | 2.32G/2.87G [00:26<00:06, 97.8MiB/s]
 81%|██████████████████████████████▊       | 2.33G/2.87G [00:26<00:05, 103MiB/s]
 81%|██████████████████████████████▉       | 2.34G/2.87G [00:26<00:05, 107MiB/s]
 82%|███████████████████████████████▏      | 2.36G/2.87G [00:26<00:04, 118MiB/s]
 82%|███████████████████████████████▎      | 2.37G/2.87G [00:27<00:05, 107MiB/s]
 83%|███████████████████████████████▍      | 2.38G/2.87G [00:27<00:04, 115MiB/s]
 83%|███████████████████████████████▌      | 2.39G/2.87G [00:27<00:04, 109MiB/s]
 84%|███████████████████████████████▋      | 2.40G/2.87G [00:27<00:04, 107MiB/s]
 84%|███████████████████████████████▉      | 2.41G/2.87G [00:27<00:04, 110MiB/s]
 84%|████████████████████████████████      | 2.43G/2.87G [00:27<00:04, 116MiB/s]
 85%|████████████████████████████████▏     | 2.44G/2.87G [00:27<00:04, 118MiB/s]
 85%|████████████████████████████████▎     | 2.45G/2.87G [00:27<00:04, 110MiB/s]
 86%|████████████████████████████████▌     | 2.46G/2.87G [00:27<00:03, 123MiB/s]
 86%|████████████████████████████████▋     | 2.48G/2.87G [00:28<00:03, 130MiB/s]
 87%|████████████████████████████████▉     | 2.49G/2.87G [00:28<00:03, 123MiB/s]
 87%|█████████████████████████████████     | 2.50G/2.87G [00:28<00:03, 126MiB/s]
 87%|█████████████████████████████████▏    | 2.51G/2.87G [00:28<00:02, 131MiB/s]
 88%|█████████████████████████████████▍    | 2.53G/2.87G [00:28<00:02, 128MiB/s]
 88%|█████████████████████████████████▌    | 2.54G/2.87G [00:28<00:02, 134MiB/s]
 89%|█████████████████████████████████▋    | 2.55G/2.87G [00:28<00:02, 132MiB/s]
 89%|█████████████████████████████████▉    | 2.57G/2.87G [00:28<00:02, 125MiB/s]
 90%|██████████████████████████████████    | 2.58G/2.87G [00:28<00:02, 123MiB/s]
 90%|██████████████████████████████████▏   | 2.59G/2.87G [00:29<00:02, 114MiB/s]
 90%|██████████████████████████████████▎   | 2.60G/2.87G [00:29<00:02, 108MiB/s]
 91%|██████████████████████████████████▌   | 2.61G/2.87G [00:29<00:02, 111MiB/s]
 91%|██████████████████████████████████▋   | 2.62G/2.87G [00:29<00:02, 114MiB/s]
 92%|██████████████████████████████████▊   | 2.63G/2.87G [00:29<00:02, 121MiB/s]
 92%|██████████████████████████████████▉   | 2.65G/2.87G [00:29<00:01, 125MiB/s]
 92%|███████████████████████████████████▏  | 2.66G/2.87G [00:29<00:01, 125MiB/s]
 93%|███████████████████████████████████▎  | 2.67G/2.87G [00:29<00:01, 121MiB/s]
 93%|███████████████████████████████████▍  | 2.68G/2.87G [00:29<00:01, 114MiB/s]
 94%|███████████████████████████████████▌  | 2.69G/2.87G [00:29<00:01, 114MiB/s]
 94%|███████████████████████████████████▋  | 2.70G/2.87G [00:30<00:01, 111MiB/s]
 94%|███████████████████████████████████▉  | 2.72G/2.87G [00:30<00:01, 116MiB/s]
 95%|████████████████████████████████████  | 2.73G/2.87G [00:30<00:01, 122MiB/s]
 95%|████████████████████████████████████▏ | 2.74G/2.87G [00:30<00:01, 119MiB/s]
 96%|████████████████████████████████████▎ | 2.75G/2.87G [00:30<00:01, 122MiB/s]
 96%|████████████████████████████████████▌ | 2.76G/2.87G [00:30<00:00, 125MiB/s]
 97%|████████████████████████████████████▋ | 2.78G/2.87G [00:30<00:00, 124MiB/s]
 97%|████████████████████████████████████▊ | 2.79G/2.87G [00:30<00:00, 122MiB/s]
 97%|█████████████████████████████████████ | 2.80G/2.87G [00:30<00:00, 125MiB/s]
 98%|█████████████████████████████████████▏| 2.81G/2.87G [00:31<00:00, 121MiB/s]
 98%|█████████████████████████████████████▎| 2.82G/2.87G [00:31<00:00, 111MiB/s]
 99%|█████████████████████████████████████▍| 2.84G/2.87G [00:31<00:00, 117MiB/s]
 99%|█████████████████████████████████████▌| 2.85G/2.87G [00:31<00:00, 118MiB/s]
100%|█████████████████████████████████████▊| 2.86G/2.87G [00:31<00:00, 127MiB/s]
100%|█████████████████████████████████████▉| 2.87G/2.87G [00:31<00:00, 127MiB/s]
100%|█████████████████████████████████████| 2.87G/2.87G [00:31<00:00, 97.7MiB/s]
  Whisper loaded in 46.4s

[3/3] Running evaluation on 12 test cases...
------------------------------------------------------------

  [1/12] en_simple (English)
    Input: The quick brown fox jumps over the lazy dog near the riverbank.
    ERROR: HTTP Error 403: Forbidden

  [2/12] en_medium (English)
    Input: Artificial intelligence is transforming how we approach complex problems in scie...
    ERROR: HTTP Error 403: Forbidden

  [3/12] en_numbers (English)
    Input: In two thousand twenty-four, approximately three point seven billion people used...
    ERROR: HTTP Error 403: Forbidden

  [4/12] en_punctuation (English)
    Input: She said, 'I can't believe it!' and then whispered, 'This changes everything we ...
    ERROR: HTTP Error 403: Forbidden

  [5/12] en_medical (English)
    Input: Dr. Smith prescribed two hundred and fifty milligrams of amoxicillin three times...
    ERROR: HTTP Error 403: Forbidden

  [6/12] en_proper_nouns (English)
    Input: The Massachusetts Institute of Technology announced groundbreaking research in s...
    ERROR: HTTP Error 403: Forbidden

  [7/12] en_address (English)
    Input: Please navigate to one twenty-three Main Street, apartment four B, New York City...
    ERROR: HTTP Error 403: Forbidden

  [8/12] en_financial (English)
    Input: The stock price fluctuated between forty-seven dollars and sixty-three cents and...
    ERROR: HTTP Error 403: Forbidden

  [9/12] zh_simple (Chinese)
    Input: 人工智能正在深刻改变着我们的日常生活和工作方式。
    ERROR: HTTP Error 403: Forbidden

  [10/12] zh_historical (Chinese)
    Input: 中华人民共和国于一九四九年十月一日正式成立。
    ERROR: HTTP Error 403: Forbidden

  [11/12] ja_simple (Japanese)
    Input: 東京は日本の首都であり、世界で最も人口の多い都市の一つです。
    ERROR: HTTP Error 403: Forbidden

  [12/12] ko_simple (Korean)
    Input: 인공지능 기술은 우리의 일상생활을 크게 변화시키고 있습니다.
    ERROR: HTTP Error 403: Forbidden

============================================================
  FINAL RESULTS — Qwen3-TTS-12Hz-0.6B-Base
============================================================
  GPU:           NVIDIA A100-SXM4-80GB
  Precision:     bfloat16 (max accuracy)
  Transcriber:   Whisper large-v2
  Test cases:    0/12 successful
  Avg WER:       -1.00%
  Avg CER:       -1.00%
  Avg RTF:       -1.000

  Per-Language Breakdown:

  Results saved to: /home/ubuntu/quench_0.6b/results/evaluation_results.json
============================================================