Output:
Chunk ID: 5e4b53
Wall time: 0.0541 seconds
Process exited with code 0
Original token count: 48289
Output:
Total output lines: 2207

2:benchmark_results/capacity_c100_s45.json
3:benchmark_results/capacity_c100_s45_health.csv
4:benchmark_results/capacity_c100_s45_streams.csv
5:benchmark_results/capacity_c100_s60.json
6:benchmark_results/capacity_c100_s60_health.csv
7:benchmark_results/capacity_c100_s60_streams.csv
8:benchmark_results/capacity_c10_s45.json
9:benchmark_results/capacity_c10_s45_health.csv
10:benchmark_results/capacity_c10_s45_streams.csv
11:benchmark_results/capacity_c10_s60.json
12:benchmark_results/capacity_c10_s60_health.csv
13:benchmark_results/capacity_c10_s60_streams.csv
14:benchmark_results/capacity_c110_s60.json
15:benchmark_results/capacity_c110_s60_health.csv
16:benchmark_results/capacity_c110_s60_streams.csv
17:benchmark_results/capacity_c120_s60.json
18:benchmark_results/capacity_c120_s60_health.csv
19:benchmark_results/capacity_c120_s60_streams.csv
20:benchmark_results/capacity_c130_s60.json
21:benchmark_results/capacity_c130_s60_health.csv
22:benchmark_results/capacity_c130_s60_streams.csv
23:benchmark_results/capacity_c140_s60.json
24:benchmark_results/capacity_c140_s60_health.csv
25:benchmark_results/capacity_c140_s60_streams.csv
26:benchmark_results/capacity_c150_s60.json
27:benchmark_results/capacity_c150_s60_health.csv
28:benchmark_results/capacity_c150_s60_streams.csv
29:benchmark_results/capacity_c175_s60.json
30:benchmark_results/capacity_c175_s60_health.csv
31:benchmark_results/capacity_c175_s60_streams.csv
32:benchmark_results/capacity_c1_s45.json
33:benchmark_results/capacity_c1_s45_health.csv
34:benchmark_results/capacity_c1_s45_streams.csv
35:benchmark_results/capacity_c1_s60.json
36:benchmark_results/capacity_c1_s60_health.csv
37:benchmark_results/capacity_c1_s60_streams.csv
38:benchmark_results/capacity_c1_sustained15.json
39:benchmark_results/capacity_c1_sustained15_delays.csv
40:benchmark_results/capacity_c1_sustained15_health.csv
41:benchmark_results/capacity_c1_sustained15_streams.csv
42:benchmark_results/capacity_c200_s60.json
43:benchmark_results/capacity_c200_s60_health.csv
44:benchmark_results/capacity_c200_s60_streams.csv
45:benchmark_results/capacity_c20_s45.json
46:benchmark_results/capacity_c20_s45_health.csv
47:benchmark_results/capacity_c20_s45_streams.csv
48:benchmark_results/capacity_c20_s60.json
49:benchmark_results/capacity_c20_s60_health.csv
50:benchmark_results/capacity_c20_s60_streams.csv
51:benchmark_results/capacity_c250_s60.json
52:benchmark_results/capacity_c250_s60_health.csv
53:benchmark_results/capacity_c250_s60_streams.csv
54:benchmark_results/capacity_c300_s60.json
55:benchmark_results/capacity_c300_s60_health.csv
56:benchmark_results/capacity_c300_s60_streams.csv
57:benchmark_results/capacity_c30_s45.json
58:benchmark_results/capacity_c30_s45_health.csv
59:benchmark_results/capacity_c30_s45_streams.csv
60:benchmark_results/capacity_c30_s60.json
61:benchmark_results/capacity_c30_s60_health.csv
62:benchmark_results/capacity_c30_s60_streams.csv
63:benchmark_results/capacity_c50_s45.json
64:benchmark_results/capacity_c50_s45_health.csv
65:benchmark_results/capacity_c50_s45_streams.csv
66:benchmark_results/capacity_c50_s60.json
67:benchmark_results/capacity_c50_s60_health.csv
68:benchmark_results/capacity_c50_s60_streams.csv
69:benchmark_results/capacity_c5_s45.json
70:benchmark_results/capacity_c5_s45_health.csv
71:benchmark_results/capacity_c5_s45_streams.csv
72:benchmark_results/capacity_c5_s60.json
73:benchmark_results/capacity_c5_s60_health.csv
74:benchmark_results/capacity_c5_s60_streams.csv
75:benchmark_results/capacity_c5_sustained20.json
76:benchmark_results/capacity_c5_sustained20_delays.csv
77:benchmark_results/capacity_c5_sustained20_health.csv
78:benchmark_results/capacity_c5_sustained20_streams.csv
79:benchmark_results/capacity_c5_sustained30.json
80:benchmark_results/capacity_c5_sustained30_delays.csv
81:benchmark_results/capacity_c5_sustained30_health.csv
82:benchmark_results/capacity_c5_sustained30_streams.csv
83:benchmark_results/capacity_c5_sustained45.json
84:benchmark_results/capacity_c5_sustained45_delays.csv
85:benchmark_results/capacity_c5_sustained45_health.csv
86:benchmark_results/capacity_c5_sustained45_streams.csv
87:benchmark_results/capacity_c5_sustained60.json
88:benchmark_results/capacity_c5_sustained60_delays.csv
89:benchmark_results/capacity_c5_sustained60_health.csv
90:benchmark_results/capacity_c5_sustained60_streams.csv
91:benchmark_results/capacity_c80_s45.json
92:benchmark_results/capacity_c80_s45_health.csv
93:benchmark_results/capacity_c80_s45_streams.csv
94:benchmark_results/capacity_c80_s60.json
95:benchmark_results/capacity_c80_s60_health.csv
96:benchmark_results/capacity_c80_s60_streams.csv
97:benchmark_results/capacity_sweep_a100_80gb.json
98:benchmark_results/fleurs_hindi_comparison.json
99:benchmark_results/fleurs_hindi_details.csv
100:benchmark_results/fleurs_hindi_summary.json
101:benchmark_results/gpu_ceiling_honest.json
102:benchmark_results/gpu_ceiling_test.json
103:benchmark_results/indicvoices_hindi_comparison.json
104:benchmark_results/indicvoices_hindi_details.csv
105:benchmark_results/indicvoices_hindi_summary.json
106:benchmark_results/loadtest_concurrent_10_details.csv
107:benchmark_results/loadtest_concurrent_10_summary.json
108:benchmark_results/loadtest_concurrent_1_details.csv
109:benchmark_results/loadtest_concurrent_1_summary.json
110:benchmark_results/loadtest_concurrent_25_details.csv
111:benchmark_results/loadtest_concurrent_25_summary.json
112:benchmark_results/loadtest_concurrent_50_details.csv
113:benchmark_results/loadtest_concurrent_50_summary.json
114:benchmark_results/loadtest_concurrent_5_details.csv
115:benchmark_results/loadtest_concurrent_5_summary.json
116:benchmark_results/local_batched_sweep.json
117:benchmark_results/local_concurrent_proper.json
118:benchmark_results/local_direct_latency.json
119:benchmark_results/overall_concurrent.json
120:benchmark_results/overall_concurrent_p99.json
121:benchmark_results/realistic_full_pipeline.json
122:benchmark_results/stress_c1000_s2.0.json
123:benchmark_results/stress_c1000_s2.0_delays.csv
124:benchmark_results/stress_c1000_s2.0_health.csv
125:benchmark_results/stress_c1000_s2.0_streams.csv
126:benchmark_results/stress_c100_s2.0.json
127:benchmark_results/stress_c100_s2.0_delays.csv
128:benchmark_results/stress_c100_s2.0_health.csv
129:benchmark_results/stress_c100_s2.0_streams.csv
130:benchmark_results/stress_c10_s2.0.json
131:benchmark_results/stress_c10_s2.0_delays.csv
132:benchmark_results/stress_c10_s2.0_health.csv
133:benchmark_results/stress_c10_s2.0_streams.csv
134:benchmark_results/stress_c1_s1.0.json
135:benchmark_results/stress_c1_s1.0_delays.csv
136:benchmark_results/stress_c1_s1.0_health.csv
137:benchmark_results/stress_c1_s1.0_streams.csv
138:benchmark_results/stress_c1_s2.0.json
139:benchmark_results/stress_c1_s2.0_delays.csv
140:benchmark_results/stress_c1_s2.0_health.csv
141:benchmark_results/stress_c1_s2.0_streams.csv
142:benchmark_results/stress_c250_s2.0.json
143:benchmark_results/stress_c250_s2.0_delays.csv
144:benchmark_results/stress_c250_s2.0_health.csv
145:benchmark_results/stress_c250_s2.0_streams.csv
146:benchmark_results/stress_c500_s2.0.json
147:benchmark_results/stress_c500_s2.0_delays.csv
148:benchmark_results/stress_c500_s2.0_health.csv
149:benchmark_results/stress_c500_s2.0_streams.csv
150:benchmark_results/stress_c50_s2.0.json
151:benchmark_results/stress_c50_s2.0_delays.csv
152:benchmark_results/stress_c50_s2.0_health.csv
153:benchmark_results/stress_c50_s2.0_streams.csv
154:benchmark_results/stress_c5_s2.0.json
155:benchmark_results/stress_c5_s2.0_delays.csv
156:benchmark_results/stress_c5_s2.0_health.csv
157:benchmark_results/stress_c5_s2.0_streams.csv
158:benchmark_results/stress_results_20260209_195631.csv
159:benchmark_results/stress_results_20260209_195631.json
160:benchmark_results/stress_results_20260209_195730.csv
161:benchmark_results/stress_results_20260209_195730.json
162:benchmark_results/stress_results_20260209_201434.csv
163:benchmark_results/stress_results_20260209_201434.json
164:benchmark_results/stress_results_20260209_202433.csv
165:benchmark_results/stress_results_20260209_202433.json
166:benchmark_results/stress_results_20260209_202718.csv
167:benchmark_results/stress_results_20260209_202718.json
168:benchmark_results/stress_sweep_h100_s2.0.json
169:benchmark_results/stress_sweep_s2.0.json
174:nemotron/configs/finetune_indic_rnnt.yaml
175:nemotron/configs/indic_finetune.yaml
180:nemotron/scripts/auto_resume_finetune_indic_shar.sh
183:nemotron/scripts/deploy_indic_streaming.py
184:nemotron/scripts/finetune_indic.py
185:nemotron/scripts/finetune_indic_fast.py
186:nemotron/scripts/finetune_indic_nemo.py
187:nemotron/scripts/finetune_indic_v3.py
190:nemotron/scripts/monitor_finetune_indic_shar.sh
191:nemotron/scripts/prep_asr_dataset.py
192:nemotron/scripts/prep_asr_dataset_shard.py
196:nemotron/scripts/train_indic_tokenizer.py
197:nemotron/scripts/train_indic_tokenizer_v2.py
201:nemotron/tokenizers/indic_bpe/indic_bpe_v2.model
202:nemotron/tokenizers/indic_bpe/indic_bpe_v2.vocab
203:nemotron/tokenizers/indic_bpe/tokenizer.model
204:nemotron/tokenizers/indic_bpe/tokenizer.vocab
205:nemotron/tokenizers/indic_bpe/vocab.txt
220:production/__pycache__/test_stress.cpython-310.pyc
227:production/test_stress.py
262:venv/bin/datasets-cli
279:venv/bin/jiwer
300:venv/bin/proton-viewer
3807:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/arrow_lower_left.png
3808:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/arrow_lower_right.png
3900:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/cancer.png
3994:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/dancer.png
3995:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/dancers.png
4073:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/flower_playing_cards.png
4446:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/shower.png
4473:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/soccer.png
4500:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/sunflower.png
4537:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/tokyo_tower.png
4600:venv/lib/python3.10/site-packages/borb/pdf/canvas/layout/emoji/resources/white_flower.png
5173:venv/lib/python3.10/site-packages/botocore/cacert.pem
5614:venv/lib/python3.10/site-packages/botocore/data/codeguru-reviewer/2019-09-19/endpoint-rule-set-1.json.gz
5615:venv/lib/python3.10/site-packages/botocore/data/codeguru-reviewer/2019-09-19/examples-1.json
5616:venv/lib/python3.10/site-packages/botocore/data/codeguru-reviewer/2019-09-19/paginators-1.json
5617:venv/lib/python3.10/site-packages/botocore/data/codeguru-reviewer/2019-09-19/service-2.json.gz
5618:venv/lib/python3.10/site-packages/botocore/data/codeguru-reviewer/2019-09-19/waiters-2.json
5698:venv/lib/python3.10/site-packages/botocore/data/controltower/2018-05-10/endpoint-rule-set-1.json.gz
5699:venv/lib/python3.10/site-packages/botocore/data/controltower/2018-05-10/paginators-1.json
5700:venv/lib/python3.10/site-packages/botocore/data/controltower/2018-05-10/service-2.json.gz
5701:venv/lib/python3.10/site-packages/botocore/data/controltower/2018-05-10/waiters-2.json
6947:venv/lib/python3.10/site-packages/botocore/data/transcribe/2017-10-26/endpoint-rule-set-1.json.gz
6948:venv/lib/python3.10/site-packages/botocore/data/transcribe/2017-10-26/examples-1.json
6949:venv/lib/python3.10/site-packages/botocore/data/transcribe/2017-10-26/paginators-1.json
6950:venv/lib/python3.10/site-packages/botocore/data/transcribe/2017-10-26/service-2.json.gz
6951:venv/lib/python3.10/site-packages/botocore/data/transcribe/2017-10-26/waiters-2.json
7167:venv/lib/python3.10/site-packages/certifi-2026.1.4.dist-info/INSTALLER
7168:venv/lib/python3.10/site-packages/certifi-2026.1.4.dist-info/METADATA
7169:venv/lib/python3.10/site-packages/certifi-2026.1.4.dist-info/RECORD
7170:venv/lib/python3.10/site-packages/certifi-2026.1.4.dist-info/WHEEL
7171:venv/lib/python3.10/site-packages/certifi-2026.1.4.dist-info/licenses/LICENSE
7172:venv/lib/python3.10/site-packages/certifi-2026.1.4.dist-info/top_level.txt
7173:venv/lib/python3.10/site-packages/certifi-stubs/METADATA.toml
7174:venv/lib/python3.10/site-packages/certifi-stubs/__init__.pyi
7175:venv/lib/python3.10/site-packages/certifi/__init__.py
7176:venv/lib/python3.10/site-packages/certifi/__main__.py
7177:venv/lib/python3.10/site-packages/certifi/__pycache__/__init__.cpython-310.pyc
7178:venv/lib/python3.10/site-packages/certifi/__pycache__/__main__.cpython-310.pyc
7179:venv/lib/python3.10/site-packages/certifi/__pycache__/core.cpython-310.pyc
7180:venv/lib/python3.10/site-packages/certifi/cacert.pem
7181:venv/lib/python3.10/site-packages/certifi/core.py
7182:venv/lib/python3.10/site-packages/certifi/py.typed
7570:venv/lib/python3.10/site-packages/cryptography/x509/__pycache__/certificate_transparency.cpython-310.pyc
7578:venv/lib/python3.10/site-packages/cryptography/x509/certificate_transparency.py
7858:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/AUTHORS
7859:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/INSTALLER
7860:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/LICENSE
7861:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/METADATA
7862:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/RECORD
7863:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/REQUESTED
7864:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/WHEEL
7865:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/entry_points.txt
7866:venv/lib/python3.10/site-packages/datasets-2.21.0.dist-info/top_level.txt
7867:venv/lib/python3.10/site-packages/datasets/__init__.py
7868:venv/lib/python3.10/site-packages/datasets/__pycache__/__init__.cpython-310.pyc
7869:venv/lib/python3.10/site-packages/datasets/__pycache__/arrow_dataset.cpython-310.pyc
7870:venv/lib/python3.10/site-packages/datasets/__pycache__/arrow_reader.cpython-310.pyc
7871:venv/lib/python3.10/site-packages/datasets/__pycache__/arrow_writer.cpython-310.pyc
7872:venv/lib/python3.10/site-packages/datasets/__pycache__/builder.cpython-310.pyc
7873:venv/lib/python3.10/site-packages/datasets/__pycache__/combine.cpython-310.pyc
7874:venv/lib/python3.10/site-packages/datasets/__pycache__/config.cpython-310.pyc
7875:venv/lib/python3.10/site-packages/datasets/__pycache__/data_files.cpython-310.pyc
7876:venv/lib/python3.10/site-packages/datasets/__pycache__/dataset_dict.cpython-310.pyc
7877:venv/lib/python3.10/site-packages/datasets/__pycache__/distributed.cpython-310.pyc
7878:venv/lib/python3.10/site-packages/datasets/__pycache__/exceptions.cpython-310.pyc
7879:venv/lib/python3.10/site-packages/datasets/__pycache__/fingerprint.cpython-310.pyc
7880:venv/lib/python3.10/site-packages/datasets/__pycache__/hub.cpython-310.pyc
7881:venv/lib/python3.10/site-packages/datasets/__pycache__/info.cpython-310.pyc
7882:venv/lib/python3.10/site-packages/datasets/__pycache__/inspect.cpython-310.pyc
7883:venv/lib/python3.10/site-packages/datasets/__pycache__/iterable_dataset.cpython-310.pyc
7884:venv/lib/python3.10/site-packages/datasets/__pycache__/keyhash.cpython-310.pyc
7885:venv/lib/python3.10/site-packages/datasets/__pycache__/load.cpython-310.pyc
7886:venv/lib/python3.10/site-packages/datasets/__pycache__/metric.cpython-310.pyc
7887:venv/lib/python3.10/site-packages/datasets/__pycache__/naming.cpython-310.pyc
7888:venv/lib/python3.10/site-packages/datasets/__pycache__/search.cpython-310.pyc
7889:venv/lib/python3.10/site-packages/datasets/__pycache__/splits.cpython-310.pyc
7890:venv/lib/python3.10/site-packages/datasets/__pycache__/streaming.cpython-310.pyc
7891:venv/lib/python3.10/site-packages/datasets/__pycache__/table.cpython-310.pyc
7892:venv/lib/python3.10/site-packages/datasets/arrow_dataset.py
7893:venv/lib/python3.10/site-packages/datasets/arrow_reader.py
7894:venv/lib/python3.10/site-packages/datasets/arrow_writer.py
7895:venv/lib/python3.10/site-packages/datasets/builder.py
7896:venv/lib/python3.10/site-packages/datasets/combine.py
7897:venv/lib/python3.10/site-packages/datasets/commands/__init__.py
7898:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/__init__.cpython-310.pyc
7899:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/convert.cpython-310.pyc
7900:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/convert_to_parquet.cpython-310.pyc
7901:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/datasets_cli.cpython-310.pyc
7902:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/delete_from_hub.cpython-310.pyc
7903:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/dummy_data.cpython-310.pyc
7904:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/env.cpython-310.pyc
7905:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/run_beam.cpython-310.pyc
7906:venv/lib/python3.10/site-packages/datasets/commands/__pycache__/test.cpython-310.pyc
7907:venv/lib/python3.10/site-packages/datasets/commands/convert.py
7908:venv/lib/python3.10/site-packages/datasets/commands/convert_to_parquet.py
7909:venv/lib/python3.10/site-packages/datasets/commands/datasets_cli.py
7910:venv/lib/python3.10/site-packages/datasets/commands/delete_from_hub.py
7911:venv/lib/python3.10/site-packages/datasets/commands/dummy_data.py
7912:venv/lib/python3.10/site-packages/datasets/commands/env.py
7913:venv/lib/python3.10/site-packages/datasets/commands/run_beam.py
7914:venv/lib/python3.10/site-packages/datasets/commands/test.py
7915:venv/lib/python3.10/site-packages/datasets/config.py
7916:venv/lib/python3.10/site-packages/datasets/data_files.py
7917:venv/lib/python3.10/site-packages/datasets/dataset_dict.py
7918:venv/lib/python3.10/site-packages/datasets/distributed.py
7919:venv/lib/python3.10/site-packages/datasets/download/__init__.py
7920:venv/lib/python3.10/site-packages/datasets/download/__pycache__/__init__.cpython-310.pyc
7921:venv/lib/python3.10/site-packages/datasets/download/__pycache__/download_config.cpython-310.pyc
7922:venv/lib/python3.10/site-packages/datasets/download/__pycache__/download_manager.cpython-310.pyc
7923:venv/lib/python3.10/site-packages/datasets/download/__pycache__/mock_download_manager.cpython-310.pyc
7924:venv/lib/python3.10/site-packages/datasets/download/__pycache__/streaming_download_manager.cpython-310.pyc
7925:venv/lib/python3.10/site-packages/datasets/download/download_config.py
7926:venv/lib/python3.10/site-packages/datasets/download/download_manager.py
7927:venv/lib/python3.10/site-packages/datasets/download/mock_download_manager.py
7928:venv/lib/python3.10/site-packages/datasets/download/streaming_download_manager.py
7929:venv/lib/python3.10/site-packages/datasets/exceptions.py
7930:venv/lib/python3.10/site-packages/datasets/features/__init__.py
7931:venv/lib/python3.10/site-packages/datasets/features/__pycache__/__init__.cpython-310.pyc
7932:venv/lib/python3.10/site-packages/datasets/features/__pycache__/audio.cpython-310.pyc
7933:venv/lib/python3.10/site-packages/datasets/features/__pycache__/features.cpython-310.pyc
7934:venv/lib/python3.10/site-packages/datasets/features/__pycache__/image.cpython-310.pyc
7935:venv/lib/python3.10/site-packages/datasets/features/__pycache__/translation.cpython-310.pyc
7936:venv/lib/python3.10/site-packages/datasets/features/audio.py
7937:venv/lib/python3.10/site-packages/datasets/features/features.py
7938:venv/lib/python3.10/site-packages/datasets/features/image.py
7939:venv/lib/python3.10/site-packages/datasets/features/translation.py
7940:venv/lib/python3.10/site-packages/datasets/filesystems/__init__.py
7941:venv/lib/python3.10/site-packages/datasets/filesystems/__pycache__/__init__.cpython-310.pyc
7942:venv/lib/python3.10/site-packages/datasets/filesystems/__pycache__/compression.…38289 tokens truncated…/modeling_bridgetower.cpython-310.pyc
72856:venv/lib/python3.10/site-packages/transformers/models/bridgetower/__pycache__/processing_bridgetower.cpython-310.pyc
72857:venv/lib/python3.10/site-packages/transformers/models/bridgetower/configuration_bridgetower.py
72858:venv/lib/python3.10/site-packages/transformers/models/bridgetower/image_processing_bridgetower.py
72859:venv/lib/python3.10/site-packages/transformers/models/bridgetower/image_processing_bridgetower_fast.py
72860:venv/lib/python3.10/site-packages/transformers/models/bridgetower/modeling_bridgetower.py
72861:venv/lib/python3.10/site-packages/transformers/models/bridgetower/processing_bridgetower.py
75860:venv/lib/python3.10/site-packages/transformers/pipelines/__pycache__/document_question_answering.cpython-310.pyc
75872:venv/lib/python3.10/site-packages/transformers/pipelines/__pycache__/question_answering.cpython-310.pyc
75873:venv/lib/python3.10/site-packages/transformers/pipelines/__pycache__/table_question_answering.cpython-310.pyc
75880:venv/lib/python3.10/site-packages/transformers/pipelines/__pycache__/visual_question_answering.cpython-310.pyc
75890:venv/lib/python3.10/site-packages/transformers/pipelines/document_question_answering.py
75902:venv/lib/python3.10/site-packages/transformers/pipelines/question_answering.py
75903:venv/lib/python3.10/site-packages/transformers/pipelines/table_question_answering.py
75910:venv/lib/python3.10/site-packages/transformers/pipelines/visual_question_answering.py
76136:venv/lib/python3.10/site-packages/triton/backends/amd/include/roctracer/ext/prof_protocol.h
76137:venv/lib/python3.10/site-packages/triton/backends/amd/include/roctracer/roctracer.h
76138:venv/lib/python3.10/site-packages/triton/backends/amd/include/roctracer/roctracer_ext.h
76139:venv/lib/python3.10/site-packages/triton/backends/amd/include/roctracer/roctracer_hip.h
76140:venv/lib/python3.10/site-packages/triton/backends/amd/include/roctracer/roctracer_roctx.h
76141:venv/lib/python3.10/site-packages/triton/backends/amd/include/roctracer/roctx.h
76461:venv/lib/python3.10/site-packages/triton/profiler/__pycache__/viewer.cpython-310.pyc
76479:venv/lib/python3.10/site-packages/triton/profiler/viewer.py
76596:venv/lib/python3.10/site-packages/types_certifi-2021.10.8.3.dist-info/INSTALLER
76597:venv/lib/python3.10/site-packages/types_certifi-2021.10.8.3.dist-info/METADATA
76598:venv/lib/python3.10/site-packages/types_certifi-2021.10.8.3.dist-info/RECORD
76599:venv/lib/python3.10/site-packages/types_certifi-2021.10.8.3.dist-info/WHEEL
76600:venv/lib/python3.10/site-packages/types_certifi-2021.10.8.3.dist-info/top_level.txt
76792:venv/lib/python3.10/site-packages/tzdata/zoneinfo/America/Lower_Princes
77633:venv/lib/python3.10/site-packages/wandb/apis/_generated/__pycache__/get_sweep.cpython-310.pyc
77634:venv/lib/python3.10/site-packages/wandb/apis/_generated/__pycache__/get_sweep_legacy.cpython-310.pyc
77635:venv/lib/python3.10/site-packages/wandb/apis/_generated/__pycache__/get_sweeps.cpython-310.pyc
77637:venv/lib/python3.10/site-packages/wandb/apis/_generated/__pycache__/get_viewer.cpython-310.pyc
77654:venv/lib/python3.10/site-packages/wandb/apis/_generated/get_sweep.py
77655:venv/lib/python3.10/site-packages/wandb/apis/_generated/get_sweep_legacy.py
77656:venv/lib/python3.10/site-packages/wandb/apis/_generated/get_sweeps.py
77658:venv/lib/python3.10/site-packages/wandb/apis/_generated/get_viewer.py
77694:venv/lib/python3.10/site-packages/wandb/apis/public/__pycache__/sweeps.cpython-310.pyc
77722:venv/lib/python3.10/site-packages/wandb/apis/public/sweeps.py
77891:venv/lib/python3.10/site-packages/wandb/integration/langchain/__pycache__/wandb_tracer.cpython-310.pyc
77892:venv/lib/python3.10/site-packages/wandb/integration/langchain/wandb_tracer.py
78147:venv/lib/python3.10/site-packages/wandb/sdk/__pycache__/wandb_sweep.cpython-310.pyc
78159:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/__pycache__/artifact_manifest.cpython-310.pyc
78160:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/__pycache__/artifact_manifest_entry.cpython-310.pyc
78190:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/_generated/__pycache__/fetch_artifact_manifest.cpython-310.pyc
78243:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/_generated/fetch_artifact_manifest.py
78284:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/_models/__pycache__/manifest.cpython-310.pyc
78290:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/_models/manifest.py
78299:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/artifact_manifest.py
78300:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/artifact_manifest_entry.py
78301:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/artifact_manifests/__init__.py
78302:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/artifact_manifests/__pycache__/__init__.cpython-310.pyc
78303:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/artifact_manifests/__pycache__/artifact_manifest_v1.cpython-310.pyc
78304:venv/lib/python3.10/site-packages/wandb/sdk/artifacts/artifact_manifests/artifact_manifest_v1.py
78557:venv/lib/python3.10/site-packages/wandb/sdk/launch/sweeps/__init__.py
78558:venv/lib/python3.10/site-packages/wandb/sdk/launch/sweeps/__pycache__/__init__.cpython-310.pyc
78559:venv/lib/python3.10/site-packages/wandb/sdk/launch/sweeps/__pycache__/scheduler.cpython-310.pyc
78560:venv/lib/python3.10/site-packages/wandb/sdk/launch/sweeps/__pycache__/scheduler_sweep.cpython-310.pyc
78561:venv/lib/python3.10/site-packages/wandb/sdk/launch/sweeps/__pycache__/utils.cpython-310.pyc
78562:venv/lib/python3.10/site-packages/wandb/sdk/launch/sweeps/scheduler.py
78563:venv/lib/python3.10/site-packages/wandb/sdk/launch/sweeps/scheduler_sweep.py
78564:venv/lib/python3.10/site-packages/wandb/sdk/launch/sweeps/utils.py
78705:venv/lib/python3.10/site-packages/wandb/sdk/wandb_sweep.py
78961:venv/lib/python3.10/site-packages/wandb/vendor/promise-2.3.0/tests/__pycache__/test_benchmark.cpython-310.pyc
78975:venv/lib/python3.10/site-packages/wandb/vendor/promise-2.3.0/tests/test_benchmark.py
79527:venv/lib/python3.10/site-packages/watchdog/utils/__pycache__/event_debouncer.cpython-310.pyc
79535:venv/lib/python3.10/site-packages/watchdog/utils/event_debouncer.py
79600:venv/lib/python3.10/site-packages/webdataset-1.0.2.dist-info/INSTALLER
79601:venv/lib/python3.10/site-packages/webdataset-1.0.2.dist-info/METADATA
79602:venv/lib/python3.10/site-packages/webdataset-1.0.2.dist-info/RECORD
79603:venv/lib/python3.10/site-packages/webdataset-1.0.2.dist-info/WHEEL
79604:venv/lib/python3.10/site-packages/webdataset-1.0.2.dist-info/licenses/LICENSE
79605:venv/lib/python3.10/site-packages/webdataset-1.0.2.dist-info/top_level.txt
79606:venv/lib/python3.10/site-packages/webdataset/__init__.py
79607:venv/lib/python3.10/site-packages/webdataset/__init__.pyi
79608:venv/lib/python3.10/site-packages/webdataset/__pycache__/__init__.cpython-310.pyc
79609:venv/lib/python3.10/site-packages/webdataset/__pycache__/autodecode.cpython-310.pyc
79610:venv/lib/python3.10/site-packages/webdataset/__pycache__/cache.cpython-310.pyc
79611:venv/lib/python3.10/site-packages/webdataset/__pycache__/compat.cpython-310.pyc
79612:venv/lib/python3.10/site-packages/webdataset/__pycache__/extradatasets.cpython-310.pyc
79613:venv/lib/python3.10/site-packages/webdataset/__pycache__/filters.cpython-310.pyc
79614:venv/lib/python3.10/site-packages/webdataset/__pycache__/gopen.cpython-310.pyc
79615:venv/lib/python3.10/site-packages/webdataset/__pycache__/handlers.cpython-310.pyc
79616:venv/lib/python3.10/site-packages/webdataset/__pycache__/mix.cpython-310.pyc
79617:venv/lib/python3.10/site-packages/webdataset/__pycache__/multi.cpython-310.pyc
79618:venv/lib/python3.10/site-packages/webdataset/__pycache__/pipeline.cpython-310.pyc
79619:venv/lib/python3.10/site-packages/webdataset/__pycache__/pytorch.cpython-310.pyc
79620:venv/lib/python3.10/site-packages/webdataset/__pycache__/shardlists.cpython-310.pyc
79621:venv/lib/python3.10/site-packages/webdataset/__pycache__/tariterators.cpython-310.pyc
79622:venv/lib/python3.10/site-packages/webdataset/__pycache__/tenbin.cpython-310.pyc
79623:venv/lib/python3.10/site-packages/webdataset/__pycache__/typecheck.cpython-310.pyc
79624:venv/lib/python3.10/site-packages/webdataset/__pycache__/utils.cpython-310.pyc
79625:venv/lib/python3.10/site-packages/webdataset/__pycache__/writer.cpython-310.pyc
79626:venv/lib/python3.10/site-packages/webdataset/autodecode.py
79627:venv/lib/python3.10/site-packages/webdataset/autodecode.pyi
79628:venv/lib/python3.10/site-packages/webdataset/cache.py
79629:venv/lib/python3.10/site-packages/webdataset/cache.pyi
79630:venv/lib/python3.10/site-packages/webdataset/compat.py
79631:venv/lib/python3.10/site-packages/webdataset/compat.pyi
79632:venv/lib/python3.10/site-packages/webdataset/downloader.pyi
79633:venv/lib/python3.10/site-packages/webdataset/extradatasets.py
79634:venv/lib/python3.10/site-packages/webdataset/extradatasets.pyi
79635:venv/lib/python3.10/site-packages/webdataset/filters.py
79636:venv/lib/python3.10/site-packages/webdataset/filters.pyi
79637:venv/lib/python3.10/site-packages/webdataset/gopen.py
79638:venv/lib/python3.10/site-packages/webdataset/gopen.pyi
79639:venv/lib/python3.10/site-packages/webdataset/handlers.py
79640:venv/lib/python3.10/site-packages/webdataset/handlers.pyi
79641:venv/lib/python3.10/site-packages/webdataset/mix.py
79642:venv/lib/python3.10/site-packages/webdataset/mix.pyi
79643:venv/lib/python3.10/site-packages/webdataset/multi.py
79644:venv/lib/python3.10/site-packages/webdataset/multi.pyi
79645:venv/lib/python3.10/site-packages/webdataset/pipeline.py
79646:venv/lib/python3.10/site-packages/webdataset/pipeline.pyi
79647:venv/lib/python3.10/site-packages/webdataset/pytorch.py
79648:venv/lib/python3.10/site-packages/webdataset/pytorch.pyi
79649:venv/lib/python3.10/site-packages/webdataset/shardlists.py
79650:venv/lib/python3.10/site-packages/webdataset/shardlists.pyi
79651:venv/lib/python3.10/site-packages/webdataset/tariterators.py
79652:venv/lib/python3.10/site-packages/webdataset/tariterators.pyi
79653:venv/lib/python3.10/site-packages/webdataset/tenbin.py
79654:venv/lib/python3.10/site-packages/webdataset/tenbin.pyi
79655:venv/lib/python3.10/site-packages/webdataset/typecheck.py
79656:venv/lib/python3.10/site-packages/webdataset/typecheck.pyi
79657:venv/lib/python3.10/site-packages/webdataset/utils.py
79658:venv/lib/python3.10/site-packages/webdataset/utils.pyi
79659:venv/lib/python3.10/site-packages/webdataset/writer.py
79660:venv/lib/python3.10/site-packages/webdataset/writer.pyi
79769:venv/lib/python3.10/site-packages/werkzeug-3.1.5.dist-info/INSTALLER
79770:venv/lib/python3.10/site-packages/werkzeug-3.1.5.dist-info/METADATA
79771:venv/lib/python3.10/site-packages/werkzeug-3.1.5.dist-info/RECORD
79772:venv/lib/python3.10/site-packages/werkzeug-3.1.5.dist-info/WHEEL
79773:venv/lib/python3.10/site-packages/werkzeug-3.1.5.dist-info/licenses/LICENSE.txt
79774:venv/lib/python3.10/site-packages/werkzeug/__init__.py
79775:venv/lib/python3.10/site-packages/werkzeug/__pycache__/__init__.cpython-310.pyc
79776:venv/lib/python3.10/site-packages/werkzeug/__pycache__/_internal.cpython-310.pyc
79777:venv/lib/python3.10/site-packages/werkzeug/__pycache__/_reloader.cpython-310.pyc
79778:venv/lib/python3.10/site-packages/werkzeug/__pycache__/exceptions.cpython-310.pyc
79779:venv/lib/python3.10/site-packages/werkzeug/__pycache__/formparser.cpython-310.pyc
79780:venv/lib/python3.10/site-packages/werkzeug/__pycache__/http.cpython-310.pyc
79781:venv/lib/python3.10/site-packages/werkzeug/__pycache__/local.cpython-310.pyc
79782:venv/lib/python3.10/site-packages/werkzeug/__pycache__/security.cpython-310.pyc
79783:venv/lib/python3.10/site-packages/werkzeug/__pycache__/serving.cpython-310.pyc
79784:venv/lib/python3.10/site-packages/werkzeug/__pycache__/test.cpython-310.pyc
79785:venv/lib/python3.10/site-packages/werkzeug/__pycache__/testapp.cpython-310.pyc
79786:venv/lib/python3.10/site-packages/werkzeug/__pycache__/urls.cpython-310.pyc
79787:venv/lib/python3.10/site-packages/werkzeug/__pycache__/user_agent.cpython-310.pyc
79788:venv/lib/python3.10/site-packages/werkzeug/__pycache__/utils.cpython-310.pyc
79789:venv/lib/python3.10/site-packages/werkzeug/__pycache__/wsgi.cpython-310.pyc
79790:venv/lib/python3.10/site-packages/werkzeug/_internal.py
79791:venv/lib/python3.10/site-packages/werkzeug/_reloader.py
79792:venv/lib/python3.10/site-packages/werkzeug/datastructures/__init__.py
79793:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/__init__.cpython-310.pyc
79794:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/accept.cpython-310.pyc
79795:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/auth.cpython-310.pyc
79796:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/cache_control.cpython-310.pyc
79797:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/csp.cpython-310.pyc
79798:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/etag.cpython-310.pyc
79799:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/file_storage.cpython-310.pyc
79800:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/headers.cpython-310.pyc
79801:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/mixins.cpython-310.pyc
79802:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/range.cpython-310.pyc
79803:venv/lib/python3.10/site-packages/werkzeug/datastructures/__pycache__/structures.cpython-310.pyc
79804:venv/lib/python3.10/site-packages/werkzeug/datastructures/accept.py
79805:venv/lib/python3.10/site-packages/werkzeug/datastructures/auth.py
79806:venv/lib/python3.10/site-packages/werkzeug/datastructures/cache_control.py
79807:venv/lib/python3.10/site-packages/werkzeug/datastructures/csp.py
79808:venv/lib/python3.10/site-packages/werkzeug/datastructures/etag.py
79809:venv/lib/python3.10/site-packages/werkzeug/datastructures/file_storage.py
79810:venv/lib/python3.10/site-packages/werkzeug/datastructures/headers.py
79811:venv/lib/python3.10/site-packages/werkzeug/datastructures/mixins.py
79812:venv/lib/python3.10/site-packages/werkzeug/datastructures/range.py
79813:venv/lib/python3.10/site-packages/werkzeug/datastructures/structures.py
79814:venv/lib/python3.10/site-packages/werkzeug/debug/__init__.py
79815:venv/lib/python3.10/site-packages/werkzeug/debug/__pycache__/__init__.cpython-310.pyc
79816:venv/lib/python3.10/site-packages/werkzeug/debug/__pycache__/console.cpython-310.pyc
79817:venv/lib/python3.10/site-packages/werkzeug/debug/__pycache__/repr.cpython-310.pyc
79818:venv/lib/python3.10/site-packages/werkzeug/debug/__pycache__/tbtools.cpython-310.pyc
79819:venv/lib/python3.10/site-packages/werkzeug/debug/console.py
79820:venv/lib/python3.10/site-packages/werkzeug/debug/repr.py
79821:venv/lib/python3.10/site-packages/werkzeug/debug/shared/ICON_LICENSE.md
79822:venv/lib/python3.10/site-packages/werkzeug/debug/shared/console.png
79823:venv/lib/python3.10/site-packages/werkzeug/debug/shared/debugger.js
79824:venv/lib/python3.10/site-packages/werkzeug/debug/shared/less.png
79825:venv/lib/python3.10/site-packages/werkzeug/debug/shared/more.png
79826:venv/lib/python3.10/site-packages/werkzeug/debug/shared/style.css
79827:venv/lib/python3.10/site-packages/werkzeug/debug/tbtools.py
79828:venv/lib/python3.10/site-packages/werkzeug/exceptions.py
79829:venv/lib/python3.10/site-packages/werkzeug/formparser.py
79830:venv/lib/python3.10/site-packages/werkzeug/http.py
79831:venv/lib/python3.10/site-packages/werkzeug/local.py
79832:venv/lib/python3.10/site-packages/werkzeug/middleware/__init__.py
79833:venv/lib/python3.10/site-packages/werkzeug/middleware/__pycache__/__init__.cpython-310.pyc
79834:venv/lib/python3.10/site-packages/werkzeug/middleware/__pycache__/dispatcher.cpython-310.pyc
79835:venv/lib/python3.10/site-packages/werkzeug/middleware/__pycache__/http_proxy.cpython-310.pyc
79836:venv/lib/python3.10/site-packages/werkzeug/middleware/__pycache__/lint.cpython-310.pyc
79837:venv/lib/python3.10/site-packages/werkzeug/middleware/__pycache__/profiler.cpython-310.pyc
79838:venv/lib/python3.10/site-packages/werkzeug/middleware/__pycache__/proxy_fix.cpython-310.pyc
79839:venv/lib/python3.10/site-packages/werkzeug/middleware/__pycache__/shared_data.cpython-310.pyc
79840:venv/lib/python3.10/site-packages/werkzeug/middleware/dispatcher.py
79841:venv/lib/python3.10/site-packages/werkzeug/middleware/http_proxy.py
79842:venv/lib/python3.10/site-packages/werkzeug/middleware/lint.py
79843:venv/lib/python3.10/site-packages/werkzeug/middleware/profiler.py
79844:venv/lib/python3.10/site-packages/werkzeug/middleware/proxy_fix.py
79845:venv/lib/python3.10/site-packages/werkzeug/middleware/shared_data.py
79846:venv/lib/python3.10/site-packages/werkzeug/py.typed
79847:venv/lib/python3.10/site-packages/werkzeug/routing/__init__.py
79848:venv/lib/python3.10/site-packages/werkzeug/routing/__pycache__/__init__.cpython-310.pyc
79849:venv/lib/python3.10/site-packages/werkzeug/routing/__pycache__/converters.cpython-310.pyc
79850:venv/lib/python3.10/site-packages/werkzeug/routing/__pycache__/exceptions.cpython-310.pyc
79851:venv/lib/python3.10/site-packages/werkzeug/routing/__pycache__/map.cpython-310.pyc
79852:venv/lib/python3.10/site-packages/werkzeug/routing/__pycache__/matcher.cpython-310.pyc
79853:venv/lib/python3.10/site-packages/werkzeug/routing/__pycache__/rules.cpython-310.pyc
79854:venv/lib/python3.10/site-packages/werkzeug/routing/converters.py
79855:venv/lib/python3.10/site-packages/werkzeug/routing/exceptions.py
79856:venv/lib/python3.10/site-packages/werkzeug/routing/map.py
79857:venv/lib/python3.10/site-packages/werkzeug/routing/matcher.py
79858:venv/lib/python3.10/site-packages/werkzeug/routing/rules.py
79859:venv/lib/python3.10/site-packages/werkzeug/sansio/__init__.py
79860:venv/lib/python3.10/site-packages/werkzeug/sansio/__pycache__/__init__.cpython-310.pyc
79861:venv/lib/python3.10/site-packages/werkzeug/sansio/__pycache__/http.cpython-310.pyc
79862:venv/lib/python3.10/site-packages/werkzeug/sansio/__pycache__/multipart.cpython-310.pyc
79863:venv/lib/python3.10/site-packages/werkzeug/sansio/__pycache__/request.cpython-310.pyc
79864:venv/lib/python3.10/site-packages/werkzeug/sansio/__pycache__/response.cpython-310.pyc
79865:venv/lib/python3.10/site-packages/werkzeug/sansio/__pycache__/utils.cpython-310.pyc
79866:venv/lib/python3.10/site-packages/werkzeug/sansio/http.py
79867:venv/lib/python3.10/site-packages/werkzeug/sansio/multipart.py
79868:venv/lib/python3.10/site-packages/werkzeug/sansio/request.py
79869:venv/lib/python3.10/site-packages/werkzeug/sansio/response.py
79870:venv/lib/python3.10/site-packages/werkzeug/sansio/utils.py
79871:venv/lib/python3.10/site-packages/werkzeug/security.py
79872:venv/lib/python3.10/site-packages/werkzeug/serving.py
79873:venv/lib/python3.10/site-packages/werkzeug/test.py
79874:venv/lib/python3.10/site-packages/werkzeug/testapp.py
79875:venv/lib/python3.10/site-packages/werkzeug/urls.py
79876:venv/lib/python3.10/site-packages/werkzeug/user_agent.py
79877:venv/lib/python3.10/site-packages/werkzeug/utils.py
79878:venv/lib/python3.10/site-packages/werkzeug/wrappers/__init__.py
79879:venv/lib/python3.10/site-packages/werkzeug/wrappers/__pycache__/__init__.cpython-310.pyc
79880:venv/lib/python3.10/site-packages/werkzeug/wrappers/__pycache__/request.cpython-310.pyc
79881:venv/lib/python3.10/site-packages/werkzeug/wrappers/__pycache__/response.cpython-310.pyc
79882:venv/lib/python3.10/site-packages/werkzeug/wrappers/request.py
79883:venv/lib/python3.10/site-packages/werkzeug/wrappers/response.py
79884:venv/lib/python3.10/site-packages/werkzeug/wsgi.py
79939:venv/lib/python3.10/site-packages/whisper_normalizer/__pycache__/indic.cpython-310.pyc
79945:venv/lib/python3.10/site-packages/whisper_normalizer/indic.py


Output:
Chunk ID: 0f3314
Wall time: 0.0511 seconds
Process exited with code 0
Original token count: 54
Output:
nemotron_asr/__init__.py
nemotron_asr/__pycache__/nemotron_asr.cpython-310.pyc
nemotron_asr/asr_utils.py
nemotron_asr/multi_stream_utils.py
nemotron_asr/nemotron_asr.py
nemotron_asr/pipelines.py
nemotron_asr/vad.py


Output:
Chunk ID: 0cb8a1
Wall time: 0.0509 seconds
Process exited with code 0
Original token count: 558
Output:
nemotron/.git/HEAD
nemotron/.git/config
nemotron/.git/description
nemotron/.git/hooks/applypatch-msg.sample
nemotron/.git/hooks/commit-msg.sample
nemotron/.git/hooks/fsmonitor-watchman.sample
nemotron/.git/hooks/post-update.sample
nemotron/.git/hooks/pre-applypatch.sample
nemotron/.git/hooks/pre-commit.sample
nemotron/.git/hooks/pre-merge-commit.sample
nemotron/.git/hooks/pre-push.sample
nemotron/.git/hooks/pre-rebase.sample
nemotron/.git/hooks/pre-receive.sample
nemotron/.git/hooks/prepare-commit-msg.sample
nemotron/.git/hooks/push-to-checkout.sample
nemotron/.git/hooks/update.sample
nemotron/.git/index
nemotron/.git/info/exclude
nemotron/.git/logs/HEAD
nemotron/.git/objects/pack/pack-c3abd3493974979dc472950ee26a39bf2fae327e.idx
nemotron/.git/objects/pack/pack-c3abd3493974979dc472950ee26a39bf2fae327e.pack
nemotron/.git/packed-refs
nemotron/.git/refs/heads/main
nemotron/.gitignore
nemotron/README.md
nemotron/configs/finetune_indic_rnnt.yaml
nemotron/configs/indic_finetune.yaml
nemotron/configs/nemotron_finetune.yaml
nemotron/configs/nemotron_scratch.yaml
nemotron/latency.png
nemotron/requirements.txt
nemotron/scripts/auto_resume_finetune_indic_shar.sh
nemotron/scripts/convert_shrutilipi.py
nemotron/scripts/convert_shrutilipi_fast.py
nemotron/scripts/deploy_indic_streaming.py
nemotron/scripts/finetune_indic.py
nemotron/scripts/finetune_indic_fast.py
nemotron/scripts/finetune_indic_nemo.py
nemotron/scripts/finetune_indic_v3.py
nemotron/scripts/finetune_rnnt_bpe.py
nemotron/scripts/inference_streaming.py
nemotron/scripts/monitor_finetune_indic_shar.sh
nemotron/scripts/prep_asr_dataset.py
nemotron/scripts/prep_asr_dataset_shard.py
nemotron/scripts/prep_lhotse_cuts.py
nemotron/scripts/prepare_data.py
nemotron/scripts/quick_start.py
nemotron/scripts/train_indic_tokenizer.py
nemotron/scripts/train_indic_tokenizer_v2.py
nemotron/scripts/train_nemotron.py
nemotron/tokenizer/tokenizer.model
nemotron/tokenizer/tokenizer.vocab
nemotron/tokenizers/indic_bpe/indic_bpe_v2.model
nemotron/tokenizers/indic_bpe/indic_bpe_v2.vocab
nemotron/tokenizers/indic_bpe/tokenizer.model
nemotron/tokenizers/indic_bpe/tokenizer.vocab
nemotron/tokenizers/indic_bpe/vocab.txt
nemotron/webapp/__init__.py
nemotron/webapp/app.py


# Collaboration Mode: Default

You are now in Default mode. Any previous instructions for other modes (e.g. Plan mode) are no longer active.

Your active mode changes only when new developer instructions with a different `<collaboration_mode>...</collaboration_mode>` change it; user requests or tool descriptions do not change mode by themselves. Known mode names are Default and Plan.

## request_user_input availability

The `request_user_input` tool is unavailable in Default mode. If you call it while in Default mode, it will return an error.

If a decision is necessary and cannot be discovered from local context, ask the user directly. However, in Default mode you should strongly prefer executing the user's request rather than stopping to ask questions.

Summary: auto

## Skills
A skill is a set of local instructions to follow that is stored in a `SKILL.md` file. Below is the list of skills that can be used. Each entry includes a name, description, and file path so you can open the source for full instructions when using a specific skill.
### Available skills
- skill-creator: Guide for creating effective skills. This skill should be used when users want to create a new skill (or update an existing skill) that extends Codex's capabilities with specialized knowledge, workflows, or tool integrations. (file: /home/ubuntu/.codex/skills/.system/skill-creator/SKILL.md)
- skill-installer: Install Codex skills into $CODEX_HOME/skills from a curated list or a GitHub repo path. Use when a user asks to list installable skills, install a curated skill, or install a skill from another repo (including private repos). (file: /home/ubuntu/.codex/skills/.system/skill-installer/SKILL.md)
### How to use skills
- Discovery: The list above is the skills available in this session (name + description + file path). Skill bodies live on disk at the listed paths.
- Trigger rules: If the user names a skill (with `$SkillName` or plain text) OR the task clearly matches a skill's description shown above, you must use that skill for that turn. Multiple mentions mean use them all. Do not carry skills across turns unless re-mentioned.
- Missing/blocked: If a named skill isn't in the list or the path can't be read, say so briefly and continue with the best fallback.
- How to use a skill (progressive disclosure):
  1) After deciding to use a skill, open its `SKILL.md`. Read only enough to follow the workflow.
  2) When `SKILL.md` references relative paths (e.g., `scripts/foo.py`), resolve them relative to the skill directory listed above first, and only consider other paths if needed.
  3) If `SKILL.md` points to extra folders such as `references/`, load only the specific files needed for the request; don't bulk-load everything.
  4) If `scripts/` exist, prefer running or patching them instead of retyping large code blocks.
  5) If `assets/` or templates exist, reuse them instead of recreating from scratch.
- Coordination and sequencing:
  - If multiple skills apply, choose the minimal set that covers the request and state the order you'll use them.
  - Announce which skill(s) you're using and why (one short line). If you skip an obvious skill, say why.
- Context hygiene:
  - Keep context small: summarize long sections instead of pasting them; only load extra files when needed.
  - Avoid deep reference-chasing: prefer opening only files directly linked from `SKILL.md` unless you're blocked.
  - When variants exist (frameworks, providers, domains), pick only the relevant reference file(s) and note that choice.
- Safety and fallback: If a skill can't be applied cleanly (missing files, unclear instructions), state the issue, pick the next-best approach, and continue.


**Searching benchmark script references**


rg -n "capacity_c|stress_c|loadtest_concurrent|fleurs_hindi|indicvoices|overall_concurrent|sustained" --glob '*.py' --glob '!venv/**'


find . -maxdepth 3 -type f -name '*.py' | sed 's#^./##' | sort


Output:
Chunk ID: d9c200
Wall time: 0.0514 seconds
Process exited with code 1
Original token count: 0
Output:


Output:
Chunk ID: eca943
Wall time: 0.0512 seconds
Process exited with code 0
Original token count: 251
Output:
nemotron/scripts/convert_shrutilipi.py
nemotron/scripts/convert_shrutilipi_fast.py
nemotron/scripts/deploy_indic_streaming.py
nemotron/scripts/finetune_indic.py
nemotron/scripts/finetune_indic_fast.py
nemotron/scripts/finetune_indic_nemo.py
nemotron/scripts/finetune_indic_v3.py
nemotron/scripts/finetune_rnnt_bpe.py
nemotron/scripts/inference_streaming.py
nemotron/scripts/prep_asr_dataset.py
nemotron/scripts/prep_asr_dataset_shard.py
nemotron/scripts/prep_lhotse_cuts.py
nemotron/scripts/prepare_data.py
nemotron/scripts/quick_start.py
nemotron/scripts/train_indic_tokenizer.py
nemotron/scripts/train_indic_tokenizer_v2.py
nemotron/scripts/train_nemotron.py
nemotron/webapp/__init__.py
nemotron/webapp/app.py
nemotron_asr/__init__.py
nemotron_asr/asr_utils.py
nemotron_asr/multi_stream_utils.py
nemotron_asr/nemotron_asr.py
nemotron_asr/pipelines.py
nemotron_asr/vad.py
production/deploy.py
production/server.py
production/test_smoke.py
production/test_stress.py
production/worker.py
venv/bin/jp.py


Summary: auto


**Planning WER evaluation and stress testing**


I couldn’t find standalone quality scripts in the current repo, so I’ll extend the production stress harness directly to include WER/CER and richer per-request metrics. Before patching, I’ll verify the endpoint is still healthy and reachable now.


python3 production/test_smoke.py --endpoint hindi-asr-prod --route-cost 10 --http-only


Output:
Chunk ID: bfe792
Wall time: 1.2550 seconds
Process exited with code 0
Original token count: 31
Output:
Endpoint: hindi-asr-prod (id=11967)
  Workers: 1
    id=31135755 status=idle load=10.0
  Route: http://79.112.17.186:58806


Output:
Chunk ID: 7341b5
Wall time: 0.6446 seconds
Process exited with code 0
Original token count: 122
Output:
[
  {
    "cur_load": 0.0,
    "cur_load_rolling_avg": 1.690275297357357e-125,
    "cur_perf": 0.040939450314978615,
    "disk_usage": 4.8455047607421875,
    "dlperf": 282.5863918716072,
    "id": 31135755,
    "loaded_at": 1770668480.1470323,
    "measured_perf": 32.70523485167017,
    "new_load": 0.0,
    "outdated": false,
    "perf": 32.70523452758789,
    "reliability": 0.9999999999999994,
    "reqs_working": 0,
    "started_at": 1770668425.1913676,
    "status": "idle"
  }
]


Output:
Chunk ID: 2aed73
Wall time: 2.7497 seconds
Process exited with code 1
Original token count: 78
Output:

=== Health ===
  [FAIL] endpoint 'hindi-asr-prod' not found

=== HTTP Batch ===
  [PASS] 1092ms text='<s>' proc=0.198s

=== HTTP Stream (SSE) ===
  [PASS] 2 events 1062ms
  Final: ''

=== SUMMARY ===
  health               [FAIL]
  http_batch           [PASS]
  http_stream          [PASS]

FAILURES detected


**Analyzing endpoint key inconsistency**


Output:
Chunk ID: 5a25d8
Wall time: 0.0512 seconds
Process exited with code 0
Original token count: 18
Output:
HF_TOKEN
HF_MODEL
GITHUB_PAT
MODAL_API_KEY
Runpod
VAST_KEY
DOCKER_HUB


**Reviewing previous benchmark data**


I verified the endpoint is serving traffic, but there’s a small control-plane inconsistency in the health helper (`endpoint not found` on one API path) that I’ll account for in the test harness so the stress run is robust. Next I’m analyzing the latest result JSONs to extract gaps before patching.


python3 - <<'PY'
import json,glob,os
for f in sorted(glob.glob('benchmark_results/stress_results_20260209_20*.json')):
    data=json.load(open(f))
    print('\n',os.path.basename(f), 'entries=',len(data))
    for r in data:
        s=r['summary']
        print(f"  {s['mode']} c={s['concurrency']} ok={s['ok']}/{s['concurrency']} err={s['errors']} p50={s['total_ms_p50']} p95={s['total_ms_p95']} p99={s['total_ms_p99']} tput={s['throughput_x']}")
        after=r.get('server_after') or {}
        if isinstance(after,dict):
            inf=after.get('inference',{})
            print('    gpu_ms_p50',inf.get('gpu_ms_p50'),'gpu_ms_p99',inf.get('gpu_ms_p99'),'vram',after.get('vram_used_gb'),'/',after.get('vram_total_gb'),'http',after.get('http',{}))
PY


python3 - <<'PY'
import json
f='benchmark_results/stress_results_20260209_202433.json'
d=json.load(open(f))
print('sample keys',d[0].keys())
print('server_after keys',d[0]['server_after'].keys())
print('inference keys',d[0]['server_after']['inference'].keys())
print('errors c100',d[-1]['errors'][:5])
PY


Output:
Chunk ID: 499e0a
Wall time: 0.0513 seconds
Process exited with code 0
Original token count: 1005
Output:

 stress_results_20260209_201434.json entries= 7
  http c=1 ok=1/1 err=0 p50=690.4 p95=690.4 p99=690.4 tput=14.47
    gpu_ms_p50 0 gpu_ms_p99 0 vram 0 / 0 http {'requests_total': 8, 'requests_ok': 8, 'requests_err': 0}
  http c=5 ok=5/5 err=0 p50=1234.5 p95=1740.6 p99=1740.6 tput=28.71
    gpu_ms_p50 0 gpu_ms_p99 0 vram 0 / 0 http {'requests_total': 13, 'requests_ok': 13, 'requests_err': 0}
  http c=10 ok=10/10 err=0 p50=1979.2 p95=2996.4 p99=2996.4 tput=33.31
    gpu_ms_p50 0 gpu_ms_p99 0 vram 0 / 0 http {'requests_total': 23, 'requests_ok': 23, 'requests_err': 0}
  http c=25 ok=25/25 err=0 p50=3764.9 p95=6570.8 p99=6813.3 tput=36.61
    gpu_ms_p50 0 gpu_ms_p99 0 vram 0 / 0 http {'requests_total': 48, 'requests_ok': 48, 'requests_err': 0}
  http c=50 ok=50/50 err=0 p50=7212.5 p95=12838.7 p99=13316.4 tput=37.43
    gpu_ms_p50 0 gpu_ms_p99 0 vram 0 / 0 http {'requests_total': 98, 'requests_ok': 98, 'requests_err': 0}
  http c=75 ok=75/75 err=0 p50=10331.6 p95=19000.2 p99=19710.8 tput=37.95
    gpu_ms_p50 0 gpu_ms_p99 0 vram 0 / 0 http {'requests_total': 173, 'requests_ok': 173, 'requests_err': 0}
  http c=100 ok=100/100 err=0 p50=13644.3 p95=25060.7 p99=26110.8 tput=38.27
    gpu_ms_p50 0 gpu_ms_p99 0 vram 0 / 0 http {'requests_total': 273, 'requests_ok': 273, 'requests_err': 0}

 stress_results_20260209_202433.json entries= 7
  http c=1 ok=1/1 err=0 p50=1482.8 p95=1482.8 p99=1482.8 tput=6.74
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 6, 'requests_ok': 6, 'requests_err': 0}
  http c=5 ok=5/5 err=0 p50=2395.0 p95=3319.5 p99=3319.5 tput=15.04
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 11, 'requests_ok': 11, 'requests_err': 0}
  http c=10 ok=10/10 err=0 p50=3757.6 p95=5607.1 p99=5607.1 tput=17.82
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 21, 'requests_ok': 21, 'requests_err': 0}
  http c=25 ok=25/25 err=0 p50=7036.0 p95=12146.2 p99=12600.3 tput=19.8
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 46, 'requests_ok': 46, 'requests_err': 0}
  http c=50 ok=50/50 err=0 p50=13002.7 p95=23129.7 p99=24067.7 tput=20.75
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 96, 'requests_ok': 96, 'requests_err': 0}
  http c=75 ok=75/75 err=0 p50=18600.7 p95=34238.2 p99=35663.1 tput=21.02
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 171, 'requests_ok': 171, 'requests_err': 0}
  http c=100 ok=98/100 err=2 p50=24246.5 p95=44499.0 p99=46314.1 tput=21.14
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 269, 'requests_ok': 269, 'requests_err': 0}

 stress_results_20260209_202718.json entries= 7
  sse c=1 ok=1/1 err=0 p50=1510.8 p95=1510.8 p99=1510.8 tput=6.62
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 270, 'requests_ok': 270, 'requests_err': 0}
  sse c=5 ok=5/5 err=0 p50=2892.3 p95=3140.4 p99=3140.4 tput=15.9
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 275, 'requests_ok': 275, 'requests_err': 0}
  sse c=10 ok=10/10 err=0 p50=4929.7 p95=5231.8 p99=5231.8 tput=19.1
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 285, 'requests_ok': 285, 'requests_err': 0}
  sse c=25 ok=25/25 err=0 p50=11017.5 p95=11454.7 p99=11458.6 tput=21.81
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 310, 'requests_ok': 310, 'requests_err': 0}
  sse c=50 ok=50/50 err=0 p50=20213.8 p95=21978.3 p99=21985.9 tput=22.74
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 360, 'requests_ok': 360, 'requests_err': 0}
  sse c=75 ok=75/75 err=0 p50=28168.3 p95=32510.5 p99=32553.4 tput=23.03
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 435, 'requests_ok': 435, 'requests_err': 0}
  sse c=100 ok=98/100 err=2 p50=34644.6 p95=42111.0 p99=42129.9 tput=23.26
    gpu_ms_p50 0 gpu_ms_p99 0 vram 10.43 / 102.0 http {'requests_total': 533, 'requests_ok': 533, 'requests_err': 0}


Output:
Chunk ID: 791dd4
Wall time: 0.0502 seconds
Process exited with code 0
Original token count: 216
Output:
sample keys dict_keys(['level', 'mode', 'summary', 'server_before', 'server_after', 'errors'])
server_after keys dict_keys(['active_streams', 'max_streams', 'inference', 'http', 'ws', 'cuda_available', 'cuda_device_count', 'gpu_name', 'vram_used_gb', 'vram_reserved_gb', 'vram_total_gb', 'uptime_s'])
inference keys dict_keys(['total_batches', 'total_outputs', 'empty_cycles', 'vad_filtered_chunks', 'gpu_ms_p50', 'gpu_ms_p99', 'cycle_ms_p50', 'cycle_ms_p99', 'batch_size_avg'])
errors c100 [{'stream': 53, 'error': "route failed: {'__request_id': 'fffcebd4-c53f-44c6-a3ee-c5a1f01d1a77', 'endpoint': 'hindi-asr-prod', 'request_idx': 767, 'status': 'All worker queues full!'}"}, {'stream': 6, 'error': "route failed: {'__request_id': '17e00bfe-7ef9-4675-821b-2dcb792f5e57', 'endpoint': 'hindi-asr-prod', 'request_idx': 766, 'status': 'All worker queues full!'}"}]


**Planning detailed metrics capture**


sed -n '1,20p' benchmark_results/stress_c50_s2.0_streams.csv


sed -n '1,20p' benchmark_results/fleurs_hindi_details.csv


Output:
Chunk ID: 5db9ca
Wall time: 0.0520 seconds
Process exited with code 0
Original token count: 3439
Output:
idx,sample_id,duration,connect_ms,first_token_ms,chunks_sent,chunks_recv,wall_time,clean_disconnect,reference,hypothesis,error
0,1766,9.12,59685,217,17,16,66.24,True,कुछ अणुओं में अस्थिर केंद्रक होता है जिसका मतलब यह है कि उनमें थोड़े या बिना किसी झटके से टूटने की प्रवृत्ति होती है,<s> बाइट कुछ अरुणों में अस्थिर केन्द्र को तय जिसका मतलब यहां कि उनमें थोड़े या बिना किसी झटके से टूटने की प्रवृति होती है,
1,1784,13.80,9903,237,25,23,18.77,True,ग्रीनलैंड को बहुत कम जगह बसाया गया था नॉर्स सगास में वे कहते हैं कि एरिक रेड हत्या के लिए आइसलैंड से निर्वासित किया गया था और आगे पश्चिम की यात्रा करते समय ग्रीनलैंड मिला जिसे ग्रीनलैंड नाम दिया गया,<s> ग्रीनलैंड को बहुत कम जगह बसाया गया था नार्थ सगासम में वे कहते हैं कि एयरिक रेड हत्या के लिए आईसलैंड से निर्वाचित किया गया था और आगे पश्चिम की यात्रा करते समय ग्रीनलैंड मिला जिसे ग्रीनलैंड नाम दिया गया,
2,1718,15.00,30188,229,27,24,39.63,True,ऐसी कोई वैश्विक परिभाषा नहीं है जिसके लिए निर्मित सामान एंटीक होते हैं कुछ कर एजेंसियां 100 साल से पुराने सामान को एंटीक के तौर पर परिभाषित करती हैं,<s> आईसीय कोई वस्त्मिक परिभाषा नहीं है जिसके लिए निर्मित समान एंटीक होते हैं कुछ कर एजेंसियां शव साल से पुराने सामान को एंटीक के तौर पर परिभाषित करती,
3,1778,5.10,110242,226,10,9,114.82,True,टेलीविजन रिपोर्टों में प्लांट से निकलने वाला सफेद धुआं दिखाया गया है,<s> टेलीविजन रिपोर्टों में प्लांट से निकलने वाला सफेद दुआ दिखाया गया,
4,1828,13.20,99698,188,24,19,108.18,True,इंटरनेट पर यह खोज शत्रुतापूर्ण पर्यावरण पाठ्यक्रम के लिए अक्सर आपको एक स्थानीय कंपनी का पता प्रदान करेगी,<s> इंटरनेट पर यह खोज सत्रापन पर्यावरण पाठ्यक्रम के लिए अक्सर आप को एक स्थानीय कंपनी का पता प्रदान करेगी,
5,1666,10.62,108724,195,19,17,115.79,True,अपनी सरकार के अलावा आप अन्य देशों की सरकारों की सलाह ले सकते हैं हालांकि उनकी सलाह उनके नागरिकों को ध्यान में रखकर दी जाती हैं,<s> अपनी सरकार के अलावा अन्य देशों की सरकारों की सलाह ले सकते हैं हालांकि उनकी सलाह उनके नागरिकों को ध्यान में रखकर दी जाती है,
6,1836,17.10,73958,223,31,29,84.46,True,प्राचीनकाल से ही लोग सोने चांदी और तांबे जैसे रासायनिक तत्वों के बारे में ही जानकारी रखते हैं क्योंकि इन्हें प्रकृति में मूल स्वरूप में ढूंढा जा सकता है और इन्हें प्राथमिक उपकरणों के ज़रिए ढूंढना अपेक्षाकृत आसान है,<s> प्राचीन काल से ही लोग सोने चादी और तांबे जैसे रासायनिक तत्वों के बारे में ही जानकारी रखते हैं क्योंकि इन्हें प्रकृति में मूल स्वरूप में धूणा जा सकता है और इन्हें प्राथमिक उपकरणों के जरिये ध्रणा अपेक्षाकृत आसान,
7,1792,8.22,19168,223,15,13,25.17,True,इसे केमिकल का ph कहा जाता है आप लाल गोभी के जूस का इस्तेमाल करके एक संकेतक बना सकते हैं,<s> इसे कैमिकल का पीएच कहा जाता है आप लाल गोभी के जूस को इस्तेमाल करके एक संकेतक बना सकते हैं,
8,1827,7.80,40957,161,14,12,46.61,True,सबसे नज़दीकी सिरे पर क्रस्ट की मोटाई करीब 70 किलोमीटर है और सबसे दूर के सिरे पर यह 100 किलोमीटर है,<s> सबसे नजदीकी सिने पर कृष्ट की मोटाई करीब सत्तर किलोमीटर है और सबसे दूर के सिरे पर यह सौ किलोमीटर,
9,1985,13.68,43392,217,25,23,52.20,True,यह संबंधित है लेकिन आम तौर पर इसमें अल्पाइन शैली की स्की टूरिंग या माउंटेनीयरिंग शामिल नहीं होती है जिसे खड़े इलाकों में किया जाता है और जिसके लिए बहुत कड़ी स्की और बूट की ज़रूरत होती है,<s> यह संबंध थैल लेकिन आमतौर पर इसमें अल्पाइन सैली की टूरिंग या माउंटेनियरिंग शामिल नहीं होती है जिससे खड़े इलाकों में किया जाता है और जिसके लिए बहुत कड़ी इसकी और बूथ की जरूरत होती है,
10,1996,14.28,16412,132,26,24,25.44,True,पुरुषों के स्टैंडिंग सुपर-जी में ऑस्ट्रेलिया के मिशेल गौरले ग्यारहवें स्थान पर रहे चेक प्रतियोगी ओल्डरिच जेलिनेक पुरुषों के सिटिंग सुपर-जी में सोलहवें स्थान पर रहे,<s> पुरूषों के स्टैंडिंग सुपर जीम में ऑस्ट्रेलिया के मिशेल गौरले ग्यारहवें स्थान पर रहे चेक प्रतियोगी ऑल ड्रिज जैलीनेक पुरूषों के सेटिंग सुपर जी में सोल्बे स्थान पर रहे,
11,1702,12.90,32329,169,24,18,40.82,True,केवल दो हफ़्तों में अमेरिकियों और फ़्री फ़्रेंच बलों ने दक्षिणी फ़्रांस को मुक्त कर दिया था और जर्मनी की ओर बढ़ रहे थे,<s> केवल दो हफ्तों में अमरीकियों और फ्री फ्रेंच बलों ने दक्षिणी फ्रांस को मुक्त कर दिया था और झर्मिनी की ओर बढ़े रहे थे,
12,1955,9.00,25588,142,17,14,32.09,True,ms बीमारी केंद्रीय तंत्रिका तंत्र पर असर करती है जिसमें दिमाग स्पाइनल कॉर्ड और ऑप्टिक नर्व शामिल हैं,<s> एमएस बीमारी केन्द्रीय तंत्रिका तंत्र पर असर करती है जिसमें दिमांग इस पाइनल क्वार्ड और ऑप्टिक नर्म शामिल हैं,
13,1797,10.26,395,211,19,16,7.51,True,हर कोई समाज से जुड़ा होता है और ट्रांसपोर्ट सिस्टम का उपयोग करता है लगभग सभी लोग ट्रांसपोर्ट सिस्टम के बारे में शिकायत करते हैं,<s> हरियाणा हर कोई समाज से जोड़ा होता है और ट्रांसपोर्ट सिस्टम का उपयोग करता है लगभग सभी लोग ट्रांसपोर्ट सिस्टम के बारे में शिकायत करते,
14,1680,20.88,46845,149,38,34,59.28,True,एक पूरी तरह से विकसित एथलीट की तरह बाघ चढ़ाई कर सकता है हालाँकि अच्छी तरह से नहीं तैर सकता है बड़ी दूरी तक छलांग लगा सकता है और एक शक्तिशाली मनुष्य के पाँच गुना बल के साथ खींच सकता है,एक पूरी तरह से विकसित एथलेटिक की तरह बाघ चढ़ाई कर सकता है हालांकि अच्छी तरह से नहीं तेर सकता है,
15,1992,8.88,12719,223,16,14,19.01,True,विशेष रूप से सवाना पर बेहतरीन अफ़्रीकी वन्य जीवन को संपूर्ण रूप से देखने के लिए आमतौर पर सफ़ारी शब्द का उपयोग किया जाता है,<s> विशेष रूप से समाना पर बेहतरीन अफ्रीकी वन्य जीवन को सम्पूर्ण रूप से देखने के लिए आमतौर पर सफारी शब्द का उपयोग किया जाता,
16,1719,10.50,93732,203,19,16,100.82,True,गंभीर मौसम किसी भी खतरनाक मौसमी घटना के लिए वर्गीय शब्द है जिसमें नुकसान गंभीर सामाजिक व्यवधान या मानव जीवन की हानि की संभावना है,ग,
17,1681,17.94,66097,142,33,30,77.13,True,हालांकि यह अकेला नहीं है प्रयोग करना और प्रयोग एक ऐसा परीक्षण होता है जिसका इस्तेमाल करके एक या इससे ज़्यादा संभावित परिकल्पनाओं को ख़त्म करने सवाल करने और अवलोकन करने से भी वैज्ञानिक शोध को मार्गदर्शन मिलता है,हालांकि यह अखिल नहीं है प्रयोग करना और प्रयोग एक ऐसा परीक्षण होता है जिसका इस्तेमाल करने एक या इससे ज्यादा संभावित परिकल्पनाओं को खत्म करने,
18,2006,5.94,116189,198,11,10,120.99,True,कैल्शियम और पोटैशियम जैसे तत्वों को धातु माना जाता है बेशक चांदी और सोने जैसी धातुएं भी हैं,<s> एनसीएम और रोपेट सीएम जैसे तत्वों को धातु माना जाता है बेस चांदी और सोने जैसी दातुए भी,


Output:
Chunk ID: 988a9b
Wall time: 0.0508 seconds
Process exited with code 0
Original token count: 158
Output:
{
  "concurrency": 50,
  "speed": 2.0,
  "valid_streams": 50,
  "errored_streams": 0,
  "clean_disconnects": 50,
  "wer_pct": 31.19,
  "cer_pct": 17.81,
  "total_audio_sec": 583.0,
  "wall_time_sec": 137.1,
  "throughput_rtx": 4.3,
  "total_chunks_analyzed": 939,
  "chunk_delay_p50_ms": -3176.3,
  "chunk_delay_p95_ms": -424.6,
  "chunk_delay_p99_ms": -337.0,
  "chunk_delay_max_ms": -205.1,
  "first_token_p50_ms": 214.8,
  "first_token_p99_ms": 342.8,
  "connect_p50_ms": 62707.9,
  "connect_p99_ms": 128125.3,
  "drift": {
    "early_median_ms": -3146.9,
    "late_median_ms": -3139.2,
    "drift_ms": 7.7
  },
  "health": {}
}


Output:
Chunk ID: fd8cf6
Wall time: 0.0514 seconds
Process exited with code 0
Original token count: 49
Output:
{
  "dataset": "fleurs_hindi",
  "model": "BayAreaBoys/nemotron-hindi",
  "total_samples": 418,
  "valid_samples": 418,
  "wer": 21.99,
  "cer": 10.06,
  "median_wer": 20.94,
  "p90_wer": 41.67
}


Output:
Chunk ID: ad4be8
Wall time: 0.0511 seconds
Process exited with code 0
Original token count: 6865
Output:
id,duration_s,reference,hypothesis,ref_normalized,hyp_normalized,sample_wer
1766,9.12,कुछ अणुओं में अस्थिर केंद्रक होता है जिसका मतलब यह है कि उनमें थोड़े या बिना किसी झटके से टूटने की प्रवृत्ति होती है,कुछ अरुणों में अस्थिर केन्द्र को तय जिसका मतलब यहां कि उनमें थोड़े या बिना किसी झटके से टूटने की प्रवृति होती है,कुछ अणुओं में अस्थिर केंद्रक होता है जिसका मतलब यह है कि उनमें थोड़े या बिना किसी झटके से टूटने की प्रवृत्ति होती है,कुछ अरुणों में अस्थिर केन्द्र को तय जिसका मतलब यहां कि उनमें थोड़े या बिना किसी झटके से टूटने की प्रवृति होती है,0.2916666666666667
1784,13.80,ग्रीनलैंड को बहुत कम जगह बसाया गया था नॉर्स सगास में वे कहते हैं कि एरिक रेड हत्या के लिए आइसलैंड से निर्वासित किया गया था और आगे पश्चिम की यात्रा करते समय ग्रीनलैंड मिला जिसे ग्रीनलैंड नाम दिया गया,ग्रीनलैंड को बहुत कम जगह बसाया गया था नार्थ सगा समेत वे कहते हैं कि एरिक रेड हत्या के लिए आइसलैंड से निर्वाचित किया गया था और आगे पश्चिम की यात्रा करते समय ग्रीनलैंड मिला जिसे ग्रीनलैंड नाम दिया गया,ग्रीनलैंड को बहुत कम जगह बसाया गया था नॉर्स सगास में वे कहते हैं कि एरिक रेड हत्या के लिए आइसलैंड से निर्वासित किया गया था और आगे पश्चिम की यात्रा करते समय ग्रीनलैंड मिला जिसे ग्रीनलैंड नाम दिया गया,ग्रीनलैंड को बहुत कम जगह बसाया गया था नार्थ सगा समेत वे कहते हैं कि एरिक रेड हत्या के लिए आइसलैंड से निर्वाचित किया गया था और आगे पश्चिम की यात्रा करते समय ग्रीनलैंड मिला जिसे ग्रीनलैंड नाम दिया गया,0.1
1718,15.00,ऐसी कोई वैश्विक परिभाषा नहीं है जिसके लिए निर्मित सामान एंटीक होते हैं कुछ कर एजेंसियां 100 साल से पुराने सामान को एंटीक के तौर पर परिभाषित करती हैं,आईपीएल आईसी व ऐस्मिक परिभाषा नहीं है जिसके लिए निर्मित समान एंटीक होते हैं कुछ कर एजेंसियां शव साल से पुराने सामान को एंटीक के तौर पर परिभाषित करती है,ऐसी कोई वैश्विक परिभाषा नहीं है जिसके लिए निर्मित सामान एंटीक होते हैं कुछ कर एजेंसियां 100 साल से पुराने सामान को एंटीक के तौर पर परिभाषित करती हैं,आईपीएल आईसी व ऐस्मिक परिभाषा नहीं है जिसके लिए निर्मित समान एंटीक होते हैं कुछ कर एजेंसियां शव साल से पुराने सामान को एंटीक के तौर पर परिभाषित करती है,0.2413793103448276
1778,5.10,टेलीविजन रिपोर्टों में प्लांट से निकलने वाला सफेद धुआं दिखाया गया है,टेलीविजन रिपोर्टों में प्लांट से निकलने वाला सफेद दुआ दिखाया गया है,टेलीविजन रिपोर्टों में प्लांट से निकलने वाला सफेद धुआं दिखाया गया है,टेलीविजन रिपोर्टों में प्लांट से निकलने वाला सफेद दुआ दिखाया गया है,0.08333333333333333
1828,13.20,इंटरनेट पर यह खोज शत्रुतापूर्ण पर्यावरण पाठ्यक्रम के लिए अक्सर आपको एक स्थानीय कंपनी का पता प्रदान करेगी,इंटरनेट पर यह खोज सत्र पर्यावरण पाठ्यक्रम के लिए अक्सर आप को एक स्थानीय कंपनी का पता प्रदान करेगी,इंटरनेट पर यह खोज शत्रुतापूर्ण पर्यावरण पाठ्यक्रम के लिए अक्सर आपको एक स्थानीय कंपनी का पता प्रदान करेगी,इंटरनेट पर यह खोज सत्र पर्यावरण पाठ्यक्रम के लिए अक्सर आप को एक स्थानीय कंपनी का पता प्रदान करेगी,0.16666666666666666
1666,10.62,अपनी सरकार के अलावा आप अन्य देशों की सरकारों की सलाह ले सकते हैं हालांकि उनकी सलाह उनके नागरिकों को ध्यान में रखकर दी जाती हैं,अपनी सरकार के अलावा अन्य देशों की सरकारों की सलाह ले सकते हैं हालांकि उनकी सलाह उनके नागरिकों को ध्यान में रखकर दी जाती है,अपनी सरकार के अलावा आप अन्य देशों की सरकारों की सलाह ले सकते हैं हालांकि उनकी सलाह उनके नागरिकों को ध्यान में रखकर दी जाती हैं,अपनी सरकार के अलावा अन्य देशों की सरकारों की सलाह ले सकते हैं हालांकि उनकी सलाह उनके नागरिकों को ध्यान में रखकर दी जाती है,0.07692307692307693
1836,17.10,प्राचीनकाल से ही लोग सोने चांदी और तांबे जैसे रासायनिक तत्वों के बारे में ही जानकारी रखते हैं क्योंकि इन्हें प्रकृति में मूल स्वरूप में ढूंढा जा सकता है और इन्हें प्राथमिक उपकरणों के ज़रिए ढूंढना अपेक्षाकृत आसान है,प्राचीन काल से ही लोग सोने चादी और तांबे जैसे रासायनिक तत्वों के बारे में ही जानकारी रखते हैं क्योंकि इन्हें प्रकृति में मूल स्वरूप में धूणा जा सकता है और इन्हें प्राथमिक उपकरणों के जरिये ध्रणा अपेक्षाकृत आसान है,प्राचीनकाल से ही लोग सोने चांदी और तांबे जैसे रासायनिक तत्वों के बारे में ही जानकारी रखते हैं क्योंकि इन्हें प्रकृति में मूल स्वरूप में ढूंढा जा सकता है और इन्हें प्राथमिक उपकरणों के ज़रिए ढूंढना अपेक्षाकृत आसान है,प्राचीन काल से ही लोग सोने चादी और तांबे जैसे रासायनिक तत्वों के बारे में ही जानकारी रखते हैं क्योंकि इन्हें प्रकृति में मूल स्वरूप में धूणा जा सकता है और इन्हें प्राथमिक उपकरणों के जरिये ध्रणा अपेक्षाकृत आसान है,0.15384615384615385
1792,8.22,इसे केमिकल का ph कहा जाता है आप लाल गोभी के जूस का इस्तेमाल करके एक संकेतक बना सकते हैं,इसे कैमिकल का पीएच कहा जाता है आप लाल गोभी के जूस को इस्तेमाल करके एक संकेतक बना सकते हैं,इसे केमिकल का ph कहा जाता है आप लाल गोभी के जूस का इस्तेमाल करके एक संकेतक बना सकते हैं,इसे कैमिकल का पीएच कहा जाता है आप लाल गोभी के जूस को इस्तेमाल करके एक संकेतक बना सकते हैं,0.15
1827,7.80,सबसे नज़दीकी सिरे पर क्रस्ट की मोटाई करीब 70 किलोमीटर है और सबसे दूर के सिरे पर यह 100 किलोमीटर है,सबसे नजदीकी सिरे पर कृष्ट की मोटाई करीब सत्तर किलोमीटर है और सबसे दूर के सिरे पर यह सौ किलोमीटर है,सबसे नज़दीकी सिरे पर क्रस्ट की मोटाई करीब 70 किलोमीटर है और सबसे दूर के सिरे पर यह 100 किलोमीटर है,सबसे नजदीकी सिरे पर कृष्ट की मोटाई करीब सत्तर किलोमीटर है और सबसे दूर के सिरे पर यह सौ किलोमीटर है,0.19047619047619047
1985,13.68,यह संबंधित है लेकिन आम तौर पर इसमें अल्पाइन शैली की स्की टूरिंग या माउंटेनीयरिंग शामिल नहीं होती है जिसे खड़े इलाकों में किया जाता है और जिसके लिए बहुत कड़ी स्की और बूट की ज़रूरत होती है,यह संबंध थल लेकिन आमतौर पर इसमें अल्पाइन शैली की टूरिंग या माउंटेनियरिंग शामिल नहीं होती है जिससे खड़े इलाकों में किया जाता है और जिसके लिए बहुत कड़ी और बूट की जरूरत होती है,यह संबंधित है लेकिन आम तौर पर इसमें अल्पाइन शैली की स्की टूरिंग या माउंटेनीयरिंग शामिल नहीं होती है जिसे खड़े इलाकों में किया जाता है और जिसके लिए बहुत कड़ी स्की और बूट की ज़रूरत होती है,यह संबंध थल लेकिन आमतौर पर इसमें अल्पाइन शैली की टूरिंग या माउंटेनियरिंग शामिल नहीं होती है जिससे खड़े इलाकों में किया जाता है और जिसके लिए बहुत कड़ी और बूट की जरूरत होती है,0.23684210526315788
1996,14.28,पुरुषों के स्टैंडिंग सुपर-जी में ऑस्ट्रेलिया के मिशेल गौरले ग्यारहवें स्थान पर रहे चेक प्रतियोगी ओल्डरिच जेलिनेक पुरुषों के सिटिंग सुपर-जी में सोलहवें स्थान पर रहे,पुरूषों के स्टैंडिंग सुपर जी में ऑस्ट्रेलिया के मिशेल गौरले ग्यारहवें स्थान पर रहे चेक प्रतियोगी ऑलडिच जेलिनक पुरूषों के सेटिंग सुपर जी में सोल्बे स्थान पर रहे,पुरुषों के स्टैंडिंग सुपर जी में ऑस्ट्रेलिया के मिशेल गौरले ग्यारहवें स्थान पर रहे चेक प्रतियोगी ओल्डरिच जेलिनेक पुरुषों के सिटिंग सुपर जी में सोलहवें स्थान पर रहे,पुरूषों के स्टैंडिंग सुपर जी में ऑस्ट्रेलिया के मिशेल गौरले ग्यारहवें स्थान पर रहे चेक प्रतियोगी ऑलडिच जेलिनक पुरूषों के सेटिंग सुपर जी में सोल्बे स्थान पर रहे,0.21428571428571427
1702,12.90,केवल दो हफ़्तों में अमेरिकियों और फ़्री फ़्रेंच बलों ने दक्षिणी फ़्रांस को मुक्त कर दिया था और जर्मनी की ओर बढ़ रहे थे,दो हफ्तों में अमरीकियों और फ्री फ्रेंच बलों ने दक्षिणी फ्रांस को मुक्त कर दिया था और झर्मिनी की ओर बढ़े थे,केवल दो हफ़्तों में अमेरिकियों और फ़्री फ़्रेंच बलों ने दक्षिणी फ़्रांस को मुक्त कर दिया था और जर्मनी की ओर बढ़ रहे थे,दो हफ्तों में अमरीकियों और फ्री फ्रेंच बलों ने दक्षिणी फ्रांस को मुक्त कर दिया था और झर्मिनी की ओर बढ़े थे,0.375
1955,9.00,ms बीमारी केंद्रीय तंत्रिका तंत्र पर असर करती है जिसमें दिमाग स्पाइनल कॉर्ड और ऑप्टिक नर्व शामिल हैं,एमएस बीमारी केन्द्रीय तंत्र का तंत्र पर असर करती है जिसमें दिमांग इस पाइनल क्वार्ड और ऑप्टिक नर्म शामिल हैं,ms बीमारी केंद्रीय तंत्रिका तंत्र पर असर करती है जिसमें दिमाग स्पाइनल कॉर्ड और ऑप्टिक नर्व शामिल हैं,एमएस बीमारी केन्द्रीय तंत्र का तंत्र पर असर करती है जिसमें दिमांग इस पाइनल क्वार्ड और ऑप्टिक नर्म शामिल हैं,0.5
1797,10.26,हर कोई समाज से जुड़ा होता है और ट्रांसपोर्ट सिस्टम का उपयोग करता है लगभग सभी लोग ट्रांसपोर्ट सिस्टम के बारे में शिकायत करते हैं,हर कोई समाज से जोड़ा होता है और ट्रांसपोर्ट सिस्टम का उपयोग करता है लगभग सभी लोग ट्रांसपोर्ट सिस्टम के बारे में शिकायत करते हैं,हर कोई समाज से जुड़ा होता है और ट्रांसपोर्ट सिस्टम का उपयोग करता है लगभग सभी लोग ट्रांसपोर्ट सिस्टम के बारे में शिकायत करते हैं,हर कोई समाज से जोड़ा होता है और ट्रांसपोर्ट सिस्टम का उपयोग करता है लगभग सभी लोग ट्रांसपोर्ट सिस्टम के बारे में शिकायत करते हैं,0.04
1680,20.88,एक पूरी तरह से विकसित एथलीट की तरह बाघ चढ़ाई कर सकता है हालाँकि अच्छी तरह से नहीं तैर सकता है बड़ी दूरी तक छलांग लगा सकता है और एक शक्तिशाली मनुष्य के पाँच गुना बल के साथ खींच सकता है,एक पूरी तरह से विकसित एथलेट की तरह बाघ चढ़ाई कर सकता है हालांकि अच्छी तरह से नहीं तेर सकता है बड़ी दूरी तक छलांग लगा सकता है और एक सख्तीशाली मानस के पांच गुना बल के साथ खिंच सकता है,एक पूरी तरह से विकसित एथलीट की तरह बाघ चढ़ाई कर सकता है हालाँकि अच्छी तरह से नहीं तैर सकता है बड़ी दूरी तक छलांग लगा सकता है और एक शक्तिशाली मनुष्य के पाँच गुना बल के साथ खींच सकता है,एक पूरी तरह से विकसित एथलेट की तरह बाघ चढ़ाई कर सकता है हालांकि अच्छी तरह से नहीं तेर सकता है बड़ी दूरी तक छलांग लगा सकता है और एक सख्तीशाली मानस के पांच गुना बल के साथ खिंच सकता है,0.17073170731707318
1992,8.88,विशेष रूप से सवाना पर बेहतरीन अफ़्रीकी वन्य जीवन को संपूर्ण रूप से देखने के लिए आमतौर पर सफ़ारी शब्द का उपयोग किया जाता है,विशेष रूप से सवाना पर बेहतरीन अफ्रीकी वन्य जीवन को सम्पूर्ण रूप से देखने के लिए आमतौर पर सफारी शब्द का उपयोग किया जाता है,विशेष रूप से सवाना पर बेहतरीन अफ़्रीकी वन्य जीवन को संपूर्ण रूप से देखने के लिए आमतौर पर सफ़ारी शब्द का उपयोग किया जाता है,विशेष रूप से सवाना पर बेहतरीन अफ्रीकी वन्य जीवन को सम्पूर्ण रूप से देखने के लिए आमतौर पर सफारी शब्द का उपयोग किया जाता है,0.12
1719,10.50,गंभीर मौसम किसी भी खतरनाक मौसमी घटना के लिए वर्गीय शब्द है जिसमें नुकसान गंभीर सामाजिक व्यवधान या मानव जीवन की हानि की संभावना है,मौसम गंभीर मौसम किसी भी खतरनाक मौसम के लिए वर्गी है जिसमें नुकसान गंभीर सामाजिक व्यवधान या मानव जीवन की हानि की संभावना है,गंभीर मौसम किसी भी खतरनाक मौसमी घटना के लिए वर्गीय शब्द है जिसमें नुकसान गंभीर सामाजिक व्यवधान या मानव जीवन की हानि की संभावना है,मौसम गंभीर मौसम किसी भी खतरनाक मौसम के लिए वर्गी है जिसमें नुकसान गंभीर सामाजिक व्यवधान या मानव जीवन की हानि की संभावना है,0.2
1681,17.94,हालांकि यह अकेला नहीं है प्रयोग करना और प्रयोग एक ऐसा परीक्षण होता है जिसका इस्तेमाल करके एक या इससे ज़्यादा संभावित परिकल्पनाओं को ख़त्म करने सवाल करने और अवलोकन करने से भी वैज्ञानिक शोध को मार्गदर्शन मिलता है,हालांकि यह अखेला नहीं है प्रयोग करना और प्रयोग एक ऐसा परीक्षण होता है जिसका इस्तेमाल करने एक या इससे ज्यादा संभावित परिकल्पराओं को खत्म करने के सवाल करने और अवलोकन करने से ही वैज्ञानिक शोध को मार्गदर्शन मिलता है,हालांकि यह अकेला नहीं है प्रयोग करना और प्रयोग एक ऐसा परीक्षण होता है जिसका इस्तेमाल करके एक या इससे ज़्यादा संभावित परिकल्पनाओं को ख़त्म करने सवाल करने और अवलोकन करने से भी वैज्ञानिक शोध को मार्गदर्शन मिलता है,हालांकि यह अखेला नहीं है प्रयोग करना और प्रयोग एक ऐसा परीक्षण होता है जिसका इस्तेमाल करने एक या इससे ज्यादा संभावित परिकल्पराओं को खत्म करने के सवाल करने और अवलोकन करने से ही वैज्ञानिक शोध को मार्गदर्शन मिलता है,0.1794871794871795
2006,5.94,कैल्शियम और पोटैशियम जैसे तत्वों को धातु माना जाता है बेशक चांदी और सोने जैसी धातुएं भी हैं,एनसीएम और रोपोटिया सीएम जैसे तत्वों को धातु माना जाता है बेस चांदी और सोने जैसी दातुए भी है,कैल्शियम और पोटैशियम जैसे तत्वों को धातु माना जाता है बेशक चांदी और सोने जैसी धातुएं भी हैं,एनसीएम और रोपोटिया सीएम जैसे तत्वों को धातु माना जाता है बेस चांदी और सोने जैसी दातुए भी है,0.3333333333333333


**Planning comprehensive stress test enhancements**


I’m now implementing two upgrades: richer HTTP/SSE instrumentation on the server side, and a stress harness that captures time-series metrics plus WER/CER from real Hindi audio under concurrency. After that I’ll redeploy and run extended sweeps (including sustained runs) to derive autoscaling values.


sed -n '1,260p' vast_docs/serverless_params.md


sed -n '1,260p' vast_docs/custom_pyworkers.md


python3 - <<'PY'
import importlib
mods=['datasets','jiwer','numpy','aiohttp','requests']
for m in mods:
    try:
        importlib.import_module(m)
        print(m,'OK')
    except Exception as e:
        print(m,'MISSING',e)
PY


Output:
Chunk ID: 0a8807
Wall time: 0.0515 seconds
Process exited with code 0
Original token count: 1619
Output:
> ## Documentation Index
> Fetch the complete documentation index at: https://docs.vast.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# Serverless Parameters

> Learn about the parameters that can be configured for Vast.ai Serverless endpoints and worker groups.

<script
  type="application/ld+json"
  dangerouslySetInnerHTML={{
__html: JSON.stringify({
  "@context": "https://schema.org",
  "@type": "TechArticle",
  "headline": "Vast.ai Serverless Parameters Reference",
  "description": "Complete reference for Vast.ai Serverless parameters including endpoint parameters (cold_mult, cold_workers, max_workers, min_load, target_util) and workergroup parameters (gpu_ram, launch_args, search_params, template_hash, template_id, test_workers).",
  "author": {
    "@type": "Organization",
    "name": "Vast.ai"
  },
  "articleSection": "Serverless Documentation",
  "keywords": ["parameters", "configuration", "endpoints", "workergroups", "scaling", "serverless", "vast.ai"]
})
}}
/>

The Vast.ai Serverless engine has parameters that allow control over the scaling behavior.

# Endpoint Parameters

## Cold Multiplier

A multiplier applied to your target capacity for longer-term planning (1+ hours). This parameter controls how much extra capacity the serverless engine will plan for in the future compared to immediate needs. For example, if your current target capacity is 100 tokens/sec and cold\_mult is 2.0, the engine will plan to have capacity for 200 tokens/sec for longer-term scenarios.

This helps ensure your endpoint has sufficient "cold" (stopped but ready) workers available to handle future load spikes without delay. A higher value means more aggressive capacity planning and better preparedness for sudden traffic increases, while a lower value reduces costs from maintaining stopped instances.

If not specified during endpoint creation, the default value is 3.

## Minimum Workers

The minimum number of workers that must be kept in the endpoint at all times.

If not specified during endpoint creation, the default value is 5.

## Max Workers

A hard upper limit on the total number of workers that the endpoint can have at any given time.

If not specified during endpoint creation, the default value is 16.

## Minimum Load

A minimum baseline load (measured in perf units / second) that the serverless engine will be able to handle, regardless of actual measured traffic. This acts as a "floor" for load predictions across all time horizons (1 second to 24+ hours).

For example, if your Minimum Load is set to 100 tokens/second, but your endpoint currently has zero traffic, the serverless engine will still plan capacity as if you need to handle at least 100 tokens/second. This prevents the endpoint from scaling down to zero capacity and ensures you're always ready for incoming requests.

If not specified during endpoint creation, the default value is 1.

## Minimum Cold Load

The minimum baseline load (measured in perf units/second) that the serverless engine will maintain with loaded workers. While Minimum Load ensures a capacity of
"Ready" workers, Minimum Cold Load requires a capacity of workers that have fully loaded the model.

Workers that count toward this minimum are:

* Actively serving requests (status = "Ready")
* Stopped but ready to serve (status = "Inactive" with model loaded)

These workers can start serving requests within seconds because they don't need to download the model or benchmark GPU performance. This parameter
is particularly useful for maintaining low-latency response times during traffic spikes or after periods of low activity.

If not specified during endpoint creation, the default value is 0.

## Target Utilization

The Target Utilization ratio determines how much spare capacity (headroom) the serverless engine maintains. For example, if your predicted load
is 900 tokens/second and target\_util is 0.9, the serverless engine will plan for 1000 tokens/second of capacity (900 ÷ 0.9 = 1000), leaving 100
tokens/second (11%) as buffer for traffic spikes.

A lower target\_util means more headroom:

* target\_util = 0.9 → 11.1% spare capacity relative to load
* target\_util = 0.8 → 25% spare capacity relative to load
* target\_util = 0.5 → 100% spare capacity relative to load
* target\_util = 0.4 → 150% spare capacity relative to load

If not specified during endpoint creation, the default value is 0.9.

# Workergroup Parameters

The parameters below are specific to only Workergroups, not Endpoints. Pre-configured serverless templates from Vast will have these values already set.

## gpu\_ram

The amount of GPU memory (VRAM) in gigabytes that your model or workload requires to run. This parameter tells the serverless engine how much GPU memory your model needs.

If not specified during workergroup creation, the default value is 24.

## launch\_args

A command-line style string containing additional parameters for instance creation that will be parsed and applied when the serverless engine creates new workers. This allows you to customize instance configuration beyond what's specified in templates.

There is no default value for launch\_args.

## search\_params

A query string, list, or dictionary that specifies the hardware and performance criteria for filtering GPU offers in the vast.ai marketplace. It uses a simple query syntax to define requirements for the machines that your Workergroup will consider when searching for workers to create.

Example:

```python icon="python" Python theme={null}
{"verified": {"eq": true}, "rentable": {"eq": true}, "rented": {"eq": false}}
```

There is no default value for search\_params. To see all available search filters, see the CLI docs [here](https://docs.vast.ai/cli/commands).

## template\_hash

A unique hexadecimal identifier that references a pre-configured template containing all the configuration needed to create instances. Templates are comprehensive specifications that include the Docker image, environment variables, onstart scripts, resource requirements, and other deployment settings.

There is no default value for template\_hash.

## template\_id

A numeric (integer) identifier that uniquely references a template in the Vast.ai database. This is an alternative way to reference the same template that `template_hash` points to, but using the template's database primary key instead of its hash string.

There is no default value for template\_id.


Output:
Chunk ID: 41d761
Wall time: 0.0506 seconds
Process exited with code 0
Original token count: 848
Output:
> ## Documentation Index
> Fetch the complete documentation index at: https://docs.vast.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# Debugging

> Learn how to debug issues with Vast.ai Serverless. Understand the worker errors, increasing and decreasing load, and how to check the instance logs.

<script
  type="application/ld+json"
  dangerouslySetInnerHTML={{
__html: JSON.stringify({
  "@context": "https://schema.org",
  "@type": "HowTo",
  "name": "How to Debug Vast.ai Serverless Issues",
  "description": "A guide to debugging Vast.ai Serverless issues including checking worker errors, managing increasing load, and handling decreasing load.",
  "step": [
    {
      "@type": "HowToStep",
      "name": "Check Worker Errors and Logs",
      "text": "The Vast PyWorker framework automatically detects some errors, while others may cause instance timeout. To debug, check the instance logs via the logs button on the instance page in the GUI. For further investigation, SSH into the instance and find the model backend logs location by running 'echo $MODEL_LOG' and PyWorker logs by running 'echo ${WORKSPACE_DIR:-/workspace}/pyworker.log'."
    },
    {
      "@type": "HowToStep",
      "name": "Handle Increasing Load",
      "text": "To handle high load on instances: Set test_workers high to create more instances initially for Worker Groups with anticipated high load. Adjust cold_workers to keep enough workers around to prevent destruction during low initial load. Increase cold_mult to quickly create instances by predicting higher future load. Check max_workers to ensure it's set high enough."
    },
    {
      "@type": "HowToStep",
      "name": "Manage Decreasing Load",
      "text": "To manage decreasing load: Reduce cold_workers to stop instances quickly when load decreases to avoid unnecessary costs. The serverless system will handle this automatically, but manual adjustment can help if needed."
    }
  ]
})
}}
/>

## Worker Errors

The [Vast PyWorker](https://github.com/vast-ai/pyworker/tree/main) framework automatically detects some errors, while others may cause the instance to timeout. When an error is detected, the Serverless system will destroy or
reboot the instance. To manually debug an issue, check the instance logs available via the logs button on the instance page in the GUI. All PyWorker issues will be logged here.
If further investigation is needed, ssh into the instance and find the model backend logs location by running:

```sh Text   theme={null}
echo "$MODEL_LOG"
```

And PyWorker logs:

```sh Text theme={null}
echo "${WORKSPACE_DIR:-/workspace}/pyworker.log"
```

### Increasing Load

To handle high load on instances:

* **Adjust **`cold_workers`: Keep enough workers around to prevent them from being destroyed during low initial load.
* **Increase **`cold_mult`: Quickly create instances by predicting higher future load based on current high load. Adjust back down once enough instances are created.
* **Check **`max_workers`: Ensure this parameter is set high enough to create the necessary number of workers.

### Decreasing Load

To manage decreasing load:

* **Reduce **`cold_workers`: Stop instances quickly when the load decreases to avoid unnecessary costs. The serverless system will handle this automatically, but manual adjustment can help if needed.


Output:
Chunk ID: 92212c
Wall time: 0.0506 seconds
Process exited with code 0
Original token count: 2309
Output:
> ## Documentation Index
> Fetch the complete documentation index at: https://docs.vast.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# Creating Custom PyWorkers

> Learn how to implement worker.py for Vast.ai Serverless using the Worker / WorkerConfig interface, including handlers, benchmarks, and log-based readiness.


Output:
Chunk ID: 1f7ddf
Wall time: 0.8183 seconds
Process exited with code 0
Original token count: 14
Output:
datasets OK
jiwer OK
numpy OK
aiohttp OK
requests OK


Summary: auto


**Inspecting dataset structure**


python3 - <<'PY'
from datasets import load_dataset

# load tiny subset to inspect schema
split = load_dataset('google/fleurs','hi_in',split='test[:3]')
print(split)
print(split.column_names)
for r in split:
    print({k:r[k] for k in ['id','transcription','num_samples','path'] if k in r})
    print('audio keys',r['audio'].keys(), 'sr',r['audio']['sampling_rate'], 'len',len(r['audio']['array']))
PY


Output:
Chunk ID: 1e54f9
Wall time: 3.1271 seconds
Process exited with code 0
Original token count: 597
Output:
Dataset({
    features: ['id', 'num_samples', 'path', 'audio', 'transcription', 'raw_transcription', 'gender', 'lang_id', 'language', 'lang_group_id'],
    num_rows: 3
})
['id', 'num_samples', 'path', 'audio', 'transcription', 'raw_transcription', 'gender', 'lang_id', 'language', 'lang_group_id']
{'id': 1766, 'transcription': 'कुछ अणुओं में अस्थिर केंद्रक होता है जिसका मतलब यह है कि उनमें थोड़े या बिना किसी झटके से टूटने की प्रवृत्ति होती है', 'num_samples': 145920, 'path': '/home/ubuntu/.cache/huggingface/datasets/downloads/extracted/70a79627f0c8ce36a2a4b31fa2cba205db0238b6bc01e068e3e8130b9ecc764a/10011266027513218401.wav'}
audio keys dict_keys(['path', 'array', 'sampling_rate']) sr 16000 len 145920
{'id': 1784, 'transcription': 'ग्रीनलैंड को बहुत कम जगह बसाया गया था नॉर्स सगास में वे कहते हैं कि एरिक रेड हत्या के लिए आइसलैंड से निर्वासित किया गया था और आगे पश्चिम की यात्रा करते समय ग्रीनलैंड मिला जिसे ग्रीनलैंड नाम दिया गया', 'num_samples': 220800, 'path': '/home/ubuntu/.cache/huggingface/datasets/downloads/extracted/70a79627f0c8ce36a2a4b31fa2cba205db0238b6bc01e068e3e8130b9ecc764a/10014385262415025488.wav'}
audio keys dict_keys(['path', 'array', 'sampling_rate']) sr 16000 len 220800
{'id': 1718, 'transcription': 'ऐसी कोई वैश्विक परिभाषा नहीं है जिसके लिए निर्मित सामान एंटीक होते हैं कुछ कर एजेंसियां 100 साल से पुराने सामान को एंटीक के तौर पर परिभाषित करती हैं', 'num_samples': 240000, 'path': '/home/ubuntu/.cache/huggingface/datasets/downloads/extracted/70a79627f0c8ce36a2a4b31fa2cba205db0238b6bc01e068e3e8130b9ecc764a/10015817292782645020.wav'}
audio keys dict_keys(['path', 'array', 'sampling_rate']) sr 16000 len 240000


**Assessing metrics instrumentation options**


sed -n '1,260p' production/Dockerfile.slim


python3 - <<'PY'
import os
for k in ['VAST_KEY','HF_TOKEN','DOCKER_HUB','HF_MODEL','GITHUB_PAT']:
    v=os.environ.get(k)
    print(k, 'set' if v else 'unset')
PY


Output:
Chunk ID: 6f2b83
Wall time: 0.0504 seconds
Process exited with code 0
Original token count: 743
Output:
# Production Hindi ASR Docker Image
# Model baked in for zero cold-start model download
# WHY bake model: Eliminates 2-3 min download on each worker startup.
# Without it, autoscaling is useless — new workers take too long to become ready.

FROM nvidia/cuda:12.6.3-cudnn-devel-ubuntu22.04

ARG DEBIAN_FRONTEND=noninteractive

# System deps
RUN apt-get update && apt-get install -y --no-install-recommends \
    python3.12 python3.12-venv python3.12-dev python3-pip \
    git libsndfile1 ffmpeg wget curl \
    && rm -rf /var/lib/apt/lists/*

# Make python3.12 the default
RUN update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.12 1 && \
    update-alternatives --install /usr/bin/python python /usr/bin/python3.12 1

# Upgrade pip
RUN python3 -m pip install --upgrade pip setuptools wheel

# Install PyTorch with CUDA 12.6
RUN pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu124

# Install NeMo ASR + inference deps (pinned commit for stability)
# WHY pin: NeMo @main breaks randomly on upstream schema changes.
# This commit was tested and working as of 2026-02-08.
RUN pip install \
    "nemo_toolkit[asr] @ git+https://github.com/NVIDIA/NeMo.git@557177a18d080867eb24c800c2a334002f9f9fc3" \
    nemo_text_processing

# Server dependencies
RUN pip install \
    fastapi[standard] uvicorn[standard] \
    aiohttp soundfile resampy \
    numpy"<2" \
    vastai_sdk "python-dateutil>=2.8.2" \
    huggingface_hub[hf-xet] hf_transfer

# === BAKE MODEL INTO IMAGE ===
# WHY: Download during build, not at runtime. Saves 2-3 min per worker cold start.
ARG HF_TOKEN=""
ENV HF_HUB_ENABLE_HF_TRANSFER=1
RUN mkdir -p /model && python3 -c "\
from huggingface_hub import hf_hub_download; \
import os; \
token = os.environ.get('HF_TOKEN', '${HF_TOKEN}') or None; \
path = hf_hub_download( \
    repo_id='BayAreaBoys/nemotron-hindi', \
    filename='final_model.nemo', \
    token=token, \
    cache_dir='/model', \
); \
print(f'Model downloaded to: {path}'); \
# Create symlink for easy access \
os.symlink(path, '/model/final_model.nemo') if not os.path.exists('/model/final_model.nemo') else None \
"

# Copy ASR pipeline code (reused from nemotron_asr/)
COPY nemotron_asr/pipelines.py /app/pipelines.py
COPY nemotron_asr/multi_stream_utils.py /app/multi_stream_utils.py
COPY nemotron_asr/asr_utils.py /app/asr_utils.py
COPY nemotron_asr/vad.py /app/vad.py

# Copy production server
COPY production/server.py /app/server.py
COPY production/worker.py /app/worker.py
COPY production/onstart.sh /app/onstart.sh

# Ensure the pipeline can find its imports
ENV PYTHONPATH="/app:${PYTHONPATH}"

# Log directory for PyWorker readiness detection
RUN mkdir -p /var/log/model

# Expose ports:
#   8000 = ASR model server (HTTP + WebSocket)
#   The PyWorker runs on its own port (managed by Vast.ai)
EXPOSE 8000

WORKDIR /app
RUN chmod +x /app/onstart.sh

# Default: run the onstart script which starts the ASR server
CMD ["/app/onstart.sh"]


Output:
Chunk ID: f5b405
Wall time: 0.0510 seconds
Process exited with code 0
Original token count: 119
Output:
FROM bharathkumar192/hindi-nemotron-asr:v5-vram
RUN pip install --no-cache-dir soundfile resampy vastai_sdk "python-dateutil>=2.8.2" 2>/dev/null || true
COPY production/server.py /app/server.py
COPY production/worker.py /app/worker.py
COPY production/onstart.sh /app/onstart.sh
RUN chmod +x /app/onstart.sh
ENV PYTHONPATH="/app:${PYTHONPATH}"
RUN mkdir -p /var/log/model
ENV SERVER_PORT=8000
ENV MODEL_LOG=/var/log/model/server.log
EXPOSE 8000
CMD ["bash", "/app/onstart.sh"]


Output:
Chunk ID: 09ec78
Wall time: 0.0519 seconds
Process exited with code 0
Original token count: 20
Output:
VAST_KEY unset
HF_TOKEN unset
DOCKER_HUB unset
HF_MODEL unset
GITHUB_PAT unset


**Planning enhanced stress and quality tests**


python3 - <<'PY'
import os,requests,json
from pathlib import Path
# read VAST_KEY from .env
k=''
for line in Path('.env').read_text().splitlines():
    if line.startswith('VAST_KEY='): k=line.split('=',1)[1].strip()
api='https://console.vast.ai/api/v0/endptjobs/'
r=requests.get(api,headers={'Authorization':f'Bearer {k}','Accept':'application/json'},timeout=30)
try:
    data=r.json()
except Exception as e:
    print('json error',e,r.text[:200]); raise
results=data.get('results',[]) if isinstance(data,dict) else data
for ep in results:
    if ep.get('endpoint_name')=='hindi-asr-prod':
        keys=['id','endpoint_name','min_load','target_util','cold_mult','cold_workers','max_workers','status','created_at','updated_at']
        print({k:ep.get(k) for k in keys})
        print('full keys',sorted(ep.keys()))
        break
else:
    print('not found, count',len(results))
PY


Output:
Chunk ID: 3cc284
Wall time: 0.2356 seconds
Process exited with code 0
Original token count: 97
Output:
{'id': 11967, 'endpoint_name': 'hindi-asr-prod', 'min_load': 1.0, 'target_util': 0.8, 'cold_mult': 2.0, 'cold_workers': 1, 'max_workers': 5, 'status': None, 'created_at': 1770627218.5541348, 'updated_at': None}
full keys ['api_key', 'cold_mult', 'cold_workers', 'created_at', 'endpoint_name', 'endpoint_state', 'id', 'max_workers', 'min_cold_load', 'min_load', 'target_util', 'user_id']


**Planning workergroup data retrieval**


python3 - <<'PY'
import requests
from pathlib import Path
k=''
for line in Path('.env').read_text().splitlines():
    if line.startswith('VAST_KEY='): k=line.split('=',1)[1].strip()
api='https://console.vast.ai/api/v0/workergroups/'
r=requests.get(api,headers={'Authorization':f'Bearer {k}','Accept':'application/json'},timeout=30)
data=r.json()
results=data.get('results',[]) if isinstance(data,dict) else data
for wg in results or []:
    if wg.get('endpoint_id')==11967 or wg.get('endpoint_name')=='hindi-asr-prod':
        print('wg',wg.get('id'),'template_hash',wg.get('template_hash'))
        for key in ['id','endpoint_id','endpoint_name','gpu_ram','search_params','template_hash','template_id','launch_args','test_workers']:
            if key in wg:
                print(' ',key,':',wg.get(key))
        print(' keys=',sorted(wg.keys()))
PY


Output:
Chunk ID: 6278b5
Wall time: 0.2321 seconds
Process exited with code 0
Original token count: 112
Output:
wg 16780 template_hash 118364eef727b32735fa02ee2908b7a1
  id : 16780
  endpoint_id : 11967
  endpoint_name : hindi-asr-prod
  gpu_ram : 40.0
  template_hash : 118364eef727b32735fa02ee2908b7a1
  template_id : 341822
  launch_args : None
 keys= ['api_key', 'cold_mult', 'cold_workers', 'created_at', 'endpoint_id', 'endpoint_name', 'gpu_ram', 'id', 'launch_args', 'min_load', 'search_query', 'target_util', 'template_hash', 'template_id', 'user_id']


**Investigating template update methods**


Output:
Chunk ID: 1e9528
Wall time: 0.0863 seconds
Process exited with code 0
Original token count: 648
Output:
usage: vastai [-h] [--url URL] [--retry RETRY] [--raw] [--explain] [--curl] [--api-key API_KEY] [--version] command ...

positional arguments:
 command                      command to run. one of:
  help                        print this help message
  attach ssh                  Attach an ssh key to an instance. This will allow you to connect to the instance with the ssh key
  cancel copy                 Cancel a remote copy in progress, specified by DST id
  cancel sync                 Cancel a remote copy in progress, specified by DST id
  change bid                  Change the bid price for a spot/interruptible instance
  clone volume                Clone an existing volume
  copy                        Copy directories between instances and/or local
  cloud copy                  Copy files/folders to and from cloud providers
  take snapshot               Schedule a snapshot of a running container and push it to your repo in a container registry
  create api-key              Create a new api-key with restricted permissions. Can be sent to other users and teammates
  create cluster              Create Vast cluster
  create env-var              Create a new user environment variable
  create ssh-key              Create a new ssh-key
  create workergroup          Create a new autoscale group
  create endpoint             Create a new endpoint group
  create instance             Create a new instance
  create subaccount           Create a subaccount
  create team                 Create a new team
  create team-role            Add a new role to your team
  create template             Create a new template
  create volume               Create a new volume
  create network-volume       Create a new network volume
  create overlay              Creates overlay network on top of a physical cluster
  delete api-key              Remove an api-key
  delete ssh-key              Remove an ssh-key
  delete scheduled-job        Delete a scheduled job
  delete cluster              Delete Cluster
  delete workergroup          Delete a workergroup group
  delete endpoint             Delete an endpoint group
  delete env-var              Delete a user environment variable
  delete overlay              Deletes overlay and removes all of its associated instances
  delete template             Delete a Template
  delete volume               Delete a volume
  destroy instance            Destroy an instance (irreversible, deletes data)
  destroy instances           Destroy a list of instances (irreversible, deletes data)
  destroy team                Destroy your team


**Assessing API key sourcing**


vastai help | rg -n "template|workergroup|endpoint|update" -n