A100 80GB — vLLM — 0.6B Model

  ┌─────────────┬──────────┬──────────┬──────────┬─────────┬─────────┬────────────┐
  │ Concurrency │ TTFB avg │ TTFB p50 │ TTFB p90 │ RTF avg │ RTF p50 │ Throughput │
  ├─────────────┼──────────┼──────────┼──────────┼─────────┼─────────┼────────────┤
  │ 50          │ 81ms     │ 84ms     │ 86ms     │ 0.23    │ 0.23    │ 170x       │
  ├─────────────┼──────────┼──────────┼──────────┼─────────┼─────────┼────────────┤
  │ 100         │ 165ms    │ 166ms    │ 195ms    │ 0.33    │ 0.33    │ 268x       │
  ├─────────────┼──────────┼──────────┼──────────┼─────────┼─────────┼────────────┤
  │ 150         │ 568ms    │ 170ms    │ 1467ms   │ 0.42    │ 0.35    │ 250x       │
  ├─────────────┼──────────┼──────────┼──────────┼─────────┼─────────┼────────────┤
  │ 200         │ 847ms    │ 703ms    │ 1663ms   │ 0.50    │ 0.44    │ 268x       │
  ├─────────────┼──────────┼──────────┼──────────┼─────────┼─────────┼────────────┤
  │ 300         │ 1583ms   │ 1545ms   │ 3279ms   │ 0.69    │ 0.69    │ 267x       │
  ├─────────────┼──────────┼──────────┼──────────┼─────────┼─────────┼────────────┤
  │ 500         │ 3071ms   │ 3097ms   │ 5997ms   │ 1.04    │ 1.05    │ 275x       │