Project
InferenceLab
Banc d’essai reproductible pour le serving de LLM avec vLLM. Il automatise les comparaisons entre configurations et détecte les régressions de performance à partir des mesures collectées.
PythonvLLMLLM ServingBenchmarkingFastAPI
Role
Benchmark design, vLLM launch and measurement tooling, and regression checks.
Outcome
A reproducible workflow for measuring streaming LLM inference, comparing paired runs, and checking performance regressions offline.