Project

    InferenceLab

    Banc d’essai reproductible pour le serving de LLM avec vLLM. Il automatise les comparaisons entre configurations et détecte les régressions de performance à partir des mesures collectées.

    PythonvLLMLLM ServingBenchmarkingFastAPI

    Role

    Benchmark design, vLLM launch and measurement tooling, and regression checks.

    Outcome

    A reproducible workflow for measuring streaming LLM inference, comparing paired runs, and checking performance regressions offline.