LLMD, a new inference server from French startup ZML, has reached alpha after a year of technical preview, entering a market dominated by vLLM and SGLang—both of which have recently been commercialised. vLLM’s ecosystem is backed by Inferact, a US company that launched in early 2026 with $150 million in funding, while SGLang is integrated into RadixArk’s offering, supported by $100 million from investors including AMD, MediaTek, and NVIDIA.

ZML, founded in late 2023, has raised a comparatively modest $20 million from backers such as Kima Ventures, Yann Le Cun, Docker’s Solomon Hykes, and Hugging Face’s Clément Delangue and Julien Chaumond. The startup built LLMD on its own ZML inference framework, written primarily in Zig—a language designed to modernise C with improved control flow, function calls, and library handling. Using the XLA compiler and MLIR intermediate representation (a vLLM sub-project), ZML converts models into standalone binaries targeting multiple accelerators, eliminating Python dependencies to reduce resource footprint. Version 2 of the framework, released in March, made memory, I/O, and placement concepts explicit, introduced an attention module system, and added a zero-copy mechanism that avoids downloading models to disk.

LLMD’s core promise is distributed inference across mixed accelerator fleets. It initially launched with CUDA and ROCm back-ends, but now supports five: NVIDIA CUDA, AMD ROCm, Google TPUs, Intel’s OneAPI toolkit, and Apple Metal, with Tenstorrent NPUs on the roadmap. Co-founder and president Steeve Morin frequently references European chipmakers such as SiPearl and VSORA as future targets. Supported model families include Gemma 3 and 4 (dense and mixture-of-experts), LFM2.5, LLaMa 2 and 3, Mistral 3 and Ministral, and Qwen 2, 3, 3.5, and 3.6 (dense and MoE).

The server handles continuous batching, prefix caching, tool calling, and speculative decoding—currently DFlash on Gemma 4. ZML has implemented tensor parallelism, touts cold start times under 20 seconds, and enables zero-copy loading from Hugging Face, Amazon S3, and Google Cloud Storage. A June 2026 benchmark shared by Morin on X compares token throughput on Qwen3.6-35B-A3B, showing LLMD’s competitive performance against vLLM on an NVIDIA GH200.

While the underlying ZML framework is open-source, LLMD itself is distributed under a closed license, currently free to access. The project reflects a broader vision—echoed by Inferact—of making foundation model deployment as straightforward as spinning up a serverless database, but doing so with a hardware-agnostic, low-overhead architecture.

« Aujourd’hui, déployer un modèle de fondation à l’échelle exige une équipe infra dédiée. Demain, cela devra être aussi simple que d’initialiser une base de données sans serveur. »

Ce pitch, c’est celui d’Inferact. L’entreprise a émergé début 2026 aux États-Unis, pour développer une activité commerciale autour du serveur d’inférence vLLM. Elle a démarré avec un financement de 150 M$.

Depuis, un autre projet référent a suivi la même trajectoire : SGLang, intégré dans l’offre commerciale de RadixArk. Une entreprise soutenue à hauteur de 100 M$, avec la participation, entre autres, d’AMD, de MediaTek et de NVIDIA.

vLLM et SGLang ont, entre autres concurrents, LLMD. On le doit à a start-up française ZML. Fondée fin 2023, elle a levé 20 M$ avec notamment Kima Ventures, et avec le soutien de personnalités de la tech telles que Yann Le Cun, Solomon Hykes (Docker) et le duo Clément Delangue – Julien Chaumond (Hugging Face).

ZML a choisi le langage Zig

LLMD vient de passer au stade alpha, après un an de preview technique. Pour le moment en accès gratuit, il est néanmoins sous licence fermée… au contraire du framework d’inférence ZML, qui constitue son socle.

Ce framework est écrit essentiellement en Zig, un langage voué à « moderniser » C sur des aspects comme le flux de contrôle, l’appel de fonctions, l’importation de bibliothèques et la déclaration de variables. En utilisant le compilateur XLA et le format de représentation intermédiaire MLIR (sous-projet de vLLM), il convertit des modèles en binaires autonomes ciblant une variété d’accélérateurs. Sans dépendance à Python, ce qui a pour effet de réduire l’empreinte. La v2, sortie en mars, a rendu des concepts plus explicites (mémoire, I/O, placement…), apporté un système de modules d’attention et introduit un mécanisme zero copy qui évite d’avoir à télécharger les modèles sur disque.

5 back-ends, une seule base de code

Promesse de LLMD : une inférence distribuée sur des flottes d’accélérateurs mixtes. Au lancement de la preview technique, il gérait les back-ends CUDA (NVIDIA) et ROCm (AMD). Aujourd’hui, la liste comprend aussi les TPU de Google, le toolkit OneAPI d’Intel et Apple Metal. Les NPU de Tenstorrent sont sur la roadmap. Steeve Morin, président-cofondateur de ZML, évoque régulièrement des fournisseurs de puces européens, parmi lesquels SiPearl et VSORA.

Les familles de modèlesprises en charge en l’état :

Gemma 3 et 4 (denses + MoE)

LFM2.5

LLaMa 2 et 3

Mistral 3 et Ministral

Qwen 2, 3, 3.5 et 3.6 (denses + MoE)

LLMD gère le batching continu, la mise en cache des préfixes, l’appel d’outils et le décodage spéculatif (DFlash, sur Gemma 4 pour le moment). ZML a implémenté le parallélisme des tenseurs. Il annonce un démarrage à froid en moins de 20 secondes. Le chargement zero copy est possible depuis Hugging Face, S3 et GCS.

Qwen/Qwen3.6-35B-A3B tok/s on zml/llmd vs vllm (GH200) pic.twitter.com/zC87TER1Rq

— Steeve Morin (@steeve) June 30, 2026

Illustration © Adrian Grosu – Shutterstock

The post LLMD, un serveur d’inférence made in France qui se frotte à vLLM appeared first on Silicon.fr.