Google a dévoilé XLA Serving Engine (XSE), un moteur d’inférence destiné à exécuter des modèles d’intelligence artificielle sans interpréteur Python en production. Déjà utilisé à grande échelle dans plusieurs de ses services, il offrirait un débit deux à cinq fois supérieur à celui d’un serveur Python optimisé, tout en réduisant l’empreinte mémoire.
Python occupe une place centrale dans le développement des modèles d’intelligence artificielle. Sa simplicité, ses bibliothèques scientifiques et sa compatibilité avec les principaux frameworks en font un langage privilégié pour l’entraînement et l’expérimentation. En production, ses caractéristiques peuvent toutefois devenir contraignantes lorsque les applications doivent traiter un volume considérable de requêtes avec des exigences de latence particulièrement strictes.
Google entend surmonter cette difficulté avec XLA Serving Engine (XSE), un moteur d’exécution reposant sur le compilateur XLA. Son principe consiste à conserver Python pendant les phases de conception et d’entraînement, puis à s’en affranchir lors de l’inférence. Le traitement des requêtes repose alors sur un environnement C++ exploitant du code compilé pour les processeurs et accélérateurs ciblés.
Selon Google, cette technologie traite déjà plus de six millions de requêtes par seconde dans plusieurs de ses services, notamment Google Search, Google Ads et YouTube Shorts. Ces déploiements concernent principalement le classement des résultats, les systèmes de recommandation, la vision artificielle et d’autres applications nécessitant des réponses rapides.
Des performances jusqu’à cinq fois supérieures
D’après les mesures communiquées par Google, XSE affiche un débit deux à cinq fois supérieur à celui de son serveur Python le mieux optimisé pour les requêtes courtes. Le moteur utiliserait également quatre fois moins de mémoire. Ces résultats correspondent aux environnements et aux charges de travail évalués par le groupe. Ils ne garantissent donc pas des gains identiques pour l’ensemble des modèles.
L’architecture cible particulièrement les applications d’inférence à haut débit. Contrairement aux grands modèles de langage génératifs, dont les performances dépendent notamment de la production séquentielle de tokens et de la gestion de la mémoire des accélérateurs, les systèmes de recommandation ou de classement doivent souvent répondre à un grand nombre de requêtes relativement brèves.
Pour les exploitants d’infrastructures, l’enjeu dépasse la seule accélération des traitements. Une consommation mémoire réduite peut améliorer la densité de déploiement des modèles et limiter les ressources nécessaires pour absorber le trafic. Les économies potentielles dépendent néanmoins du matériel utilisé, des caractéristiques des applications et de leurs charges de travail.
Une compilation reposant sur StableHLO
Sur le plan technique, les développeurs peuvent continuer à utiliser JAX pour concevoir leurs modèles. Les calculs et les paramètres entraînés sont ensuite exportés dans un format baptisé XLA SavedModel, qui s’appuie notamment sur StableHLO comme représentation intermédiaire des opérations.
XSE utilise alors XLA pour compiler ces opérations en code natif adapté à l’infrastructure d’exécution. L’interpréteur Python n’intervient plus dans le traitement des requêtes. Google prévoit également une intégration avec TorchTPU afin de faciliter l’utilisation de modèles PyTorch sur ses accélérateurs TPU.
Si les TPU constituent une cible naturelle pour Google, l’écosystème XLA peut également exploiter des CPU et des GPU. Cette ouverture pourrait intéresser les entreprises disposant d’infrastructures hétérogènes, même si la compatibilité et les performances devront être évaluées pour chaque environnement.
Une nouvelle option pour industrialiser l’IA
XSE arrive sur un marché où plusieurs solutions permettent déjà d’exécuter des modèles sans conserver toute la pile logicielle Python utilisée pendant leur développement. ONNX Runtime et LibTorch illustrent notamment cette approche. Google cherche donc davantage à industrialiser une architecture éprouvée à l’échelle de ses propres services qu’à introduire un principe entièrement nouveau.
Le moteur ne prétend pas remplacer les plateformes spécialisées dans l’exécution des grands modèles génératifs, comme vLLM ou SGLang. Il cible avant tout les modèles intégrés à des applications transactionnelles, aux systèmes de recommandation ou aux mécanismes de décision en temps réel.
Pour les DSI et les équipes MLOps, l’ouverture de XSE représente une possibilité supplémentaire de dissocier les environnements de développement et de production. Son adoption dépendra de la facilité de migration des modèles existants, de la prise en charge des différentes architectures matérielles et des gains effectivement constatés en exploitation.
Soyez le premier à commenter