Jalapeño : la première puce d’OpenAI promet une inférence plus rapide et moins énergivore

OpenAI a levé le voile sur les performances de Jalapeño, sa première puce maison, lors de la conférence Hot Chips. Les premiers benchmarks, mesurés sur le protocole InferenceX de SemiAnalysis, montrent un processeur d’inférence capable de servir plus de tokens par utilisateur et d’offrir un meilleur débit par kilowatt consommé que les solutions actuellement au sommet du marché. Une avancée qui pourrait réduire la dépendance du laboratoire envers Nvidia.

Des chiffres qui impressionnent, avec une réserve

Richard Ho, responsable du matériel chez OpenAI, ne cache pas sa satisfaction : les résultats montrent une avance de performance très, très significative sur l’état de l’art. Jalapeño sert davantage de travail d’IA par unité d’énergie tout en répondant plus vite, un double atout qui permet à la fois de traiter beaucoup de clients et de conserver une latence faible.

La prudence s’impose toutefois : la comparaison porte sur un système Nvidia Blackwell, et d’ici au déploiement massif de Jalapeño, la concurrence aura progressé. OpenAI estime que la puce entrera en service fin 2026 en très petits volumes, le déploiement significatif étant prévu pour 2027. Une éternité, à l’échelle de l’industrie des semi-conducteurs.

Une conception taillée pour l’inférence

Annoncée en octobre dernier, Jalapeño a été développée main dans la main avec Broadcom, avec la particularité que les propres modèles d’OpenAI ont assisté le processus de conception. L’entreprise veut en faire une plateforme multigénérationnelle, où produits, modèles, puces et mémoire évolueraient de concert.

Cette approche intégrée a permis d’attaquer les points de friction spécifiques de l’inférence. Jalapeño est conçue pour minimiser les délais pendant les phases de préremplissage et de communication, qui agissent souvent comme des goulets d’étranglement. Concrètement, l’état du modèle, y compris le cache KV utilisé pendant la génération d’une réponse, reste placé localement pendant que le système active la combinaison optimale de calcul, mémoire et réseau pour chaque phase. Moins de déplacements de données, c’est moins de latence et moins d’énergie gaspillée.

L’enjeu stratégique de l’indépendance

Au-delà des performances, Jalapeño s’inscrit dans la stratégie d’OpenAI de maîtriser toute sa chaîne de valeur, alors que le coût des infrastructures explose, un phénomène que nous décrivions dans notre analyse de la hausse des prix des serveurs IA. Produire sa propre silicium, c’est réduire sa dépendance à Nvidia et négocier en position de force. C’est aussi une réponse à la pression énergétique croissante sur les data centers : chaque token servi par kilowatt économisé compte.

Retrouvez la rubrique Intelligence artificielle pour suivre la course aux puces d’inférence.

L’inférence est devenue le centre de gravité économique de l’IA. Longtemps, l’attention s’est portée sur l’entraînement des modèles, phase spectaculaire et coûteuse. Mais à mesure que les usages explosent, c’est l’exécution quotidienne des requêtes, multipliée par des centaines de millions d’utilisateurs, qui pèse sur les comptes d’exploitation. Une puce optimisée pour cette phase, capable de servir davantage de clients par kilowatt, améliore directement la marge de chaque abonnement vendu. C’est toute la logique industrielle derrière Jalapeño.

Le choix de Broadcom comme partenaire s’inscrit dans une tendance de fond : les spécialistes du silicium sur mesure conçoivent désormais des puces pour les géants du logiciel, de Google à Amazon en passant par Meta. OpenAI ajoute une brique supplémentaire en faisant participer ses propres modèles à la conception, une boucle vertueuse où l’IA accélère la création du matériel qui la fera tourner demain. L’ambition affichée d’une plateforme multigénérationnelle suggère que Jalapeño n’est que le premier d’une lignée.

Sur le plan technique, l’attention portée au cache KV mérite explication : lorsqu’un modèle génère une réponse, il conserve en mémoire le contexte de la conversation, et ces données deviennent volumineuses sur les longs échanges. Les déplacer entre puces coûte cher en temps et en énergie. En les gardant au plus près du calcul et en orchestrant finement les ressources pour chaque phase, Jalapeño attaque le gaspillage là où il se niche. C’est ce type d’optimisation, invisible pour l’utilisateur, qui détermine la rentabilité des services d’IA à grande échelle.

Nvidia, de son côté, ne restera pas les bras croisés : le leader historique itère à un rythme annuel et dispose d’une avance logicielle considérable avec son écosystème CUDA. La bataille de l’inférence ne fait que commencer, et les clients d’OpenAI seront les premiers à en mesurer les effets concrets sur la rapidité des réponses.

La présentation à Hot Chips n’est pas un hasard : cette conférence est le rendez-vous historique des architectes de puces, celui où Nvidia, AMD et Intel dévoilent leurs innovations face aux ingénieurs du monde entier. Y présenter des benchmarks publics revient à afficher ses ambitions au grand jour, et à inviter la communauté à vérifier les chiffres. Une posture de confiance qui tranche avec la discrétion habituelle des laboratoires sur leur matériel.

Les retombées concrètes pour les utilisateurs se mesureront en vitesse de réponse et en prix : une inférence plus efficace autorise des abonnements moins chers ou des modèles plus puissants à coût constant. C’est aussi un facteur décisif pour les agents autonomes, qui enchaînent des dizaines d’appels au modèle pour accomplir une seule tâche et dont la viabilité économique dépend entièrement du coût marginal de chaque requête.

La course aux puces d’inférence va bien au-delà d’OpenAI : Amazon, Google et Meta développent leurs propres siliciums, et une génération de start-up spécialisées pousse des architectures alternatives. Toutes poursuivent le même objectif, faire chuter le coût du token servi, condition de la démocratisation des usages les plus ambitieux. À cette aune, les performances énergétiques de Jalapeño pourraient peser lourd, alors que la facture d’électricité des centres de données est devenue un enjeu industriel et politique majeur.

Source : TechCrunch

Les puces maison des laboratoires d’IA changeront-elles la donne face à Nvidia ? Débattez-en via notre page contact.