Kog Accélère L Inference Gpu Pour Les Llm

Imaginez un instant que les processeurs graphiques déjà installés dans vos data centers puissent soudainement délivrer des performances d’inférence multipliées par trente. Sans changer de matériel, sans investir dans des puces spécialisées hors de prix. C’est exactement la promesse que formule aujourd’hui une jeune pousse française nommée Kog. Alors que le marché de l’intelligence artificielle se focalise massivement sur les nouvelles architectures de puces, cette équipe mise tout sur une optimisation logicielle radicale des GPU conventionnels. Une approche qui a déjà fait sensation et qui pourrait bien redéfinir la façon dont les entreprises abordent la vitesse d’exécution des grands modèles de langage.

Une Course À L’Inférence Qui Change De Terrain

Le secteur de l’IA vit actuellement une course effrénée. Plus les modèles grossissent, plus le coût et le temps d’inférence deviennent des freins majeurs. Les investisseurs ont récemment réservé un accueil enthousiaste à Cerebras lors de son introduction en bourse, prouvant que le marché valorise encore fortement les solutions matérielles dédiées. Pourtant, Kog parie sur une autre voie : extraire davantage de puissance des GPU déjà largement déployés chez les entreprises, qu’il s’agisse de puces AMD MI300X ou Nvidia H200.

En mai dernier, la startup a fait la une de Hacker News grâce à une démonstration technique convaincante. L’objectif affiché était clair : prouver qu’un décodage extrêmement rapide pour une seule requête reste possible sur le matériel standard que les data centers possèdent déjà. Le résultat affiché ? Environ 3 000 tokens par seconde pour une requête unique, réalisé avec un petit modèle maison d’environ deux milliards de paramètres, le Laneformer 2B, désormais open source.

Certains observateurs ont regretté que cette performance ne s’étende pas encore aux GPU des ordinateurs portables. D’autres, en revanche, ont immédiatement saisi le potentiel commercial. Dans un contexte où la vitesse et le coût de l’inférence constituent désormais un goulot d’étranglement critique, la promesse de débloquer de nouvelles capacités sur du matériel existant a attiré bien plus que de simples curieux. Selon le fondateur, la démonstration a généré plus de deux cents contacts business concrets.

Pourquoi La Vitesse Devient Un Enjeu Stratégique

Les utilisateurs intensifs d’outils comme Claude Code savent parfaitement ce que signifie attendre parfois des heures pour obtenir un résultat. Anthropic elle-même a compris la valeur de la rapidité en proposant un mode accéléré facturé plus cher. Kog cible précisément ces professionnels et ces entreprises pour qui les délais actuels représentent un frein opérationnel réel.

Au-delà des développeurs, la startup collabore déjà avec des partenaires qui permettent de générer des jeux ou des applications à partir d’une simple instruction textuelle. Pour ces acteurs, chaque seconde gagnée se traduit directement en chiffre d’affaires supplémentaire. La vitesse n’est plus un luxe, elle devient un levier économique.

Pourtant, le marché n’est pas encore complètement mature. Les retours clients ont révélé un point important : la plupart des prospects ne sont pas prêts à fine-tuner des modèles de petite taille. C’est pourquoi, depuis le lancement de sa démo, l’équipe s’est entièrement concentrée sur l’accélération des modèles de grande taille, ceux qui répondent réellement à la demande observée.

Le Défi Des Grands Modèles

Passer d’un modèle de deux milliards de paramètres à un grand modèle de langage représente un saut technique considérable. Les sceptiques doutent encore que l’approche de Kog puisse se transposer avec la même efficacité. Le fondateur, Gaël Delalleau, reste pourtant convaincu. Selon lui, l’idée selon laquelle les GPU ne seraient pas adaptés au décodage est devenue une idée reçue. Les nouvelles générations de cartes graphiques offrent une bande passante mémoire de plus en plus importante, un potentiel qui ne demande qu’à être exploité pleinement.

La promesse affichée reste ambitieuse : multiplier par trente la vitesse d’inférence des grands modèles de langage. Pour y parvenir, l’équipe doit d’abord démontrer qu’elle peut atteindre un facteur dix sur un premier modèle majeur. L’échéance est fixée autour de septembre. Ce jalon technique sera déterminant pour prouver la traction client et préparer une levée de fonds de série A.

Une Approche Qui Se Distingue

Kog n’est pas la seule structure à penser que l’optimisation logicielle peut faire davantage que ce que le constructeur annonce. Une autre entreprise française, ZML, a par exemple publié une solution indépendante du matériel qui contourne CUDA de Nvidia pour accélérer l’inférence sur différentes puces. Mais Delalleau situe plutôt son projet dans la lignée des travaux du laboratoire Hazy Research de Stanford, avec un focus encore plus profond sur l’accélération GPU.

Cette profondeur s’explique par le parcours atypique du fondateur. Formé à la physique du solide à l’École Polytechnique, Gaël Delalleau a ensuite travaillé dans le domaine de la cybersécurité offensive, le white hat hacking. Il a été finaliste à quatre reprises du tournoi CTF de DEFCON. Cette double formation a façonné une méthode de travail très particulière.

D’un côté, la culture scientifique pousse à comprendre les lois physiques et celles des GPU pour en tirer le maximum. De l’autre, l’expérience du reverse-engineering apprend à descendre jusqu’au langage assembleur et au code binaire afin d’utiliser un système pour des objectifs auxquels il n’était pas nécessairement destiné. Le résultat est une approche extrêmement pragmatique et pointue.

Le Coût D’Une Méthode Manuelle

Cette façon de travailler a un inconvénient majeur : elle est très chronophage. Pour chaque nouvelle carte graphique, l’équipe consacre plusieurs semaines, parfois plusieurs mois, à une exploration détaillée et à de la recherche d’ingénierie GPU pure. Avec une équipe de seulement onze personnes, cela limite forcément le nombre de puces que la startup peut supporter dans un avenir proche.

À plus long terme, Kog ambitionne de transformer cette méthodologie en pipelines basés sur des agents. L’objectif serait alors de pouvoir accompagner un plus grand nombre de puces et de modèles sans que chaque support demande autant d’effort manuel. Dans un contexte où l’Europe cherche à renforcer sa souveraineté sur les semi-conducteurs et les modèles d’IA, cette orientation pourrait constituer un atout supplémentaire.

La startup bénéficie déjà du soutien de Scaleway, de Bpifrance et du programme French Tech 2030. Ces appuis institutionnels et industriels renforcent sa position dans l’écosystème européen de l’innovation.

Des Premiers Cas D’Usage Prometteurs

Les premiers retours du marché orientent clairement vers le développement logiciel. Les équipes d’ingénierie qui s’appuient quotidiennement sur des assistants de code avancés ressentent particulièrement les limitations de latence. Quand un workflow professionnel dépend d’une réponse rapide du modèle, chaque minute d’attente a un coût réel en productivité.

D’autres partenaires, plus créatifs, utilisent déjà des systèmes de génération d’applications et de jeux à partir de prompts. Pour eux, la réduction du temps de génération se traduit immédiatement par une capacité à servir davantage d’utilisateurs et à augmenter les revenus. La vitesse devient alors un avantage concurrentiel direct.

Cette diversité de cas d’usage montre que le besoin de performances d’inférence améliorées dépasse largement le simple confort des développeurs. Il touche des modèles économiques entiers qui reposent sur la fluidité de l’interaction avec les grands modèles.

Le Parcours Du Fondateur Comme Avantage Concurrentiel

Gaël Delalleau n’est pas un chercheur académique. Sa première aventure entrepreneuriale, Stribe, sélectionnée dans le TechCrunch50 en 2009, n’avait rien à voir avec l’intelligence artificielle. Pourtant, cette expérience a laissé des traces. L’un de ses anciens co-fondateurs, Kamel Zeroual, est aujourd’hui associé chez Varsity VC et a co-mené le tour de table seed de Kog.

Ce lien illustre une continuité discrète mais réelle. L’expérience entrepreneuriale antérieure, combinée à une formation scientifique de haut niveau et à une culture de la cybersécurité offensive, crée un profil rare dans l’écosystème IA français. La capacité à descendre très bas dans les couches matérielles tout en gardant une vision business claire constitue sans doute l’un des principaux atouts de la startup.

Une Vision Européenne De La Performance

Alors que les débats sur la souveraineté technologique s’intensifient en Europe, la démarche de Kog résonne particulièrement. Plutôt que de dépendre exclusivement de nouvelles puces conçues et produites hors du continent, l’entreprise propose d’optimiser le matériel déjà présent. Cette approche pragmatique s’inscrit dans une logique d’efficacité et d’indépendance relative.

En travaillant en profondeur sur les GPU d’AMD et de Nvidia, la startup démontre qu’il est possible d’obtenir des gains substantiels sans attendre l’arrivée de nouvelles architectures. Dans un marché où les délais d’approvisionnement et les coûts des puces spécialisées restent élevés, cette stratégie peut séduire de nombreuses entreprises européennes soucieuses de maîtriser leurs dépenses et leur dépendance technologique.

Les Prochaines Étapes Critiques

Le calendrier est serré. L’équipe vise la mise en œuvre d’un premier grand modèle avec un facteur d’accélération de dix dès le mois de septembre. Ce jalon technique servira de preuve de concept pour convaincre les premiers clients à grande échelle et pour engager les discussions autour d’une série A.

D’ici là, le travail reste très artisanal. Chaque nouvelle carte graphique exige des semaines d’exploration minutieuse. Cette contrainte limite le nombre de plateformes supportées, mais elle garantit également une profondeur d’optimisation difficile à égaler pour des approches plus génériques.

À moyen terme, l’ambition est de systématiser cette expertise grâce à des agents capables de reproduire une partie de la méthodologie. Si cette transition réussit, Kog pourrait élargir considérablement son champ d’action sans diluer la qualité de ses optimisations.

Ce Que Cela Change Pour Les Entreprises

Pour les organisations qui possèdent déjà un parc de GPU modernes, l’offre de Kog représente une opportunité de maximiser le retour sur investissement de leur infrastructure existante. Au lieu de devoir renouveler massivement le matériel pour suivre la croissance des modèles, elles pourraient obtenir des gains de performance significatifs par pure optimisation logicielle.

Cette perspective modifie l’équation économique de l’inférence. Les coûts d’exploitation deviennent plus prévisibles et potentiellement plus bas. La latence perçue par les utilisateurs finaux diminue. Les workflows internes s’accélèrent. Dans un contexte où les budgets IA sont scrutés de près, ces arguments pèsent lourd.

Bien sûr, tout reste à prouver sur les grands modèles. Mais les premiers résultats obtenus sur un modèle de deux milliards de paramètres, combinés à la rigueur méthodologique de l’équipe, donnent des raisons d’être attentifs.

Une Place À Part Dans L’Écosystème

Dans un paysage dominé par les annonces de nouvelles puces et de nouveaux modèles, Kog occupe une position singulière. Elle ne promet pas de révolutionner le hardware. Elle propose plutôt de révéler le potentiel encore inexploité du hardware déjà déployé. Cette posture, presque contre-intuitive dans un secteur obsédé par la nouveauté, pourrait s’avérer particulièrement pertinente.

En s’attaquant de front à la question de la bande passante mémoire et en descendant jusqu’aux couches les plus basses des GPU, l’équipe adopte une démarche d’ingénierie pure. Moins spectaculaire que le lancement d’une nouvelle architecture, elle n’en est pas moins ambitieuse. Car extraire trente fois plus de performance d’un système existant relève d’une forme de virtuosité technique.

Si les prochains mois confirment que cette approche scale effectivement vers les grands modèles de langage, Kog aura non seulement validé sa thèse technique, mais aussi ouvert une voie alternative dans la course à l’inférence. Une voie où l’optimisation logicielle profonde reprend le dessus sur la simple accumulation de silicium.

Les Enjeux De La Montée En Charge

Passer d’une démonstration impressionnante sur un petit modèle à une solution industrielle capable d’accélérer des LLM de dizaines ou de centaines de milliards de paramètres n’est pas anodin. Les défis techniques se multiplient : gestion de la mémoire, parallélisme, latence de communication entre les cœurs, et bien d’autres paramètres encore.

L’équipe de onze personnes devra démontrer qu’elle peut industrialiser sa méthode sans perdre la profondeur qui fait sa force. Le passage à des pipelines agentiques représente une réponse possible à ce défi d’échelle. Mais cette évolution demandera elle-même du temps et des ressources.

Dans l’intervalle, le focus reste clairement défini : prouver qu’un premier grand modèle peut tourner avec un facteur dix d’accélération. Ce résultat, s’il est atteint dans les délais annoncés, changera la perception du marché et ouvrira la voie à une levée de fonds plus ambitieuse.

Une Culture D’Ingénierie Rare

Ce qui frappe le plus dans le discours de Gaël Delalleau, c’est la cohérence entre son parcours et la culture qu’il cherche à inculquer à son équipe. La physique du solide apporte le respect des lois fondamentales. Le reverse-engineering de bas niveau apporte la capacité à détourner un système de son usage initial. Ensemble, ces deux dimensions créent une posture d’ingénierie particulièrement adaptée aux problèmes d’optimisation extrême.

Dans un secteur où beaucoup de solutions restent relativement haut niveau, cette volonté de descendre jusqu’à l’assembleur et au code binaire constitue un différenciateur net. Elle explique aussi pourquoi le support de chaque nouvelle puce demande autant de temps : il ne s’agit pas d’adapter une bibliothèque générique, mais de reconstruire une compréhension fine de chaque architecture.

Cette exigence a un prix en termes de vitesse d’exécution commerciale. Mais elle pourrait également produire des gains de performance que des approches plus superficielles ne pourront jamais atteindre.

Perspectives Pour L’Écosystème Français

La présence de Bpifrance et du programme French Tech 2030 dans le tour de table de Kog n’est pas anodine. Elle illustre la volonté des pouvoirs publics de soutenir des initiatives qui renforcent la capacité européenne en matière d’IA. En se concentrant sur l’optimisation du matériel existant plutôt que sur la conception de nouvelles puces, la startup s’inscrit dans une logique pragmatique de souveraineté.

Si elle réussit à démontrer que ses optimisations fonctionnent à grande échelle, elle pourrait servir d’exemple pour d’autres initiatives européennes. L’idée qu’il est possible d’extraire bien plus de performance des infrastructures déjà en place résonne particulièrement dans un contexte où les investissements massifs dans de nouvelles usines de semi-conducteurs restent hors de portée de la plupart des acteurs.

Le soutien de Scaleway, acteur cloud français, renforce également cette dimension territoriale. Il montre qu’il existe déjà un écosystème prêt à accueillir et à tester ce type d’innovations.

Ce Qu’Il Faut Retenir

Kog représente une tentative sérieuse de changer la donne sur l’inférence des grands modèles en misant sur le logiciel plutôt que sur le matériel. Sa démonstration initiale a convaincu suffisamment d’observateurs pour générer un flux de contacts commerciaux significatif. Le parcours atypique de son fondateur apporte une crédibilité technique réelle. Les prochains mois seront déterminants pour valider que l’approche scale vers les LLM de grande taille.

Dans un marché où la vitesse d’inférence est devenue un critère concurrentiel majeur, toute solution capable de délivrer des gains substantiels sur du matériel standard mérite une attention particulière. Si la startup tient ses engagements techniques, elle pourrait bien devenir l’un des acteurs à suivre de près dans l’écosystème européen de l’intelligence artificielle.

L’histoire de Kog rappelle que l’innovation ne consiste pas toujours à inventer de nouveaux composants. Parfois, elle consiste à comprendre mieux que quiconque ceux qui existent déjà, et à en tirer le maximum. Dans le cas présent, ce maximum pourrait atteindre un facteur trente. Et cela, pour de nombreuses entreprises, changerait beaucoup de choses.

La suite se jouera donc dans les laboratoires et les data centers, entre ingénierie de bas niveau et validation commerciale. Mais une chose est déjà certaine : en choisissant de creuser plus profondément dans les GPU plutôt que d’attendre les prochaines puces, Kog a pris une position originale et potentiellement très stratégique dans la course à l’inférence.