Le coût des technologies de l'information nécessaires pour alimenter la révolution actuelle de l'IA ne peut être décrit que comme stupéfiant. Le financement des principaux superordinateurs d'IA, qui alimentent des entreprises comme OpenAI et Anthropic, adoublé à peu près chaque année depuis leur création. La grappe GPT-4 a coûté à elle seule des centaines de millions de dollars, tandis que le superordinateur Colossus de xAI a coûté 10 milliards de dollars. Et nous n'en sommes qu'au début, avec une demande toujours croissante d'IA qui alimente de plus en plus d'investissements d'infrastructure. Pour ceux d'entre nous qui passent beaucoup de temps à réfléchir à l'origine de la création de valeur durable dans les technologies, il est difficile d'ignorer cette trajectoire, et encore plus difficile de l'exagérer.

Avec l'IA, nous n'assistons pas seulement à l'émergence d'une nouvelle catégorie de logiciels. Nous assistons plutôt à un développement industriel. Et cela renforce notre conviction qu'une grande partie de la valeur créée par l'IA ne résidera pas seulement dans Logiciel, mais dans de multiples couches d'une nouvelle pile d'infrastructure d'IA émergente.

L'IA est une charge de travail fondamentalement différente

Le logiciel traditionnel, c'est du code, des processeurs et du stockage. Il est relativement léger, rapide à déployer et facile à remplacer. Les systèmes d'IA sont d'une toute autre nature : données, accélérateurs, puissance, mise en réseau et orchestration fonctionnent de concert. Une analogie utile : Former un modèle d'IA, c'est comme construire une usine. Faire fonctionner l'inférence, c'est comme faire fonctionner une usine à grande échelle, 24 heures sur 24, sous pression.

Ce passage d'une charge de travail logicielle à une charge de travail industrielle a d'énormes répercussions sur la création de valeur dans le domaine de l'IA et sur les entreprises qui s'en emparent. Dans toutes les vagues informatiques précédentes, du client-serveur à l'internet et à l'informatique en nuage, la couche d'infrastructure a fini par être l'endroit où une valeur persistante s'est accumulée. Ce n'est pas toujours la couche la plus voyante. Ce n'est pas toujours le plus facile à démontrer. Mais celui dont tout le reste dépendait.

L'IA suit le même schéma, mais sa couche d'infrastructure est construite plus rapidement et avec une plus grande intensité de capital que tout ce qui a précédé.

Pourquoi les infrastructures gagnent avec le temps

Il existe trois dynamiques qui favorisent systématiquement les acteurs de l'infrastructure par rapport aux acteurs de la couche applicative.

Les courbes de coûts l'emportent sur les cycles de caractéristiques : Les entreprises qui parviennent à réduire sans relâche le coût par unité de production tendent à s'imposer au fil du temps, quel que soit le produit le plus impressionnant au moment du lancement.

La fiabilité l'emporte sur la nouveauté : lorsqu'une charge de travail devient critique, un temps de fonctionnement constant et une latence prévisible importent plus que de nouvelles capacités.

Et les défauts l'emportent sur la différenciation: Une fois qu'une technologie devient la première à être utilisée par les développeurs, les coûts de changement s'accumulent discrètement et se transforment en un véritable fossé.

L'infrastructure est le lieu de la persistance.

Le moment de l'échelle révèle tout

Tout le monde a l'air bien avant de commencer à escalader. Vous pouvez créer une application d'IA raisonnablement fonctionnelle avec une infrastructure standard, et elle fonctionnera très bien - jusqu'à ce qu'elle ne fonctionne plus. Le moment de l'échelle est celui où les factures de GPU augmentent, où la latence commence à affecter les taux de conversion, où une panne affecte les revenus. C'est à ce moment-là que les décisions architecturales que vous avez prises il y a six mois se confirment ou s'effondrent.

C'est également la raison pour laquelle les meilleures entreprises d'infrastructure sont si difficiles à apprécier rapidement. Leur valeur est invisible dans une démo. Un coût d'inférence plus faible, une utilisation et un temps de fonctionnement plus élevés, une latence prévisible en cas de charge - rien de tout cela ne suscite des applaudissements lors d'une réunion de présentation. Mais ils apparaissent de façon spectaculaire sur le site P&L une fois que vous travaillez à grande échelle.

Baseten*, par exemple, fournit la transcription de la parole/reconnaissance AI Whisper plus de 10 fois plus vite que la référence OpenAI. Ce type de performance n'a rien d'excitant sur une diapositive. Mais cela ressemble à de la survie lorsque vos coûts d'inférence engloutissent vos marges.

La pile que nous observons

La pile d'infrastructures d'IA s'étend sur cinq couches interconnectées :

• Calcul - les GPU, les accélérateurs et le silicium personnalisé qui font le gros du travail.
• Données et stockage - comment les données sont déplacées et structurées pour la formation et l'inférence.
• Réseaux et systèmes - la latence et la bande passante qui déterminent l'efficacité de la communication.
• Orchestration - déploiement, programmation, contrôle des coûts et sécurité.
• Enfin, les modèles eux-mêmes, où se trouve la valeur algorithmique.

Chaque couche compte des leaders émergents. La question intéressante, celle à laquelle nous consacrons le plus de temps, est de savoir lequel de ces dirigeants se révélera véritablement irremplaçable. Notre cadre est simple : Cette entreprise élimine-t-elle un véritable goulot d'étranglement, réduit-elle de manière significative le coût par unité d'intelligence ou devient-elle si profondément ancrée qu'il ne vaut pas la peine d'envisager de l'éliminer ? Les enveloppes minces et les logiciels intermédiaires indifférenciés laisseront échapper de la valeur vers les couches supérieures et inférieures. Les entreprises qui s'ancrent à une contrainte réelle dans la pile l'accumuleront.

La prochaine frontière : au-delà des contraintes terrestres

Les contraintes ne sont plus purement informatiques. La disponibilité de l'énergie, la capacité de refroidissement, la latence du réseau et la souveraineté des données deviennent de véritables goulets d'étranglement à mesure que l'infrastructure de l'IA évolue. Nous commençons à voir les limites de ce que les centres de données traditionnels peuvent fournir, et de nouveaux paradigmes d'infrastructure, dans la façon dont nous construisons, refroidissons, connectons et localisons l'informatique, apparaissent pour remodeler ces courbes de coût et de résilience.

Notre thèse

Nous pensons que la prochaine décennie de l'IA sera moins marquée par l'application qui l'emportera que par les couches d'infrastructure qui deviendront indispensables. Les entreprises qui méritent d'être soutenues sont celles qui construisent des systèmes qui ont plus d'importance à l'échelle qu'ils n'en ont dans une démonstration - des systèmes où les décisions architecturales précoces se traduisent par des fossés techniques durables, des relations plus longues avec les clients et le type de résultats en loi de puissance que les entreprises d'infrastructure ont toujours produit lorsqu'elles ont su choisir le bon moment.

Le développement industriel est en cours. Nous investissons dans la pile qui lui permet de fonctionner.