Développer rapidement la capacité de stockage en ligne pour répondre aux besoins de plus d'un milliard d'utilisateurs de ChatGPT

Le secteur de l’IA vient d’être le théâtre d’un développement notable.

Développer rapidement la capacité de stockage en ligne pour répondre aux besoins de plus d’un milliard d’utilisateurs de ChatGPT

Comment nous avons adapté notre plateforme de stockage d’applications, Habitat, développée en Python, pour faire face à une croissance sans précédent. Par Jon Lee, Chaomin Yu et Ben Ries, membres de l’équipe technique

Par ailleurs, chaque produit OpenAI repose sur un accès rapide et fiable aux éléments, que ce soit pour se connecter, vérifier ses paramètres Codex ou entamer une nouvelle conversation dans ChatGPT. Chacune de ces actions peut nécessiter de nombreuses requêtes distinctes avant que le produit ne puisse répondre. Si ces requêtes sont lentes, le produit donne l’impression d’être lent. Si ces requêtes échouent, le produit cesse complètement de fonctionner.

Construire et exploiter une infrastructure de cette envergure n’est pas une mince affaire, mais ce n’est pas non plus un défi particulièrement difficile à relever.

Parallèlement, habitat est la plateforme de stockage en ligne que nous avons développée pour permettre aux produits OpenAI d’accéder rapidement et de manière fiable aux informations nécessaires. Habitat traite désormais plus de 70 millions de requêtes par seconde et prend en charge des produits utilisés par plus d’un milliard de personnes chaque semaine, dans près de 40 régions géographiques. Habitat a été lancé pour la première fois lors du DevDay 2023 afin de prendre en charge les GPT. À l’origine, il s’agissait d’une simple bibliothèque Python côté client connectée à une seule base de informations. Aujourd’hui, il s’agit d’un système distribué complexe qui gère plus de 500 pétaoctets de données.

Précisons, habitat est la plateforme de stockage en ligne que nous avons développée afin que les produits OpenAI puissent accéder rapidement et de manière fiable aux informations nécessaires.

À ce sujet, construire et exploiter une infrastructure de cette envergure n’est pas une mince affaire, mais ce n’est pas non plus un défi particulièrement difficile à relever. Ce qui a rendu notre situation unique, c’est le rythme sans précédent auquel nous avons dû évoluer pour faire face à une croissance vertigineuse du nombre d’utilisateurs et de la demande pour nos produits, tout en développant parallèlement une plateforme aboutie. Souvent, les ingénieurs mécanisme conçoivent leurs systèmes en prévoyant une multiplication par 10, en espérant que ceux-ci tiennent le coup pendant quelques années, le temps de se préparer à la prochaine multiplication par 10. Dans notre cas, nous avons connu une essor supérieure à 10 fois d’une année sur l’autre au cours des trois dernières années. En conséquence, la mise en place et l’exploitation d’Habitat ont consisté en une succession de décisions tactiques et d’étapes séquentielles : comprendre chaque composant dans les moindres détails afin de tirer le maximum de notre infrastructure existante, tout en faisant face aux goulots d’étranglement en matière de stockage et de capacité de calcul pour gagner du temps en vue d’investissements fondamentaux.

Au fur et à mesure qu’OpenAI se développait, Habitat a dû évoluer en parallèle : d’abord en devenant suffisamment fiable pour prendre en charge le trafic lié aux produits essentiels à la mission, puis suffisamment rapide pour répondre aux besoins des usagers du monde entier, et enfin, pour fonctionner avec agilité à très grande échelle. Cet article est le premier d’une série en deux parties consacrée à la manière dont nous avons fait évoluer notre solution de stockage en ligne. Dans cet article, nous vous expliquerons comment Habitat a évolué, pourquoi nous l’avons transformé d’une bibliothèque en un service, et comment nous avons fait évoluer ce service, écrit dans un langage peu courant pour les piles de serveurs — Python —, pour en faire une couche de plateforme de stockage fiable.

Dans un prochain article, nous expliquerons en détail comment nous avons assuré la fiabilité de la multi-location à grande échelle, notre stratégie par couches pour optimiser les performances en lecture, et comment nous avons développé notre partenariat avec Azure Cosmos DB afin de répondre de manière fiable à une demande sans précédent.

Sur ce point, habitat est né d’une idée simple : les ingénieurs produit ne devraient pas avoir à se soucier de la gestion des bases de éléments. Habitat a d’abord été lancé lors du DevDay 2023 pour prendre en charge les GPT, sous la forme d’une petite bibliothèque Python qui interagissait avec le serveur principal de ChatGPT. Il prenait en charge un ensemble restreint d’opérations qui, en arrière-plan, étaient mappées à l’application de base de données Azure Cosmos DB.

Ce qu’il faut noter :

Cet article est le premier d’une série en deux parties consacrée à la manière dont nous avons fait évoluer notre solution de stockage en ligne.
Il prenait en charge un ensemble restreint d’opérations qui, en arrière-plan, étaient mappées à l’application de base de données Azure Cosmos DB.

Une chose est sûre : le secteur continue d’avancer à grande vitesse.

Dans le même ordre d’idées :

Selon l’information initialement publiée par OpenAI : OpenAI