Le secteur technologique continue de livrer des avancées remarquables.
Développer rapidement la capacité de stockage en ligne pour répondre aux besoins de plus d’un milliard d’utilisateurs finaux de ChatGPT (2e partie)
Comment nous avons optimisé Azure Cosmos DB au sein de notre plateforme de stockage d’applications, Habitat, pour faire face à une essor sans précédent.
Par Jon Lee, Hrachya Hakobyan et Chaomin Yu, membres du personnel technique
En complément, tous les produits OpenAI nécessitent un accès rapide et fiable aux données, assuré par notre plateforme de stockage, Habitat. Celle-ci doit répondre en quelques millisecondes à plus d’un milliard d’utilisateurs finaux répartis dans 40 régions géographiques. Notre infrastructure a dû relever un défi extraordinaire : prendre en charge une croissance explosive et de nouveaux cas d’utilisation tout en continuant à améliorer la fiabilité, les résultats et la rapidité de avancée des produits. Pour relever ce défi, il a fallu repenser la conception et le fonctionnement de notre plateforme de stockage en ligne. Nous avons constamment évalué les compromis, en suivant cette démarche : d’abord, devenir suffisamment fiables pour prendre en charge le trafic lié aux produits essentiels à la mission ; ensuite, devenir suffisamment rapides pour répondre aux besoins des utilisateurs finaux du monde entier ; et enfin, être capables de fonctionner avec agilité à grandement grande échelle.
Notons par ailleurs, cette série en deux parties explique comment nous avons fait évoluer Habitat, passant d’une simple bibliothèque cliente et d’une base de données à une plateforme de stockage distribuée à l’échelle mondiale gérant plus de 500 pétaoctets de données. La première partie s’est concentrée sur l’évolution d’Habitat, d’un client Python à un service. Elle a aussi abordé les techniques qui nous ont permis de pousser un service basé sur Python bien au-delà de ce que beaucoup considéreraient comme réalisable.
Dans cet article, deuxième partie, nous expliquons comment nous avons fait évoluer le composant de stockage sous-jacent : Azure Cosmos DB. Grâce à une étroite collaboration avec l’équipe Azure, nous avons mis au point une approche de multi-location viable basée sur des conteneurs cogérés, offrant d’excellentes performances en lecture à une échelle mondiale et massive.
Habitat est la plateforme de stockage en ligne que nous avons développée pour permettre aux produits OpenAI d’accéder rapidement et de manière fiable aux informations dont ils ont besoin.
À mesure que les entreprises se développent, les équipes chargées de l’infrastructure passent souvent de la gestion de systèmes à locataire unique à celle de systèmes multi-locataires. Le modèle à locataire unique, dans lequel chaque équipe en charge d’un produit gère son propre système, réduit l’ampleur des incidents et permet de définir clairement les responsabilités ainsi que l’isolation des charges de travail. À mesure que les équipes et les produits se développent, ce modèle devient toutefois coûteux à gérer. Le système à locataire unique confère à chaque équipe produit la responsabilité de la planification des capacités, ce qui entraîne souvent un surprovisionnement notable.
L’évolution de ce dossier sera à suivre avec attention.
Sur le même sujet :
Couverture originale : OpenAI : OpenAI