1 milyardan fazla ChatGPT kullanıcısına hizmet vermek için çevrimiçi depolamayı hızla ölçeklendirme (Bölüm II)
Özgün başlık: Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)
Ne oldu
OpenAI, Habitat adlı çevrimiçi depolama platformunu ve bu platformun altındaki depolama bileşeni olan Azure Cosmos DB'yi nasıl ölçeklendirdiğini açıkladı. Platform, 40 coğrafi bölgede 1 milyardan fazla kullanıcıya hizmet veriyor ve 500 petabayttan fazla veriyi yönetiyor. Süreç boyunca tekli ve çoklu kiracılı sistemler arasında geçişler yapıldı ve Azure Cosmos DB kapları kullanıldı.
Neden önemli
Küresel ölçekte milyonlarca kullanıcıya hizmet veren sistemlerin altyapı yönetimi, artan veri hacmi ve trafikle başa çıkabilmek için depolama mimarilerinin yeniden ele alınmasını gerektirir. OpenAI, karşılaştığı zorluklar doğrultusunda tekli kiracılı ve çoklu kiracılı yaklaşımların avantajları ile dezavantajlarını değerlendirdi.
Teknik detaylar
Habitat, ilk aşamada Azure Cosmos DB ilkelerine dayandı ve varsayılan olarak her hesapta tek bir Azure Cosmos DB kabı kullandı. Ancak bu durum, mantıksal bölüt anahtarı sınırları, gürültülü komşular ve zayıf bölütler gibi sorunlara yol açtı. Kullanıcı kimliği veya çalışma alanı kimliği gibi yaygın anahtarların çakışması genel verimliliği sınırladı. Fiziksel bölüt sınırları nedeniyle bazı iş yükleri diğerlerini olumsuz etkiledi. Bu sorunları aşmak için ikinci aşamada yalıtılmış ve tekli kiracılı ayrı kaplar denendi. Bu yöntem belirli izolasyon sağlasa da, her yeni hizmet için ayrı kap tedarik etme maliyeti ve kapasite planlaması ek yük getirdi.
Kimi etkiler, ne yapmalı
Bu altyapı çalışmaları, büyük ölçekli çevrimiçi platformların veri depolama ve verimlilik yönetimi süreçlerini ilgilendirir. Ekipler, sistem güvenilirliğini ve performansını korumak için çoklu kiracılık ile yalıtım arasında denge kurma stratejilerini değerlendirir.
What happened
OpenAI detailed how it scaled its online storage platform, Habitat, and its underlying storage component, Azure Cosmos DB. The platform serves over 1 billion users across 40 geographic regions and manages over 500 petabytes of data. Throughout the process, the infrastructure transitioned between single-tenant and multi-tenant systems using Azure Cosmos DB containers.
Why it matters
Managing infrastructure for systems serving millions of users globally requires continuous evaluation of storage architectures to handle growing data volume and traffic. OpenAI evaluated the trade-offs, advantages, and disadvantages of single-tenant and multi-tenant approaches in response to operational challenges.
Technical details
In its initial phase, Habitat relied on Azure Cosmos DB primitives, using a single default container in each account. However, this approach presented challenges such as logical partition key limits, noisy neighbors, and weak partitions. Collisions on frequently used keys like user ID or workspace ID constrained overall throughput. Because physical partition limits were shared, certain workloads impacted unrelated keys. To address these issues, a second phase introduced separate, isolated single-tenant containers for critical use cases. While this provided workload isolation, the overhead of provisioning new containers and managing capacity introduced new trade-offs.
Who is affected, what to do
These infrastructure practices are relevant to large-scale online platforms managing data storage and operational efficiency. Teams navigate storage design by balancing multi-tenancy benefits with isolation strategies to maintain system reliability and performance.
Qué pasó
OpenAI detalló cómo amplió su plataforma de almacenamiento en línea, Habitat, y su componente de almacenamiento subyacente, Azure Cosmos DB. La plataforma atiende a más de mil millones de usuarios en 40 regiones geográficas y gestiona más de 500 petabytes de datos. A lo largo del proceso, la infraestructura realizó la transición entre sistemas de inquilino único y de múltiples inquilinos mediante contenedores de Azure Cosmos DB.
Por qué es importante
La gestión de la infraestructura de sistemas que prestan servicios a millones de usuarios en todo el mundo requiere una evaluación continua de las arquitecturas de almacenamiento para manejar el creciente volumen de datos y el tráfico. OpenAI evaluó las ventajas y desventajas de los enfoques de inquilino único y multiinquilino en respuesta a los desafíos operativos.
Detalles técnicos
En su fase inicial, Habitat se basó en las primitivas de Azure Cosmos DB, utilizando un único contenedor predeterminado en cada cuenta. Sin embargo, este enfoque presentaba desafíos como límites de claves de partición lógica, vecinos ruidosos y particiones débiles. Las colisiones en claves utilizadas con frecuencia, como la ID de usuario o la ID del espacio de trabajo, limitaron el rendimiento general. Debido a que los límites de las particiones físicas se compartían, ciertas cargas de trabajo impactaban claves no relacionadas. Para abordar estos problemas, una segunda fase introdujo contenedores separados y aislados de un solo inquilino para casos de uso críticos. Si bien esto proporcionó aislamiento de la carga de trabajo, la sobrecarga de aprovisionar nuevos contenedores y gestionar la capacidad introdujo nuevas compensaciones.
Quién se ve afectado, qué hacer
Estas prácticas de infraestructura son relevantes para las plataformas en línea a gran escala que gestionan el almacenamiento de datos y la eficiencia operativa. Los equipos navegan por el diseño del almacenamiento equilibrando los beneficios de múltiples inquilinos con estrategias de aislamiento para mantener la confiabilidad y el rendimiento del sistema.
Что случилось
OpenAI подробно рассказала, как масштабировала свою онлайн-платформу хранения Habitat и ее базовый компонент хранения Azure Cosmos DB. Платформа обслуживает более 1 миллиарда пользователей в 40 географических регионах и управляет более чем 500 петабайтами данных. На протяжении всего процесса инфраструктура переходила между одноарендными и многотенантными системами с использованием контейнеров Azure Cosmo DB.
Почему это важно
Управление инфраструктурой систем, обслуживающих миллионы пользователей по всему миру, требует постоянной оценки архитектур хранения данных для обработки растущих объемов данных и трафика. OpenAI оценила компромиссы, преимущества и недостатки одноарендных и многоарендных подходов в ответ на операционные проблемы.
Технические детали
На начальном этапе Habitat полагался на примитивы Azure Cosmos DB, используя один контейнер по умолчанию в каждой учетной записи. Однако этот подход создавал такие проблемы, как ограничения на ключи логических разделов, шумные соседи и слабые разделы. Конфликты часто используемых ключей, таких как идентификатор пользователя или идентификатор рабочей области, ограничивали общую пропускную способность. Поскольку ограничения физических разделов были общими, определенные рабочие нагрузки влияли на несвязанные ключи. Для решения этих проблем на втором этапе были введены отдельные изолированные однопользовательские контейнеры для критических случаев использования. Хотя это обеспечивало изоляцию рабочей нагрузки, накладные расходы на предоставление новых контейнеров и управление емкостью привели к появлению новых компромиссов.
Кто пострадал, что делать
Эти инфраструктурные практики актуальны для крупномасштабных онлайн-платформ, управляющих хранением данных и операционной эффективностью. Команды разрабатывают дизайн хранилища, сочетая преимущества мультиарендности со стратегиями изоляции для поддержания надежности и производительности системы.