Rapidly scaling online storage to serve over 1B ChatGPT users
Her OpenAI ürünü, birisinin oturum açmasına, Codex ayarlarını kontrol etmesine veya ChatGPT'de yeni bir konuşma başlatmasına bağlı olarak verilere hızlı, güvenilir erişime bağlıdır. Bu eylemlerin her biri, ürünün yanıt verebilmesi için birçok ayrı veri araması gerektirebilir. Bu istekler yavaşsa ürün yavaşlar. Bu istekler başarısız olursa ürün tamamen çalışmayı durdurur. Habitat, OpenAI ürünlerin ihtiyaç duyulan bilgilere hızlı ve güvenilir bir şekilde erişebilmesi için oluşturduğumuz çevrimiçi depolama platformudur. Habitat artık her saniye 70 milyondan fazla talebi karşılıyor ve neredeyse 40 coğrafi bölgede her hafta 1 milyardan fazla kişinin kullandığı ürünleri destekliyor. Habitat, GPT'leri desteklemek için ilk kez DevDay 2023'te piyasaya sürüldü ve tek bir veritabanına bağlı basit bir Python istemci tarafı kitaplığı olarak başladı. Bugün, 500 petabayttan fazla veriye hizmet eden karmaşık bir dağıtılmış sistemdir. Şekil 01 · Habitat Nedir? Çevrimiçi depolama platformu Habitat, OpenAI ürünlerin ihtiyaç duyulan bilgilere hızlı ve güvenilir bir şekilde erişebilmesi için oluşturduğumuz çevrimiçi depolama platformudur. Yanıt Değişikliklerini Talep Edin (CDC) Bu ölçekte altyapı oluşturmak ve işletmek kolay bir iş değildir, ancak aynı zamanda özellikle zorlayıcı da değildir. Durumumuzu benzersiz kılan şey, bir yandan olgun bir platform oluştururken, bir yandan da şaşırtıcı kullanıcı büyümesini ve ürün talebini desteklemek için ölçeklendirmek zorunda kaldığımız benzeri görülmemiş orandır. Çoğu zaman sistem mühendisleri 10x ölçeği için geliştirme yapar ve bir sonraki 10x'e hazırlanırken bunun birkaç yıl dayanmasını umarlar.
Bizim durumumuzda son üç yılda yıldan yıla 10 kattan fazla büyüdük. Sonuç olarak, Habitat'ı inşa etmek ve işletmek bir dizi taktiksel karar ve sıralamadan ibaret oldu: mevcut yığından olabildiğince fazla meyve suyu elde etmek için her bir bileşeni en düşük seviyede anlamak, bir yandan da temel yatırımlar için zaman kazanmak amacıyla depolama ve bilgi işlem kapasitesi sıkıntılarını savuşturmak. Saniyede 70 milyondan fazla talep Her hafta 1 milyardan fazla kişi 500 PB+ veri OpenAI büyüdükçe, Habitat da onunla birlikte büyümek zorunda kaldı: önce görev açısından kritik ürün trafiği için yeterince güvenilir hale gelerek, ardından küresel kullanıcılar için yeterince hızlı ve son olarak da büyük ölçekte ustaca çalışarak. Bu gönderi, çevrimiçi depolamayı nasıl ölçeklendirdiğimizi anlatan iki bölümlük serinin ilkidir.