Yapay zekanın gizli depolama faturası: Çıkarım işleminin geride bıraktıkları
Özgün başlık: AI s hidden storage bill: What inference leaves behind
Çoğu yöneticiden yapay zekanın maliyetinin resmini çizmelerini isteyin; büyük olasılıkla GPU'ları, gigawatt'larca güce sahip hızlandırıcı raflarını ve silikon için bir bekleme listesini göreceklerdir. Ancak bu resim bir şeyi dışarıda bırakıyor: Veri depolama maliyetleri.
Bir model yanıt verdikten sonra verilere ne olur? Milyarlarca günlük istem, resim ve videodan oluşturulan arka uç verilerinin çoğunun,
Ask most executives to picture the cost of AI and they’ll likely see GPUs—racks of accelerators with gigawatts of power—and a waitlist for silicon. But that picture leaves something out: Data storage costs.
What happens to data after a model responds? Much of the back-end data that’s generated—from billions of daily prompts, images, and videos—needs
Si se pide a la mayoría de los ejecutivos que se imaginen el coste de la IA, probablemente verán GPU (bastidores de aceleradores con gigavatios de potencia) y una lista de espera para el silicio. Pero ese panorama deja algo fuera: los costos de almacenamiento de datos.
¿Qué sucede con los datos después de que responde un modelo? Gran parte de los datos back-end que se generan (a partir de miles de millones de mensajes, imágenes y vídeos diarios) necesitan
Попросите большинство руководителей представить себе стоимость искусственного интеллекта, и они, скорее всего, увидят графические процессоры — стойки ускорителей с гигаваттной мощностью — и список ожидания для кремния. Но эта картина упускает кое-что: затраты на хранение данных.
Что происходит с данными после ответа модели? Большая часть генерируемых серверных данных — из миллиардов ежедневных подсказок, изображений и видео — требует