OpenAI abonelik havuzlama ve bölgesel çıkarım kapasite sınırlarını atlama
Özgün başlık: Pooling OpenAI subscriptions and bypassing regional inference capacity limits
Şimdiye kadar çoğu insan bir bilgi işlem krizinin maliyetiyle karşı karşıya olduğumuzun farkında olmalı. CPU ve belleğin maliyeti tavan yapıyor. Yeterli değil. Bu arada dünyada kesinlikle yeterli GPU yok.
Son zamanlarda ChatGPT kullanıyorsanız, OpenAI'nin yeterli çıkarım kapasitesine sahip olmadığı alanda dolaşan meme'i görmüş olabilirsiniz. Tibo bile hesaplama sorunları yaşadıklarını açıkça itiraf ediyor.
Son birkaç hafta içinde, kapasite sorunlarının çıkarımı nedeniyle bebek bakıcılığı yapan acentelere çok fazla zaman kaybettim ve bu beni merak etmeye yöneltti: kapasite kısıtlamalarının çıkarımı bölgeye dayalı olsaydı ne olurdu? Geçen yıl, bu krizden önce, Antropik modellerde bile Avustralya'da çıkarımlar gözle görülür derecede daha hızlıydı çünkü Amerika'daki herkes uyuyordu.
by now, most people should be aware that we're in a cost of compute crisis. The cost of CPU and memory is through the roof. There just isn't enough. Meanwhile, there definitely aren't enough GPUs in the world.
If you've been using ChatGPT lately, you might have seen the meme circulating in the space that OpenAI just doesn't have enough inferencing capacity. Heck, even Tibo admits publicly that they're having compute issues.
In the last couple of weeks, I have lost so much time babysitting agents because of inferencing capacity issues, and it's got me wondering: what if inferencing capacity constraints were region-based? Last year, before this crunch, even with Anthropic models, inferencing was noticeably faster in Australia because everyone else in America was sleeping.
A estas alturas, la mayoría de la gente debería ser consciente de que estamos atravesando una crisis de costes informáticos. El costo de la CPU y la memoria está por las nubes. Simplemente no hay suficiente. Mientras tanto, definitivamente no hay suficientes GPU en el mundo.
Si ha estado usando ChatGPT últimamente, es posible que haya visto el meme circulando en el espacio de que OpenAI simplemente no tiene suficiente capacidad de inferencia. Diablos, incluso Tibo admite públicamente que tienen problemas informáticos.
En las últimas semanas, he perdido mucho tiempo cuidando agentes debido a problemas de capacidad de inferencia, y me hace preguntarme: ¿y si las limitaciones de capacidad de inferencia estuvieran basadas en la región? El año pasado, antes de esta crisis, incluso con los modelos antrópicos, la inferencia era notablemente más rápida en Australia porque todos los demás en Estados Unidos estaban durmiendo.
к настоящему моменту большинство людей должно осознавать, что мы переживаем кризис стоимости вычислений. Стоимость процессора и памяти зашкаливает. Этого просто недостаточно. Между тем, в мире определенно не хватает графических процессоров.
Если вы в последнее время использовали ChatGPT, возможно, вы видели циркулирующий в пространстве мем о том, что OpenAI просто не имеет достаточной мощности для вывода. Черт возьми, даже Тибо публично признает, что у них проблемы с компьютером.
За последние пару недель я потерял так много времени, присматривая за агентами из-за проблем с пропускной способностью, и это заставило меня задуматься: что, если бы выводы об ограничениях мощности были основаны на регионах? В прошлом году, до этого кризиса, даже с антропными моделями вывод в Австралии происходил заметно быстрее, потому что все остальные в Америке спали.