İnce ayar işiniz neden FLOP'ların söylediğinden daha uzun sürüyor?

Özgün başlık: Why your fine-tuning job takes longer than the FLOPs say
272 üretim çalıştırmasından, paylaşılan GPU kümelerinde uçtan uca ince ayar süresinin tahmin edilmesi.
Üretken Dil Modelleri için Uçtan Uca İnce Ayar Süresinin Tahmin Edilmesi başlıklı yakında yayınlanacak makalemizin bir önizlemesi. Tam sürüm yakında arXiv'de olacak.
GPU'lar günümüzde yapay zekanın en pahalı ve en kıt kaynakları arasındadır. Paylaşılan bir kümeyi çalıştıran herkesin her gün hangi işlerin hangi GPU'larda ve hangi sırayla yürütüleceğine karar vermesi gerekir. Bu plan ancak her işin ne kadar süreceği tahmini kadar iyidir. Bir iş saatler erken tamamlandığında GPU'lar bir sonraki iş gönderilene kadar boşta kalır. Saatlerce geciktiğinde arkasında sıralanan her şey kayar, deneyler bekler ve teslimat tarihleri değişir.
Predicting end-to-end fine-tuning time on shared GPU clusters, from 272 production runs.
A preview of our upcoming paper, Predicting End-to-End Fine-Tuning Time for Generative Language Models . The full version will be on arXiv soon.
GPUs are among the most expensive and scarcest resources in AI today. Anyone running a shared cluster has to decide, every day, which jobs go on which GPUs and in what order. That plan is only as good as the estimate of how long each job will take. When a job finishes hours early, GPUs sit idle until the next one is dispatched. When it runs hours late, everything queued behind it slips, experiments wait and delivery dates move.
Predicción del tiempo de ajuste de un extremo a otro en clústeres de GPU compartidos, a partir de 272 ejecuciones de producción.
Una vista previa de nuestro próximo artículo, Predicción del tiempo de ajuste fino de un extremo a otro para modelos de lenguaje generativo. La versión completa estará pronto en arXiv.
Las GPU se encuentran entre los recursos más caros y escasos de la IA en la actualidad. Cualquiera que ejecute un clúster compartido tiene que decidir, todos los días, qué trabajos se realizan en qué GPU y en qué orden. Ese plan es tan bueno como la estimación de cuánto tiempo llevará cada trabajo. Cuando un trabajo finaliza horas antes, las GPU permanecen inactivas hasta que se envía el siguiente. Cuando se retrasa con horas, todo lo que está en cola se desliza, los experimentos esperan y las fechas de entrega cambian.
Прогнозирование времени сквозной тонкой настройки общих кластеров графических процессоров на основе 272 производственных запусков.
Предварительный просмотр нашей предстоящей статьи «Прогнозирование времени сквозной точной настройки для генеративных языковых моделей». Полная версия скоро появится на arXiv.
Сегодня графические процессоры являются одними из самых дорогих и дефицитных ресурсов в области искусственного интеллекта. Любой, кто управляет общим кластером, должен каждый день решать, какие задачи выполняются на каких графических процессорах и в каком порядке. Этот план хорош настолько, насколько хорош пример того, сколько времени займет каждая работа. Если задание завершается на несколько часов раньше, графические процессоры простаивают до тех пор, пока не будет отправлено следующее задание. Когда он опаздывает на несколько часов, все, что стоит за ним в очереди, сдвигается, эксперименты ждут, а сроки поставки сдвигаются.