SLM'lerin Kelime Dağarcığını Özelleştirmek Gerçek Uygulamalarda Çıkarım Maliyetini Nasıl %77 Azaltabilir
Özgün başlık: How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
Ne oldu
Qwen ve Gemma gibi genel amaçlı açık kaynaklı modellerin belirli alanlar veya görevler için ince ayardan geçirilmesi, bu modellerin genel kullanım için tasarlanmış mevcut kelime dağarcıklarını korumasına yol açar. Portekizce kompozisyonları değerlendiren otomatik bir derecelendirme sistemi üzerinde yapılan çalışmalar, bu durumun hem girdi hem de çıktı süreçlerinde verimsizlik yarattığını gösterdi. Qwen3-4B tabanlı bu üretim sisteminde, modelin çıktılarının tokenizer tarafından gereğinden fazla parçaya bölündüğü ve modelin neredeyse hiç kullanılmayan girdiler dahil olmak üzere geniş bir kelime dağarcığını taradığı tespit edildi.
Araştırmacılar, temel modeli, eğitim verilerini ve eğitim reçetesini değiştirmeden kelime dağarcığını yeniden yapılandırmak için VocabX adlı bir yöntem geliştirdiler. Yapılan ölçümlerde, bu yaklaşımın çıkarım maliyetini yüzde 77 oranında azalttığı gözlemlendi. Bu sonuçlar henüz inceleme aşamasındaki bir makaleye dayanmaktadır.
Neden önemli
Dil modelleri metinleri token adı verilen birimler aracılığıyla işler ve tokenizer bu sürecin nasıl gerçekleşeceğini belirler. Tek bir alanda uzmanlaşmış modellerde, genel amaçlı tokenizer'lar iki tür israfa neden olur: parçalanma ve fazlalık. Parçalanma, modelin sık tekrar eden yapıları birden fazla token'a bölmesiyle ortaya çıkar ve bu da her istekte maliyeti artırır. Fazlalık ise kelime dağarcığında alanın hiç kullanmadığı on binlerce girdinin yer alması ve modelin üretilen her token için bunların olasılığını hesaplamasıyla ilgilidir.
Çıkarım sürecinde girdi ve çıktı maliyetleri eşit değildir. Üretim aşamasında (decode) her bir token'ın maliyeti, okuma aşamasına (prefill) kıyasla çok daha yüksektir çünkü bellek bant genişliği sınırlarıyla karşılaşılır. Ayrıca modelin son katmanı olan LM head, her üretilen token için tüm matrisi okuyup çarpar; bu da kullanılmayan girdilerin maliyet yaratmaya devam etmesi anlamına gelir.
Teknik detaylar
Mevcut literatürdeki yöntemler (hızlı kelime dağarcığı transferi, çok kelimeli tokenizasyon ve in-place BPE genişlemesi) genellikle maliyete değil frekansa odaklanır ve tek bir katmanda çalışır. VocabX ise maliyet kriterini temel alarak hem alt kelime (sub-word) hem de çok kelimeli katmanlarda eş zamanlı iyileştirme yapar. Alt kelime katmanında alan kelimelerinin bölünme biçimi yeniden yapılandırılırken, çok kelimeli katmanda tekrar eden yapıların her biri tek bir token haline getirilir. Örnek olarak, incelenen derecelendirme sisteminde çıktı katmanının satır sayısı yaklaşık 152.000'den 65.000 civarına düşürülmüştür.
Kimi etkiler, ne yapmalı
Bu yaklaşım, özellikle küçük ölçekli dilleri ve belirli görevleri yerine getiren modelleri üretim ortamında çalıştıran geliştiricileri ve kurumları ilgilendirmektedir. Modellerin kelime dağarcığını sabit bir özellik olarak kabul etmek yerine, görevin niteliğine ve maliyet dinamiklerine göre optimize etmek, çıkarım maliyetlerini düşürmek için önemli bir kaldıraç sunmaktadır.
What happened
Fine-tuning general-purpose open-source models like Qwen and Gemma for specific domains or tasks typically results in them inheriting a vocabulary built for broad applications. Work on an automated essay grading system running in production revealed inefficiencies in this approach. Built on Qwen3-4B, this production system for grading Portuguese essays suffered from text being split into excessive tokens by the tokenizer, while the model scored a vast vocabulary containing entries almost never used by the task.
Researchers developed a method called VocabX to rebuild the vocabulary while keeping the base model, data, and training recipe unchanged. Measurements showed that this approach reduced measured inference cost by 77 percent. These findings are part of a paper currently under review.
Why it matters
Language models process text through tokens, and tokenizers determine how text is converted into these units. For models restricted to a single domain, general-purpose tokenizers create two types of waste: fragmentation and excess. Fragmentation occurs when the tokenizer splits repeatedly used domain text into multiple pieces, increasing costs on every request. Excess arises because the vocabulary carries tens of thousands of entries the domain never uses, yet the model computes scores for all of them at every generated token.
Inference involves different cost dynamics between reading inputs and generating outputs. During the decode phase, generating a token is significantly more expensive than reading one due to memory bandwidth limits. Additionally, the model's final LM head reads and multiplies the entire matrix for every generated token, meaning unused entries continue to incur a performance penalty.
Technical details
Existing literature methods—such as fast vocabulary transfer, multi-word tokenization, and in-place BPE expansion—typically focus on frequency rather than cost and operate on a single layer. VocabX addresses these limitations by utilizing a cost criterion to operate on both sub-word and multi-word layers simultaneously. At the sub-word layer, it rebuilds how domain words are split, while at the multi-word layer, repetitive spans are turned into single tokens. For instance, in the evaluated grading system, the output layer was reduced from approximately 152,000 rows to about 65,000 rows.
Who is affected, what to do
This optimization approach is relevant for developers and organizations deploying smaller-scale models for specific tasks in production environments. Rather than treating tokenizers as fixed properties inherited from base models, adapting vocabularies based on task-specific cost dynamics can serve as a significant lever for reducing inference costs.
Qué pasó
El ajuste fino de modelos de código abierto de propósito general como Qwen y Gemma para dominios o tareas específicas generalmente da como resultado que hereden un vocabulario creado para aplicaciones amplias. El trabajo en un sistema automatizado de calificación de ensayos que se ejecuta en producción reveló ineficiencias en este enfoque. Construido sobre Qwen3-4B, este sistema de producción para calificar ensayos en portugués sufrió porque el tokenizador dividía el texto en tokens excesivos, mientras que el modelo calificaba un vocabulario vasto que contenía entradas que casi nunca se usaban en la tarea.
Los investigadores desarrollaron un método llamado VocabX para reconstruir el vocabulario manteniendo sin cambios el modelo base, los datos y la receta de entrenamiento. Las mediciones mostraron que este enfoque redujo el costo de inferencia medido en un 77 por ciento. Estos hallazgos son parte de un artículo que se encuentra actualmente en revisión.
Por qué es importante
Los modelos de lenguaje procesan el texto a través de tokens y los tokenizadores determinan cómo se convierte el texto en estas unidades. Para los modelos restringidos a un solo dominio, los tokenizadores de uso general crean dos tipos de desperdicio: fragmentación y exceso. La fragmentación ocurre cuando el tokenizador divide el texto del dominio usado repetidamente en múltiples partes, lo que aumenta los costos en cada solicitud. El exceso surge porque el vocabulario contiene decenas de miles de entradas que el dominio nunca usa, pero el modelo calcula puntuaciones para todas ellas en cada token generado.
La inferencia implica diferentes dinámicas de costos entre la lectura de entradas y la generación de salidas. Durante la fase de decodificación, generar un token es significativamente más costoso que leerlo debido a los límites del ancho de banda de la memoria. Además, el cabezal LM final del modelo lee y multiplica la matriz completa por cada token generado, lo que significa que las entradas no utilizadas siguen generando una penalización de rendimiento.
Detalles técnicos
Los métodos existentes en la literatura, como la transferencia rápida de vocabulario, la tokenización de varias palabras y la expansión de BPE in situ, normalmente se centran en la frecuencia más que en el costo y operan en una sola capa. VocabX aborda estas limitaciones utilizando un criterio de costo para operar simultáneamente en capas de subpalabras y de múltiples palabras. En la capa de subpalabras, reconstruye cómo se dividen las palabras de dominio, mientras que en la capa de varias palabras, los intervalos repetitivos se convierten en tokens únicos. Por ejemplo, en el sistema de clasificación evaluado, la capa de salida se redujo de aproximadamente 152 000 filas a aproximadamente 65 000 filas.
Quién se ve afectado, qué hacer
Este enfoque de optimización es relevante para desarrolladores y organizaciones que implementan modelos de menor escala para tareas específicas en entornos de producción. En lugar de tratar a los tokenizadores como propiedades fijas heredadas de los modelos base, adaptar vocabularios basados en la dinámica de costos de tareas específicas puede servir como una palanca importante para reducir los costos de inferencia.
Что случилось
Точная настройка моделей общего назначения с открытым исходным кодом, таких как Qwen и Gemma, для конкретных областей или задач обычно приводит к тому, что они наследуют словарь, созданный для широких приложений. Работа над автоматизированной системой оценки эссе, действующей в производстве, выявила неэффективность этого подхода. Эта производственная система для оценки португальских эссе, построенная на базе Qwen3-4B, страдала от того, что токенизатор разбивал текст на лишние токены, в то время как модель оценивала обширный словарный запас, содержащий статьи, почти никогда не используемые в задании.
Исследователи разработали метод под названием VocabX, позволяющий восстановить словарный запас, сохраняя при этом базовую модель, данные и рецепт обучения неизменными. Измерения показали, что этот подход снижает стоимость измеряемого вывода на 77 процентов. Эти выводы являются частью статьи, которая в настоящее время находится на рассмотрении.
Почему это важно
Языковые модели обрабатывают текст с помощью токенов, а токенизаторы определяют, как текст преобразуется в эти единицы. Для моделей, ограниченных одним доменом, токенизаторы общего назначения создают два типа потерь: фрагментацию и избыток. Фрагментация происходит, когда токенизатор разбивает неоднократно используемый текст домена на несколько частей, увеличивая затраты на каждый запрос. Избыток возникает потому, что словарь содержит десятки тысяч записей, которые домен никогда не использует, однако модель вычисляет оценки для всех из них для каждого сгенерированного токена.
Вывод предполагает различную динамику затрат между чтением входных данных и созданием выходных данных. На этапе декодирования создание токена значительно дороже, чем его чтение из-за ограничений пропускной способности памяти. Кроме того, последняя головка LM модели считывает и умножает всю матрицу для каждого сгенерированного токена, а это означает, что неиспользуемые записи продолжают влечь за собой снижение производительности.
Технические детали
Существующие литературные методы, такие как быстрая передача словаря, токенизация нескольких слов и расширение BPE на месте, обычно ориентированы на частоту, а не на стоимость, и работают на одном уровне. VocabX устраняет эти ограничения, используя критерий стоимости для одновременной работы как над слоями подслов, так и над слоями из нескольких слов. На уровне подслов он восстанавливает способ разделения доменных слов, а на уровне нескольких слов повторяющиеся диапазоны превращаются в отдельные токены. Например, в оцениваемой системе оценок выходной слой был сокращен примерно с 152 000 строк до примерно 65 000 строк.
Кто пострадал, что делать
Этот подход к оптимизации актуален для разработчиков и организаций, развертывающих модели меньшего масштаба для конкретных задач в производственных средах. Вместо того, чтобы рассматривать токенизаторы как фиксированные свойства, унаследованные от базовых моделей, адаптация словарей на основе динамики затрат для конкретных задач может служить важным рычагом для снижения затрат на логические выводы.