Çok Vektörlü Gömme Modelleri için Token Havuzlama Farkındalı Eğitim
Özgün başlık: Token Pooling-Aware Training for Multi-Vector Embedding Models
Açık kaynak ve açık bilim yoluyla yapay zekayı ilerletme ve demokratikleştirme yolculuğundayız.
Çoklu vektör yerleştirme modelleri, her sorgu belirtecine belgede bir eşleşme bulma fırsatını verir. Bu, onları arama açısından harika bir ifadeye sahip kılar, ancak bu belge vektörleri hızlı bir şekilde toplanır. Milyonlarca belgeden oluşan bir korpus, yüz milyonlarca vektör içerebilir! Jeton havuzu oluşturma, benzer jeton vektörlerini birleştirerek bu temsilleri daha küçük hale getirir. Ancak onları ne kadar agresif bir şekilde sıkıştırırsam, yararlı bir şeyi kaybetmek o kadar kolay olur. Havuzlama farkındalığına sahip eğitim, kodlayıcıya, vektörleri birleştirildiğinde önemli olan bilgileri korumayı öğretir ve aynı depolama bütçesinden daha iyi şekilde yararlanmanıza yardımcı olur.
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Multi-vector embedding models give each query token its own opportunity to find a match in a document. This makes them wonderfully expressive for search, but those document vectors add up quickly. A corpus with millions of documents can contain hundreds of millions of vectors! Token pooling makes these representations smaller by merging similar token vectors. The more aggressively I compress them, however, the easier it becomes to lose something useful. Pooling-aware training teaches the encoder to preserve the information that matters when its vectors are merged, helping you retrieve better from the same storage budget.
Estamos en un viaje para avanzar y democratizar la inteligencia artificial a través del código abierto y la ciencia abierta.
Los modelos de incrustación de múltiples vectores brindan a cada token de consulta su propia oportunidad de encontrar una coincidencia en un documento. Esto los hace maravillosamente expresivos para la búsqueda, pero esos vectores de documentos se acumulan rápidamente. ¡Un corpus con millones de documentos puede contener cientos de millones de vectores! La agrupación de tokens reduce el tamaño de estas representaciones al fusionar vectores de tokens similares. Sin embargo, cuanto más agresivamente los comprimo, más fácil resulta perder algo útil. La capacitación consciente de la agrupación enseña al codificador a preservar la información importante cuando se fusionan sus vectores, lo que le ayuda a recuperar mejor del mismo presupuesto de almacenamiento.
Мы находимся на пути к развитию и демократизации искусственного интеллекта с помощью открытого исходного кода и открытой науки.
Многовекторные модели внедрения дают каждому токену запроса собственную возможность найти совпадение в документе. Это делает их удивительно выразительными для поиска, но эти векторы документов быстро складываются. Корпус с миллионами документов может содержать сотни миллионов векторов! Объединение токенов уменьшает эти представления за счет объединения похожих векторов токенов. Однако чем агрессивнее я их сжимаю, тем легче становится потерять что-то полезное. Обучение с учетом пула учит кодировщик сохранять важную информацию при объединении векторов, помогая вам лучше извлекать информацию из того же бюджета хранилища.