Dharma Field Extractor: İçeri Herhangi Bir Belge Girer, JSON Olarak Yapısal Alanlar Çıkar
Özgün başlık: Dharma Field Extractor: Any Document In, Structured Fields in JSON Out
Herhangi bir belge türünden tam olarak istediğiniz alanları çıkaran, maliyetin çok altında bir maliyetle test ettiğimiz tüm LLM'lerden daha iyi performans gösteren 2 milyar parametreli bir model. Nisan ayında, sözleşmeler ve mahkeme başvurularından faturalara, kimliklere ve formlara kadar çok çeşitli belgelerde OCR için uzmanlaşmış bir model olan DharmaOCR-LITE'ı piyasaya sürdük. Arkasındaki makale, alan uzmanlığı için dar ve iyi ölçülmüş bir durum ortaya koydu: görevine daha yakın eğitilmiş daha küçük bir model, bu görevde genel amaçlı sınır API'lerini geride bırakıyor.
OCR size bir sayfadaki metni orijinal biçimlendirmeye sadık kalarak verir. İş, uçtan uca okuyacağınız bir sözleşme veya dijitalleştirdiğiniz bir taslak gibi belgenin tamamı olduğunda tam olarak istediğiniz şey budur. Bununla birlikte, farklı bir kullanım durumu vardır: Sayfayı istemezsiniz, belirli alanların, alt akıştaki bir sistemin tüketebileceği bir biçimde olmasını istersiniz.
A 2-billion-parameter model that extracts exactly the fields you ask for, from any document type, outperforming every frontier LLM we tested, at a fraction of the cost. In April, we released DharmaOCR-LITE, a model specialized for OCR across a wide range of documents, from contracts and court filings to invoices, IDs and forms. The paper behind it made a narrow, well-measured case for domain specialization: a smaller model trained closer to its task beating general-purpose frontier APIs on that task.
OCR gives you the text on a page, faithful to the original formatting. That's exactly what you want when the job is the whole document, like a contract you'll read end to end or a manuscript you're digitizing. However, there's a different use case: you don't want the page, you want specific fields out of it, in a shape a system downstream can consume.
Un modelo de 2 mil millones de parámetros que extrae exactamente los campos que usted solicita, de cualquier tipo de documento, superando a todos los LLM de vanguardia que probamos, a una fracción del costo. En abril, lanzamos DharmaOCR-LITE, un modelo especializado en OCR en una amplia gama de documentos, desde contratos y presentaciones judiciales hasta facturas, identificaciones y formularios. El documento detrás de esto presentó un caso limitado y bien medido a favor de la especialización de dominio: un modelo más pequeño entrenado más cerca de su tarea superando a las API de frontera de propósito general en esa tarea.
OCR le brinda el texto de una página, fiel al formato original. Eso es exactamente lo que quieres cuando el trabajo es el documento completo, como un contrato que leerás de principio a fin o un manuscrito que estás digitalizando. Sin embargo, hay un caso de uso diferente: no quieres la página, quieres campos específicos fuera de ella, en una forma que un sistema posterior pueda consumir.
Модель с 2 миллиардами параметров, которая извлекает именно те поля, которые вы запрашиваете, из любого типа документа, превосходя все протестированные нами пограничные LLM и при этом за небольшую часть стоимости. В апреле мы выпустили DharmaOCR-LITE, модель, специализированную для оптического распознавания широкого спектра документов: от контрактов и судебных документов до счетов, удостоверений личности и форм. В статье, лежащей в основе этого проекта, представлены узкие и хорошо взвешенные аргументы в пользу специализации предметной области: меньшая модель, обученная ближе к своей задаче, превосходит передовые API общего назначения в решении этой задачи.
OCR дает вам текст на странице, соответствующий исходному форматированию. Это именно то, что вам нужно, когда работа представляет собой целый документ, например, контракт, который вы будете читать от начала до конца, или рукопись, которую вы оцифровываете. Однако есть и другой вариант использования: вам не нужна страница, вам нужны определенные поля из нее в форме, которую может использовать нижестоящая система.