Anthropic, Claude'un kavramlar üzerinde düşündüğü gizli bir alan buldu

Yeni bir teknik, şirketin bir Yüksek Lisans'ın tuhaf işleyişini her zamankinden daha derinlemesine araştırmasına olanak tanıdı. Yapay zeka firması Anthropic, soruları yanıtlarken veya görevleri yerine getirirken büyük dil modellerinde gerçekte neler olup bittiğine dair şimdiye kadarki en net bakışı sağlayan bir teknik geliştirdi. Buldukları şeyler sıradandan sinir bozucuya kadar değişiyor. Şirketteki araştırmacılar, Jacobian merceği (veya J-lensi) adı verilen bir araç geliştirdiler ve bunu, Anthropic'nin amiral gemisi LLM'nin Şubat ayında piyasaya sürülen bir versiyonu olan Claude Opus 4.6'nın içinde J-uzay adını verdikleri gizli bir alanı ortaya çıkarmak için kullandılar. J alanı, modelin yakın gelecekte vereceği yanıtta büyük olasılıkla ortaya koyacağı kelime ve ifadelerle ilgili tek tek kelimeleri içerir. Claude bir kişi olsaydı (ki öyle değildi), bu gizli kelimelerin, daha konuşmadan önce aklında ne olduğunu ortaya çıkarabileceğini söyleyebilirsiniz. Anthropic Yüksek Lisans'ın gerçekte yaptığı şeyin, yaptığını söylediği şeyden çoğu zaman farklı olabileceğini buldu. Şirket, J alanında ortaya çıkan kelimeleri izlemenin kendisine modellerini anlama ve kontrol etme konusunda yeni bir yol sağladığını iddia ediyor. Şirket, sonuçlarını bu hafta web sitesinde yayınlanan bir makalede paylaştı.

Ayrıca, herkesin deneyebileceği uygulamalı bir demo oluşturmak için LLM'lerin içine kendi başınıza göz atmanıza olanak tanıyan açık kaynaklı bir platform olan Neuronpedia ile de işbirliği yaptı. Aynı zamanda LLM'leri anlamak ve kontrol etmek için araçlar geliştiren bir girişim olan Goodfire'ın baş bilim adamı ve kurucu ortağı Tom McGrath, "Bu çok iyi ve ilginç bir çalışma" diyor. Son birkaç yıldır Anthropic, mekanik yorumlanabilirlik olarak bilinen ve LLM'lerin nasıl çalıştıklarını görmek için iç işleyişini araştırmayı içeren bir araştırma alanında sınırları zorluyor. ( MIT Technology Review, mekanik yorumlanabilirliği bu yılın en çığır açan teknolojilerinden biri olarak seçti.) Yeni teknik, araştırmacıların daha önce görmediği yüksek lisans eğitimlerinde daha derin bir düzeyi ortaya çıkarmak için Anthropic ve diğerlerinin önceki çalışmalarına dayanıyor. Yüksek Lisans'ı bir kitap yığını olarak hayal edin. Her kitap, nöronlar olarak bilinen temel hesaplama birimlerinin bir katmanıdır; bir katmandaki her nöron, bilgiyi yukarıdaki katmanlardaki nöronlara iletir. Yığının en altındaki kitaplar, modele gelen metni işleyen giriş katmanlarıdır. Üstteki kitaplar modelin üreteceği metni hazırlayan çıktı katmanlarıdır.