TutorMoments: Yapay zeka eğitmenleri ne zaman yardım edeceklerini ve ne zaman geri duracaklarını biliyor mu?

Makalelere Geri Dön Bir öğretmeni iyi yapan şey nedir? TutorMoments nasıl çalışır? Ön sonuçlar Sınırlamalar ve sonraki adımlar 📄 Teknik Rapor: https://tutormoments.allen.ai/static/paper/tutormoments-preview.pdf | 📊 Veriler: https://huggingface.co/datasets/allenai/tutormoments-preview | 💻 Kod: https://github.com/allenai/tutormoments Bugün, en son teknolojiye sahip LLM'lerin eğitimdeki en zor ödünleşimlerden birini dengeleyip dengeleyemeyeceğini ölçen bir çerçeve olan TutorMoments'ın bir ön izlemesini sunuyoruz: ne zaman devreye girip bir öğrenciye yardım etmeli ve ne zaman geri çekilip öğrencinin işin daha fazlasını yapmasına izin vermeli. TutorMoments, gerçek bire bir matematik özel ders oturumlarından yola çıkılarak oluşturulmuş tekrar tabanlı bir değerlendirmedir. Deneyimli matematik öğretmenleri, ABD'deki bir özel ders programından toplanan transkriptleri inceliyor ve öğretmenin, bir problemin başlatılmasını kolaylaştırmak ile öğrenciyi kendi başına daha fazla muhakeme yapmaya zorlamak arasında seçim yapmak zorunda kaldığı anları işaretliyor. TutorMoments daha sonra transkripti bu karar noktasına kadar alır, bir dil modeline verir ve modelin, LLM eğitmeninin ne yaptığını görmek için simüle edilmiş bir oturumda (öğrencinin başka bir dil modeli tarafından oynatıldığı) öğretmen rolünü üstlenmesini sağlar. Yalnızca "iyi öğretmenlik yapmaları" söylenen modellerin, çok fazla destek vererek ve nadiren öğrencileri daha derin düşünmeye iterek aşırı yardım etme eğiliminde olduklarını görüyoruz.

Öğretmenin isteminde takasın (ne zaman yardım edileceği ve ne zaman geri çekileceği) açıklanması performansı artırır, ancak bu, sürekli olarak o ana uyan insan eğitimiyle arasındaki boşluğu kapatmaz ve LLM'ler, bu çağrıyı ne kadar güvenilir bir şekilde yaptıkları konusunda hala büyük farklılıklar gösterir. Açık araştırmaya olan bağlılığımızın bir parçası olarak, kimliksiz ders transkriptlerinden oluşan bir veri kümesini, tekrar oynatma hattımızı çalıştırma kodunu ve bu transkriptlerde tekrarlanabilirlik açısından değerlendirdiğimiz önemli anların model öğretmen tekrarlarını yayınlıyoruz. TutorMoments'ın eğitimcilere, araştırmacılara ve yapay zeka eğitmenleri oluşturan ekiplere, bir modelin en önemli pedagojik kararları nasıl ele aldığını sormaları için daha keskin bir yol sunacağını ve alanın, onlar için işi yapmak yerine her öğrenciye uyum sağlayan eğitmenler oluşturmasına yardımcı olacağını umuyoruz. İyi bir öğretmen yapan şey nedir? İyi bir matematik öğretmeninden yardım isteyin; muhtemelen "Problemin ne sorduğu hakkında ne biliyorsunuz?" gibi bir soruyla karşılaşacaksınız. Bu yararsızlık değil; güçlü öğretimin bir parçası da öğrencilerin bildiklerini teşhis etmek ve onlara o anda doğru desteği sağlamaktır.