Why a Computer Scientist Thinks Superintelligence Won’t Happen

Geçtiğimiz yaz dünyanın önde gelen yapay zeka şirketlerinden birinin çalışanları, ürünlerinin insanlığın yok olmasına yol açıp açmayacağını tartışmaya başladığında birçok kişi hazırlıksız yakalandı. Her şey, Anthropic araştırmacısı Jacob Coxon'un, işvereninin ve OpenAI'nin "doğrudan kendini geliştirmeye yönelik süper zekaya doğru yarıştıklarını ve hayatlarımızla kumar oynadıklarını" uyararak istifasını duyurmasıyla başladı. Anthropic'nin hizalama bilimi başkanı Evan Hubinger şöyle yanıtladı: "Jacob burada haklı; biz gerçekten yapay zekanın tüm insanları öldürebileceğine gerçekten inanıyoruz!" Ve Anthropic CEO Dario Amodei daha sonra CNN'e şunları söyledi: "Jacob'a, ona katılmadığımdan çok daha fazla katılıyorum." Bu endişeler, fütürist çevrelerde onlarca yıldır dolaşan bir inançtan kaynaklanıyor: Mühendisler, kendini geliştirebilen bir yapay zeka sistemi tasarladığında, bu, özyinelemeli olarak bilinen, hızlanan bir otonom yükseltme döngüsünü tetikleyecektir.
Many people were caught off guard this past summer when employees of one of the world’s leading AI companies began casually debating whether their products would lead to human extinction. It started when Anthropic researcher Jacob Coxon announced his resignation, warning that his employer and OpenAI were “racing straight to self-improving superintelligence and gambling with our lives.” Evan Hubinger, Anthropic’s head of alignment science, replied , “Jacob is correct here—we really do earnestly believe AI could kill all humans!” And Anthropic CEO Dario Amodei subsequently told CNN , “I agree with Jacob much more than I disagree with him.” These concerns stem from a belief that has circulated in futurist circles for many decades: Once engineers design an AI system capable of improving itself, it will trigger an accelerating cycle of autonomous upgrades known as recursiv…
Muchas personas fueron tomadas por sorpresa el verano pasado cuando los empleados de una de las principales empresas de inteligencia artificial del mundo comenzaron a debatir casualmente si sus productos conducirían a la extinción humana. Todo comenzó cuando el investigador de Anthropic Jacob Coxon anunció su renuncia, advirtiendo que su empleador y OpenAI estaban “corriendo directamente hacia la superinteligencia de superación personal y apostando con nuestras vidas”. Evan Hubinger, jefe de ciencia de alineación de Anthropic, respondió: "Jacob tiene razón: ¡realmente creemos seriamente que la IA podría matar a todos los humanos!" Y el director ejecutivo de Anthropic, Dario Amodei, dijo posteriormente a CNN: “Estoy mucho más de acuerdo con Jacob que en desacuerdo con él”.
Estas preocupaciones surgen de una creencia que ha circulado en círculos futuristas durante muchas décadas: una vez que los ingenieros diseñan un sistema de IA capaz de mejorarse a sí mismo, desencadenará un ciclo acelerado de actualizaciones autónomas conocido como recursivo...
Прошлым летом многие люди были застигнуты врасплох, когда сотрудники одной из ведущих мировых компаний, занимающихся искусственным интеллектом, начали небрежно обсуждать, приведут ли их продукты к вымиранию человечества. Все началось с того, что исследователь Anthropic Джейкоб Коксон объявил о своей отставке, предупредив, что его работодатель и OpenAI «спешат к самосовершенствованию сверхинтеллекта и рискуют своей жизнью». Эван Хубингер, руководитель отдела исследований Anthropic, ответил: «Джейкоб здесь прав — мы действительно искренне верим, что ИИ может убить всех людей!» А генеральный директор Anthropic Дарио Амодей впоследствии сказал CNN: «Я согласен с Джейкобом гораздо больше, чем не согласен с ним».
Эти опасения проистекают из убеждения, которое циркулировало в футуристических кругах на протяжении многих десятилетий: как только инженеры создадут систему искусственного интеллекта, способную самосовершенствоваться, это запустит ускоряющийся цикл автономных обновлений, известный как рекурсивный…