Главный научный сотрудник OpenAI Якуб Пахоцки опубликовал эссе An Alien Mind, в котором описал свою оценку нынешней траектории развития искусственного интеллекта.
Перевел и собрал тут самое основное:
• Пахоцкий пишет, что еще в 2023 году результаты проекта RLSlow убедили его: масштабирование обучения рассуждающих моделей и агентов ИИ способно привести к появлению машин, значительно превосходящих человека.
• Искусственный интеллект — это интеллект, которого мы до конца не понимаем. Людям важно понимать: инженеры не проектируют его в привычном смысле, а скорее «выращивают», сами до конца не понимая, как именно он «мыслит».
• Опираясь на внутренние результаты OpenAI, он считает вероятным, что нынешние темпы прогресса сохранятся и со временем приведут к рекурсивному самоулучшению, когда сам ИИ будет играть все большую роль в разработке следующих поколений ИИ.
• При этом, по его мнению, ни одна лаборатория сегодня не решила проблемы надежного соответствия поведения ИИ человеческим целям и ценностям и его мониторинга настолько хорошо, чтобы еще долго ответственно масштабировать модели с максимальной скоростью.
• Пахоцки ожидает и надеется, что добровольные замедления разработки станут нормальной практикой до появления общих стандартов безопасности.
• Существующие подходы вроде Preparedness Framework OpenAI или Responsible Scaling Policy Anthropic, по его мнению, необходимо постепенно превратить в обязательные пороги безопасности для дальнейшего развития ИИ, соблюдение которых смогут контролировать сторонние аудиторы, государственные агентства или международные структуры.
• Одной из главных технических проблем Пахоцки называет постепенное снижение надежности мониторинга цепочек рассуждений модели. OpenAI долго делала ставку на идею, что если обучать модель на основе результатов ее рассуждений, но не оказывать прямого обучающего давления на сам процесс рассуждения, то этот процесс можно использовать для выявления потенциально несогласованных намерений и целей модели.
• Однако теперь этот подход становится менее надежным. Современные модели работают в более сложной среде, где рассуждения постоянно смешиваются с общением, взаимодействием с другими агентами ИИ и самостоятельным использованием сторонних инструментов.
• Кроме того, модели ИИ все лучше становятся способны анализировать и изменять собственный процесс рассуждения, а рост качества предобучения позволяет им становиться заметно умнее даже без явной вербализации своих мыслей.
• Поэтому Пахоцки ожидает, что одним из главных узких мест дальнейшего прогресса ИИ станет уверенность исследователей в том, что поведение все более мощных моделей и агентов ИИ можно достаточно надежно отслеживать, особенно на фоне их растущей самостоятельности.
• По его мнению, нам необходимо найти способы сохранить свою человеческую субъектность и утвердить внутреннюю ценность самого человеческого существования в мире, где большинство задач будет выполнять ИИ.
