Посмотрел новый подкаст Дваркеша Пателя, где глава Anthropic Дарио Амодей подробно разобрал, почему развитие ИИ идет такими темпами, что это напоминает настоящий прорыв.
Или, как это недавно назвал Илон Маск, — сверхзвуковое цунами, которое к нам приближается.
Амадей объясняет успех простыми факторами: модели сначала «читают» огромные объемы данных из всего интернета, от книг и статей до форумов, а потом доучивают методом подкрепления данных.
Фактически, это как тренировка с обратной связью: ИИ пробует, ошибается и получает «награду» за правильные шаги.
В итоге, как говорит Амодей, сам прогресс в данный момент достаточно стабильный и предсказуемый, ведь по математике, теоретической химии и физике, программированию, а также сложным тестам специально для ИИ, за последние годы показатели успешного выполнения выросли с 15% до 65-70% в отдельных тестах.
Ключ к этому всему — мощные вычислительные центры, разнообразные данные без первичного «мусора», долгие сессии обучения, специальные алгоритмы и стабилизация, чтобы модель не «сходила с ума» при обработке больших объемов данных и контекста.
Амадей дает смелые прогнозы, где он считает, что через пару лет ИИ достигнет еще лучшего уровня по реальным задачам вроде написания кода, включающего полный цикл разработки и тестирования или упрощения мануальной работы, ранее выполняемой исключительно людьми.
Несмотря на то, что консервативный Enterprise-сектор внедряет ИИ медленнее из-за жестких юридических фильтров и требований безопасности, глобальный рынок вычислений продолжает масштабироваться.
Все это указывает на то, что фаза первичного «хайпа» сменилась этапом глубокой инфраструктурной интеграции, где спрос на мощности растет быстрее, чем их успевают вводить в эксплуатацию или интегрировать в рабочие процессы.
Ближайшие 1-2 года индустрию ждет фундаментальный инженерный прорыв в области непрерывного обучения (continuous learning).
Речь идет о способности моделей мгновенно дообучаться на собственных сгенерированных данных, что сопоставимо с перевариванием целых дней непрерывного человеческого опыта в реальном времени.
Это решит проблему забывчивости нейросетей и позволит ИИ глубоко адаптироваться под специфические задачи пользователя без долгого дообучения на большом объеме данных.
По сути, мы переходим от статических алгоритмов к динамическим интеллектуальным системам, способным к накоплению контекстуального опыта прямо на лету.
Амадей не был бы Амодеем, если бы не затронул тему безопасности. Он, пусть и осторожно, но явно говорит, что агенты уровня «виртуального исследователя» могут появиться раньше, чем общество для этого готово, и поэтому вопрос безопасности в стремительном развитии ИИ остается центральным.
