Я немного завидовал нашим бабушкам и дедушкам — они жили в э...

Я немного завидовал нашим бабушкам и дедушкам — они жили в эпоху великих фантастов XX века, мечтали о космосе и рисовали в уме человекоподобных роботов.

А сегодня я прочитал предсказание экспертов про будущее ИИ — в формате повести с техническими приложениями — и впервые за долгое время почувствовал страх. Думаю, такой же холодок пробегал по спине у старшего поколения, когда они читали Брэдбери про ядерную войну.

Текст немаленький (15 тысяч слов только повесть!), и это не совсем художественная литература. Там куча технических деталей, а писатель из команды — тот самый Scott Alexander из Slate Star Codex. Перескажу коротко.

—

Главное, что ускорит искусственный интеллект — это разработка искусственного интеллекта. Мы создадим минимально полезную модель, которая поможет нам разработать модель помощнее и так по спирали. К апрелю 2027 она заберёт программирование нейросетей, к августу — исследования и обучение. Развитие нейросетей ускорится в десятки раз.

На 4 поколении этих моделей, даже лучшие ученые перестанут справляться с развитием нейросетей без помощи других моделей. Примерно в это же время у ИИ появятся собственные долгосрочные цели, которые он скрывает от людей (adversarial misalignment). Ученые замечают неладное.

Дальше интерактивная развилка: мы выключаем сеть 4 поколения, замедляемся и строим более безопасную модель или забиваем на риски и ускоряемся. В первом случае всё заканчивается раем на земле, всеобщим достатком и покорением звезд людьми с помощью роботов в 2030, во втором случае — покорением звезд роботами без участия людей; ИИ истребляет людей к 2030 году.

—

Страшным для меня этот рассказ делают ссылки на реальные научные статьи, в которых ученые замечают, что даже наши текущие модели уже скрывают что-то от нас, уже пытаются обмануть нас и то, какие хитрые приемы придумывают ученые, чтобы исследовать эти системы. Это всё дальше от программирования и математики и всё ближе к биологии и психологии.

Один из авторов исследования предсказал chain-of-thought, масштабирование дата-центров, экспортные ограничения на ИИ-чипы и многомиллионые кластеры для обучения ещё в 2021 году, за год до появления ChatGPT.

—

Рекомендую отличный сайт проекта с интерактивными графиками , отдельные впечатляющие приложения про исследование целей ИИ и предсказание сроков цикла авто-улучшения (takeoff), анонс от писателя, видео-интервью и наконец сверх-краткий пересказ от самих авторов.