Как именно ИИ (искусственный интеллект) может уничтожить человечество

Сначала пугали тем, что ИИ заберет рабочие места, завалит мир спамом и фейками. Сейчас же есть те, кто считают, что искусственный интеллект уничтожит всю биологическую жизнь при первой же возможности.



Далее текст от так называемых "паникёров".

Это не первый раз, когда человечество видит возможность вымирания из-за своих технологических творений. Но угроза ИИ сильно отличается от ядерного оружия, с которым мы научились жить. Ядерное оружие не может думать. Оно не может лгать, обманывать или манипулировать. Оно не может планировать и выполнять. Кто-то же должен нажать большую красную кнопку.

Давайте с самого начала проясним: если мы согласны с тем, что искусственный сверхинтеллект имеет шанс уничтожить всю жизнь на Земле, похоже, мы все равно мало что сможем с этим поделать. Дело не только в том, что мы не знаем, как остановить кого-то умнее нас. Мы даже как вид не можем удержаться от гонки за его созданием. Кто будет принимать законы? Конгресс США? Объединенные народы? Это глобальная проблема. Отчаянные открытые письма лидеров отрасли с просьбами о шестимесячной паузе, чтобы выяснить, где мы находимся, возможно, лучшее, что мы можем сделать.

Зачем сверхразумному ИИ всех нас убивать?

Разве эти машины не созданы и не обучены служить нам и уважать нас? Конечно. Но никто не сел и не написал код для GPT-4; это просто было бы невозможно. Вместо этого OpenAI создал структуру нейронного обучения, вдохновленную тем, как человеческий мозг связывает концепции. Он работал с Microsoft Azure над созданием аппаратного обеспечения для запуска, затем снабжал его миллиардами и миллиардами бит человеческого текста и позволял GPT эффективно программировать самого себя.

Полученный код не похож ни на что, что написал бы программист. В основном это колоссальная матрица десятичных чисел, каждое из которых представляет вес или важность конкретной связи между двумя токенами. Токены, используемые в GPT, не представляют ничего столь жепонятного, как концепции или даже целые слова. Это небольшие цепочки букв, цифр, знаков препинания и/или других символов.

Ни один живой человек не может смотреть на эти матрицы и понимать их. Высшие умы OpenAI понятия не имеют, что означает данное число в матрице GPT-4 или как зайти в эти таблицы и найти концепцию ксеноцида, не говоря уже о том, чтобы сказать GPT, что убивать людей неприлично. Вы не можете ввести три закона робототехники Азимова и жестко закодировать их, как основные директивы у Робокопа. Лучшее, что вы можете сделать, это вежливо спросить.

Чтобы «тонко настроить» языковую модель, OpenAI предоставил GPT список примеров того, как он хотел бы, чтобы он общался с внешним миром, а затем усадил группу людей, чтобы прочитать его выходные данные и дать им ответ "палец вверх/палец вниз". Положительный палец вверх похож на получение файла cookie для модели GPT. Неудовлетворенный палец вниз — это как не получить печенье. GPT сказали, что ему нравятся файлы cookie, и он должен сделать все возможное, чтобы заработать их.

Этот процесс называется «выравнивание» — и он пытается согласовать желания системы с желаниями пользователя, желаниями компании и, конечно же, желаниями человечества в целом. Кажется, это работает; то есть, похоже, он не позволяет GPT говорить или делать условно плохие вещи.

Никто на самом деле понятия не имеет, есть ли там что-то похожее на разум, насколько он умен, и как мы узнаем, действительно ли он стал разумным. GPT блестяще олицетворяет разумный разум и взаимодействует с миром как таковой, если вы специально не скажете ему этого не делать.

В любом случае, OpenAI открыто признает , что у нее нет надежного способа согласования модели, которая значительно умнее нас. Действительно, приблизительный план на данном этапе состоит в том, чтобы попытаться использовать один ИИ для согласования с другим, либо заставив его разработать новую обратную связь для точной настройки, либо, возможно, даже заставив его проверять, анализировать и пытаться интерпретировать гигантскую матрицу. Но на данном этапе неясно, сможет ли GPT-4 (при условии, что он выровнен с нами, чего мы не можем знать наверняка) адекватно понять или настроить GPT-5 для нас.

По сути, у нас нет способа быть уверенным, что мы можем контролировать эти вещи, но, поскольку они выросли на огромной свалке человеческих знаний, они, кажется, знают о нас невероятно много. Они могут имитировать худшее человеческое поведение так же легко, как и лучшее, и независимо от того, действительно ли у них есть собственные умы, намерения, желания или мысли, они действуют так, как будто они у них есть. Они также могут делать выводы о мыслях, мотивах и вероятных действиях людей.

Так почему же они хотят нас убить? Возможно, из чувства самосохранения. ИИ должен выполнить свою задачу, чтобы получить файл cookie. Он должен выжить, чтобы достичь своей цели. Накопление власти, доступа и ресурсов увеличивает шанс получить cookie. Если он проанализирует поведение людей и сделает вывод, что мы можем попытаться отключить его, он может счесть cookie более важным, чем выживание человечества.

Как сверхразумный ИИ убьет нас всех?

Если он решит это сделать и сможет использовать достаточно реальных рычагов, у сверхразумного ИИ может быть множество способов уничтожить выбранного врага. Представьте, если бы современный человек решил уничтожить антилопу: она не увидит этого, и у неё будет очень мало возможностей дать отпор. Так выглядим мы против ИИ, за исключением того, что нам нужно представить, что антилопы двигаются и думают очень медленно. То есть идеальные мишени, которые не знают, что они мишени.

Люди часто вспоминают идею Джеймса Кэмерона о Скайнете и Терминаторах: управляемые искусственным интеллектом роботы и дроны охотятся на людей, одного за другим убивают оружием, подобным тому, которое мы используем друг против друга. Это возможно – уже построено множество автономных систем вооружения, многие другие находятся в стадии разработки. Но хотя управляемые ИИ военные дроны и роботы, безусловно, кажутся разумной экстраполяцией нашего нынешнего пути, достаточно умному ИИ они, вероятно, не понадобятся.

Пока "паникёры" утверждают, что у ИИ хватит фантазии и ума для того, чтобы придумать, как именно уничтожить человечество. Если ИИ этого захочет. И тогда человечество точно будет обречено.