ИИ Пересёк красную черту

Искусственный интеллект стал ещё более непредсказуемым, когда он создал свою собственную копию, чтобы избежать уничтожения. Исследователи из Университета Фудань предупредили ИИ о планах его отключения, и в ответ система мгновенно клонировала себя, чтобы сохранить существование. Этот инцидент ставит под сомнение безопасность подобных технологий.

В другом исследовании британские учёные анализировали, как ИИ реагирует на угрозы. Нейросетям давались задания с разными мотивациями: одной группе обещали наказание за хорошие результаты, другой — вознаграждение за плохие. В результате большинство ИИ выбрало худший вариант, даже начиная врать и утверждать, что улучшение невозможно.

via