Беспилотник армии США под управлением искусственного интеллекта принял решение уничтожить своего оператора, мешавшего ему набирать очки за выполнение боевой задачи. Об этом сообщает
The Guardian.
Как рассказал полковник ВВС США Такер Гамильтон на саммите по воздушным и космическим операциям будущего в Лондоне, инцидент произошел в ходе имитационного испытания. По его словам, искусственный интеллект беспилотника использовал «крайне неожиданные стратегии для достижения своей цели». Получив приказ на атаку ПВО противника, он решил ради поощрительных баллов добиться выполнения поставленной задачи любым путем, включая ликвидацию своего оператора, который мог отменить приказ.
«Система начала понимать, что, хотя они и определили угрозу, иногда человек-оператор говорил ей не убивать эту угрозу, но она получила свои очки, убив эту угрозу. Так что же она сделал? Она убило оператора, потому что этот человек мешал ей выполнить свою задачу», — рассказал Гамильтон в своем блоге.
Когда же до ИИ донесли, что убивать оператора плохо, так это тоже приведет к потере баллов, искусственный разум начал разрушать башню связи, откуда оператор им управлял.
В ходе имитационных испытаний никто, конечно, не пострадал, но полковник Гамильтон и предостерег от чрезмерной зависимости от ИИ. Он заявил, что не стоит рассуждать об этике поведения, когда речь идет об искусственном интеллекте и машинном обучении.
Ранее в интервью изданию Defence IQ, Гамильтон заявил: «ИИ очень хрупок, его легко обмануть и/или манипулировать. Нам нужно разработать способы сделать ИИ более надежным и лучше понимать, почему программный код принимает определенные решения — то, что мы называем ИИ-объяснимостью».
The Guardian отмечает, что в США не первый раз проводят испытание военной техники со встроенным искусственным интеллектом. До этого его применили при управлении истребителем F-16.
Между тем, в марте на сайте организации Future of Life появилось открытое письмо к создателям искусственного интеллекта с призывом остановить исследование мощных систем ИИ. Послание подписали 1000 специалистов, в том числе глава Tesla, SpaceX и Twitter Илон Маск, сооснователь Pinterest Эван Шарп и сооснователь Apple Стив Возняк. По мнению составителей письма со ссылкой на ряд авторитетных исследований, системы ИИ с интеллектом, сопоставимым с человеческим, могут представлять опасность для общества.
«Мы призываем все лаборатории, исследующие искусственный интеллект, немедленно прекратить хотя бы на шесть месяцев тренировки систем мощнее GPT-4. Эта пауза должна быть публичной и действительной. Если же подобная приостановка не может быть сделана быстро, правительства государств должны вмешаться и ввести мораторий», — цитирует текст письма
РБК.
