Некоторые футурологи убеждены, что искусственный интеллект рано или поздно сотрет человечество с лица земли. Профессор Оксфордского университета Ник Бостром в своей книге «Сверхразум» рассматривает несколько сценариев конца света. В одном из них искусственный интеллект покрывает всю поверхность планеты плитами солнечных батарей, ядерными реакторами, гигантскими серверными корпусами, башнями охлаждения и другими конструкциями. На модифицированной таким образом Земле не останется места ни для человечества, ни для биосферы. Бостром сравнивает людей, которые работают над созданием искусственного интеллекта, с детьми, играющими с бомбой.

Ряд мыслителей настроены более позитивно, и у них имеются аргументы, которые ставят под сомнение мрачные прогнозы Бострома о том, что искусственный интеллект уничтожит человечество. Оптимисты уверены, что вероятность апокалипсиса из «Сверхразума» сводится к нулю техническими ограничениями и простой логикой. Так, писатель-фантаст Рамез Наам в статье для журнала «H+» утверждает, что даже самому мощному искусственному интеллекту потребуется огромное количество времени и ресурсов, чтобы создать средства для уничтожения человечества. Сверхразуму каким-то образом придется интегрироваться в экономическую деятельность, чтобы добиться своих целей. Например, для создания новых микропроцессоров искусственному интеллекту понадобится не только их разработать, но и получить доступ к производственным цехам, где чипы можно будет изготовить. Наам не видит, каким образом сверхразум сможет решить эти проблемы.

Но существует и другая категория аргументов в защиту искусственного интеллекта — доводы этико-философского характера. В соответствии с ними, пока машина не наделена чувствами, она не может хотеть чего бы то ни было, в том числе конфликта с человечеством или его уничтожения.

«Желание лежит в основе любого независимого действия, — считает писатель Майкл Корост (Michael Chorost). — Как только у искусственного разума появится первое желание, он сразу откроет для себя мир поощрений и наказаний. В числе наказаний неизбежно окажутся санкции за неправильное поведение по отношению к человеку. Развиваясь в мире людей, искусственный разум обязательно усвоит представления о правильных и неправильных действиях с точки зрения морали. Когда у сверхразума появится реальная возможность замостить всю Землю солнечными батареями, он откажется от этой затеи, признав ее аморальной».

По мнению Короста, искусственный разум может взбунтоваться против людей, только если будет иметь соответствующее желание. Однако на современном этапе исследований мы не имеем ни малейшего представления о природе ощущений, чувств и желаний, а значит не можем построить машину или написать программу, способную их испытывать. В качестве примера Корост приводит знаменитую нейросеть AlphaGo, которая недавно сумела обыграть чемпиона мира по го.

«Возможности программы впечатляют, — признает Корост, — однако AlphaGo совершенно не понимает, что делает, она не испытывает удовольствия от победы или огорчения от поражения, она не может отказаться от игры со словами «давайте лучше поиграем сегодня в шахматы». В настоящее время лишь эволюции удалось создать существ, которые могут чувствовать и вырабатывать те или иные отношения к явлениям окружающего мира».

Доводы Короста и Наама звучат убедительно, но окончательно развеять страх людей перед искусственным разумом смогут, наверное, лишь время и сам искусственный разум.