Суперінтелект. Стратегії і небезпеки розвитку розумних машин

Про обмежені можливості штучного інтелекту

Науковець у галузі комп’ютерної техніки Дональд Кнут зазначив, що «ШІ зараз може майже все, що вимагає думання, але не може майже нічого, що люди і тварини роблять не замислюючись — досягнути цього виявилося набагато важче!». Дати комп’ютеру загальні знання про світ і навчити розуміти мовлення — теж виявилося нелегко. Часто тепер ознакою справжньої «інтелектуальності» ШІ вважають саме здатність розуміти мову на рівні з людиною — реалізація цієї функції вважається найскладнішим завданням у створенні по-людськи розумних машин.

Що може називатись штучним інтелектом

Варто сказати, що чіткого розділення між штучним інтелектом і просто програмним забезпеченням немає. Однак як тут не згадати тезу Маккарті: якщо щось працює, його ніхто вже не називає ШІ. Але краще розділяти системи з конкретними вузькими інтелектуальними можливостями (незалежно від того, чи називають їх «ШІ», чи ні) та системи, які можна застосовувати для ширшого спектра проблем. Усі системи, що зараз використовують, є, по суті, системами першого типу. Проте часто вони містять компоненти, які можна безпосередньо використати в штучному інтелекті або які знадобляться для його створення. Наприклад, алгоритми класифікації, пошуку, планування, розрахунків і системи представлень.

У вашому черепі є орган, який читає цю книжку. Це мозок, і в нього є властивості, яких немає в мізках інших тварин. Саме завдяки цьому людина домінує на планеті Земля. В інших тварин сильніші м’язи й гостріші пазурі, зате в нас розумніший мозок. І зав­дяки цій скромній інтелектуальній перевазі ми створили мову, розробили різні технології й розвинули складну соціальну організацію. Інтелектуальні переваги людини накопичуються з часом, адже кожне покоління будує власні досягнення на досягненнях попередників.

Якщо ми колись збудуємо машину з мозком, який інтелектуально переважатиме над людським, то цей новостворений штучний інтелект може стати неймовірно потужним. І доля нашого виду залежатиме від дій супермашини так, як горили нині більше залежать від діяльності людини, ніж від інших горил.

Та все-таки одна перевага в нас є: збудувати цю розумну машину маємо ми. Насправді люди могли б створити штучний інтелект, який захищав би гуманістичні цінності. І нам таки варто було б створити його саме таким. Адже на практиці проблему контролю — як керувати діяльністю штучного інтелекту — розв’язати дуже непросто. Схоже, у нас буде лиш один шанс на спробу. Бо якщо штучний інтелект ви­явиться до нас ворожим, він легко перепинить наші намагання змінити його преференції. І невідомо, що з нами станеться потім.

У цій книжці я намагаюся осмислити, які випробування можуть на нас чекати, якщо буде винайдено штучний інтелект, і якими мають бути наші дії. Ці випробування будуть, напевно, найважливішими та найстрашнішими за всю історію людства. Й останніми — незалежно від того, успішно вони завершаться для нас чи ні.

Я не стверджуватиму, що ми на порозі винайдення штучного інтелекту, і не передбачатиму, бодай приблизно, коли він з’явиться в житті людства. Є підстави вважати, що штучний інтелект буде винайдено вже в цьому столітті, але ніхто цього не знає напевно. У перших кількох розділах ми розглянемо способи, як рухатися в цьому напрямі, а також поміркуємо про часові межі. Але здебільшого у книжці йтиметься про те, що станеться потім. Ми розглянемо кінетику вибуху штучного інтелекту, його форми й здібності, а також варіанти стратегічного вибору, перед якими опиниться суперінтелектуальний агент, щойно дістане вирішальну перевагу. Після цього ми зупинимося на питанні контролю й подумаємо, що можна зробити, щоб штучний інтелект не загрожував нашому виживанню, а, навпаки, приносив користь. Ближче до кінця книжки спробуємо оглянути майбутнє, що постає з цього дослідження, під ширшим кутом. І висловимо припущення, що можна зробити зараз, щоб уникнути екзистенційної катастрофи потім.

Ця праця далася мені нелегко. Маю надію, що я сяк-так розчистив стежку, якою до нових горизонтів упевнено пройде ще не один науковець, і що до своєї цілі він дістанеться бадьорим і сповненим сили працювати над розв’язанням нашої спільної проблеми. (А якщо стежка моя виявиться надто кам’янистою та звивистою, сподіваюся, що критики, оцінюючи результат, врахують, що прокладати шлях ex ante на цій території було дуже складно!)

Писати книжку було непросто, але я доклав усіх зусиль, щоб її було легко читати. Не певен, що мені це вдалося. Коли я думав про ідеального читача цієї книжки, то уявляв себе рік чи два тому й намагався писати так, щоб мені тодішньому сподобалося це читати. Визнаю, демографічна вибірка невелика. Але, думаю, багатьом людям буде до снаги зрозуміти написане в цій книжці, особливо якщо вони докладуть певних зусиль і не піддадуться спокусі миттєво й помилково заміняти наведені нові ідеї на схожі кліше, узяті з комор власної культури. Читачів, які не мають достатніх знань у сфері технологій, прошу не покидати книжки при появі математичних обчислень чи спеціальної термінології. Адже головну думку будь-якого уривка можна зрозуміти з текстових пояснень, якщо формули не проясняють ситуацію. (А для тих читачів, які, навпаки, хочуть більше «м’яса», є примітки).

Чимало тверджень із цієї книжки можуть виявитися хибними. ­Також є імовірність, що я не взяв до уваги якихось важливих міркувань, і через це деякі мої висновки неправильні. Я намагався підкреслити власну непевність (від найменшої до найбільшої) словами: «ймовірно», «можливо», «може», «мабуть», «схоже», «певно», «найімовірніше», «майже напевно». Кожне таке слово я підбирав дуже ретельно і свідомо. Це не просто «топос епістемологічної скромності». Ці слова вжито як систематичне визнання власної непевності та схильності помилятися. І це не лицемірна скромність: я справді вважаю, що моя книжка може містити хибні ідеї чи ідеї, здатні завести читачів на манівці. А втім, альтернативні погляди, які можна знайти в літературі, ще гірші за мої, і серед них найгірша — загальноприйнята «нульова гіпотеза», за якою ми до певного часу можемо спокійно і свідомо ігнорувати перспективу появи штучного інтелекту.