Панов Александр Дмитриевич, доктор физ.-мат. наук, НИИЯФ МГУ, ведущий научный сотрудник
Введение: no-go теорема Роджера Пенроуза об искусственном интеллекте
Настоящая статья, хотя и отсылает, главным образом, к проблемам, относящимся к основаниям квантовой теории, имеет вполне прикладное значение с точки зрения понимания перспектив развития искусственного интеллекта (ИИ). Именно эта прикладная задача и была основным мотивом написания данной работы.
В последнее десятилетие широкое распространение получила идея технологической сингулярности. В 2005 г. вышла книга Рэя Курцвейла «The singularity is near: when humans trascend biology» [1], исчерпывающим образом характеризующая это понятие с точки зрения его создателей. С начала 2000-х годов функционирует некоммерческая виртуальная организация под названием Singularity Institute (см. http://singularity.org/), влияние которой постоянно растет. В феврале 2012 года в Москве прошла международная конференция Global Future 2045, которая вызвала широкий резонанс в обществе, и на которой понятие технологической сингулярности было в центре внимания.
Суть идеи технологической сингулярности состоит в следующем. На основании имеющего место роста производительности вычислительных систем и объемов компьютерной памяти делается прогноз, в соответствии с которым мощность компьютеров в обозримом будущем должна превзойти мощность человеческого мозга, и даже совокупную мыслительную мощность всего человечества (оценка Рэя Курцвейла указывает на 2045 год). Если удастся создать ИИ, по мощности превосходящий человеческий, то дальнейшая эволюция становится труднопредсказуемой, так как ИИ может начать развивать и воспроизводить сам себя быстрее, чем это может быть понято людьми. Момент времени, когда это может произойти, и называется технологической сингулярностью. В наиболее пессимистических прогнозах [2] это может сделать людей «ненужными для будущего» и поставить человечество на грань исчезновения. Дальнейшая «прогрессивная» эволюция может стать чисто машинной. В более оптимистических сценариях речь идет о человеко-машинном симбиозе, однако детали такого объединения также вызывают некоторую тревогу, так как машинная сторона такого симбиоза может оказаться полностью неподконтрольной людям.
В подобных прогнозах имеется одно некритически воспринимаемое допущение. Предполагается, что неукротимый рост компьютерных мощностей в какой-то момент автоматически приведет к тому, что компьютеры своим интеллектом не просто превзойдут людей (что на самом деле давно уже имеет место по целому ряду параметров), но превзойдут во всех отношениях. Однако справедливость этого допущения вовсе не является очевидно верной.
Закон сохранения энергии (первое начало термодинамики) запрещает создание вечного двигателя первого рода. Второе начало термодинамики запрещает создание вечного двигателя второго рода. Сколь бы изощренными ни были наши технологии, устройства этого типа созданы быть не могут, так как упомянутые законы имеют характер фундаментальных запретов. Очень похоже, что роль, аналогичную первому и второму началам термодинамики в отношении вечных двигателей, относительно возможностей ИИ играет теорема, доказанная Роджером Пенроузом.
Содержание теоремы Пенроуза сводится к утверждению, что какой бы мощностью ни обладало устройство, имеющее архитектуру конечного автомата (компьютера в современном понимании), человеческое мышление имеет некоторые возможности, недоступные этому устройству. Следовательно, при обсуждении возможности для ИИ превзойти человека во всех отношениях, вопрос о мощности компьютеров вообще не имеет отношение к делу до тех пор, пока мы говорим о компьютерах в современном понимании. Ни один компьютер не может превзойти мышление человека во всех отношениях независимо от его мощности, так как теорема говорит о том, что в некотором отношении, человеческое мышление обязательно будет сильнее. Мы не будем пытаться дать точную формулировку теоремы Пенроуза и, тем более, ее точное доказательство. Вместо это объясним смысл и происхождение теоремы, благодаря чему сама теорема, как нам представляется, для непредвзятого ума должна стать почти полной очевидностью. С техническими деталями доказательства можно ознакомиться по книгам Роджера Пенроуза [3] и [4].
Начать нужно с первой теоремы Гѐделя о неполноте (см. например [5,стр. 188]), на которую часто ссылаются просто как на теорему Гѐделя. Смысл теоремы состоит в следующем. Пусть имеется любая непротиворечивая аксиоматическая система, содержащая в себе формальную арифметику. Тогда в этой системе существует осмысленное утверждение, которое нельзя ни доказать, ни опровергнуть средствами этой системы. Более того, доказательство теоремы имеет конструктивный характер в том смысле, что это утверждение строится в явном виде, и по построению оно является истинным (на метаматематическом уровне, см. [5]). Таким образом, для любой достаточно мощной аксиоматической системы можно явно указать утверждение, про которое мы точно знаем, что оно истинно, но доказать его в рамках этой системы невозможно. Для доказательства теоремы используются две фундаментальные идеи: так называемая Гѐделевская нумерация и диагональный метод Кантора. Сама теорема Гѐделя в высшей степени нетривиальна, содержит в себе множество тонкостей (некоторые детали обсуждаются в нашей статье [6]), но к настоящему времени чрезвычайно подробно исследована и не вызывает никаких сомнений. Так что она является вполне надежным исходным пунктом для рассуждений.
Структура любого конечного автомата (компьютера) может быть описана конечным образом просто в силу конечности этого устройства. Это описание аналогично конечному набору аксиом некоторой формальной системы. Предполагается также, что автомат реализует обоснованные процедуры, т. е. такие процедуры, которые дают правильные ответы. Это означает, что если автомат вычисляет, например, A + B, и получает C, значит так оно и есть, этот ответ правильный. Это свойство автомата аналогично непротиворечивости системы аксиом, упомянутой в теореме Гѐделя. Требуется также, чтобы автомат был настолько гибким, чтобы в нем можно было реализовать алгоритм, предназначенный для анализа других алгоритмов той же машины на предмет, останавливаются они, или нет (впадают в бесконечный цикл). Это требование аналогично требованию достаточной силы аксиоматической системы в теореме Гѐделя. С точки зрения последующего сопоставления возможностей машины и человека в этом требовании нет ничего противоестественного. Действительно, человек может ставить перед собой такие проблемы и отвечать на них. Если машина этого не может, то она заведомо слабее человека и просто не представляет интереса для анализа.
Как и следует ожидать, в полной аналогии с теоремой Гѐделя, для такой системы можно явно построить некоторое истинное утверждение, истинность которого не может быть доказана (точнее говоря, вычислена) данным конечным автоматом. В этом заключается смысл теоремы Гѐделя-Тьюринга для конечных автоматов. Как и теорема Гѐделя, теорема Гѐделя-Тьюринга доказывается с использованием метода, очень похожего на Гѐделевскую нумерацию, и с использованием диагонального метода Кантора. То есть, имеет место почти аналогия с теоремой Гѐделя, и существование самой теоремы Гѐделя- Тьюринга о конечных автоматах не вызывает никакого удивления.
Однако из одной только этой теоремы прямых выводов о сопоставлении возможностей ИИ и интеллекта человека сделать невозможно, здесь необходим еще один шаг. Этот шаг достаточно нетривиален, и нередко понимается очень плохо (см. обсуждение в конце этого раздела). И Роджер Пенроуз этот шаг делает. Подчеркнем еще раз, что этот последний шаг был сформулирован именно Роджером Пенроузом, он не тождествен теореме Гѐделя-Тьюринга; это нечто существенно большее, при всей кажущейся простоте этого последнего шага.
Рассуждение Пенроуза представляет собой доказательство от противного. Предположим, что создан суперкомпьютер, который реализует, как минимум, все методы математических рассуждений, которыми владеет некоторый человек (назовем его «математик»), который понимает теорему Гѐделя-Тьюринга. Такой суперкомпьютер, в смысле математических способностей, не слабее этого математика. Однако, в силу теоремы Гѐделя-Тьюринга, для данного суперкомпьютера, как и для любого конечного автомата, математик явно может построить математическое утверждение, про которое ему будет точно известно, что оно истинно (по построению), хотя для данного суперкомпьютера его истинность недоступна. Мы получили противоречие: предположив, что суперкомпьютер владеет всеми методами математических рассуждений, которыми владеет данный математик, мы немедленно указали математическое рассуждение, которое доступно математику, но недоступно компьютеру, то есть мы доказали, что компьютер владеет не всеми методами математических рассуждений математика. Противоречие доказывает, что исходное предположение было неверным, следовательно такой суперкомпьютер невозможен, и некоторые математические способности человека (математика) остаются за пределами достижимости любого вычислительного устройства – конечного автомата.
Отсюда, кстати, следует, что мозг человека сам не является конечным автоматом, и аналогия «мозг – это компьютер», неверна. Действительно, это тоже доказывается рассуждением от противного. Предположим, что мозг – это конечный автомат. Тогда, по теореме Пенроуза, можно построить истинное утверждение, понятное мозгу, но не понятное для этого автомата (который и является мозгом). Тем самым, для мозга понятно то, что ему непонятно. Противоречие доказывает, что мозг не является конечным автоматом.
А дальше логика Роджера Пенроуза такова. Математические способности людей представляют только частный случай, отличающийся от других способностей человеческого разума тем, что здесь анализ соотношения способностей мозга и компьютера удается абсолютно строго довести до конца. Поскольку в отношении математических способностей точно доказано превосходство человека над машиной, то, по аналогии, человек, может обладать и другими способностями, недоступными конечному автомату. Просто анализ в других случаях довести до конца труднее. Действительно, многое указывает на существование таких способностей, и Роджер Пенроуз приводит множество примеров, причем не он первый это делает. Качественный анализ этого типа проводился и задолго до книг Пенроуза, например в книге Х. Дрейфуса [7] (конец шестидесятых годов XX века).
Таким образом, человек – не компьютер не только в смысле его математических способностей, но и во многих других отношениях. Говоря по-простому, самое главное, что недоступно компьютеру, это чисто человеческая универсальная способность понимания, которая, действительно, упорно не поддается формализации. По всей видимости, она и не может быть формализована на основе архитектуры конечного автомата. Мощность вычислительных устройств здесь совершенно ни при чем, причины гораздо глубже.
Надо отметить, что анализ книги Рэя Курцвейла о технологической сингулярности [1] не идет дальше теоремы Гѐделя-Тьюринга (см. раздел “The Criticism from the Church- Turing Thesis” в книге [1]). Теорема Пенроуза осталась непонятой (или незамеченной) идеологами технологической сингулярности, поэтому и аргументированной критики этой теоремы нет. Имя Пенроуза даже не упоминается в контексте теоремы Гѐделя-Тьюринга в книге [1]. Здесь многое говорит о непонимании проблемы. Например, можно встретить такое рассуждение: Компьютер – конечный автомат, поэтому для него существуют Гѐделевские утверждения. Это несомненно. Но и мозг – тоже конечный автомат (это считается очевидным), поэтому и для него существуют Гѐделевские утверждения. В этом смысле, компьютеры ничуть не хуже мозга. Вообще, должен отметить, что мне в литературе не приходилось встречать ясного понимания, что no-go теорема Пенроуза об искусственном интеллекте и терема Гѐделя-Тьюринга – не одно и то же.
…
Резюме
No-go теорема Роджера Пенроуза об искусственном интеллекте приводит к выводу о существовании невычислительной активности мозга, и в этом выводе не видно никаких слабых мест или изъянов. Он имеет характер точной математической теоремы. Анализ процессов классической физики с полной несомненностью показывает, что здесь ничего невычислимого нет, поэтому среди таких процессов источник невычислительной активности мозга искать бесполезно. Бесполезно искать его и вне мозга. Отсюда практически неизбежно следует вывод, что мозг реализует некоторую существенную часть своей деятельности, как минимум, на квантовом уровне, но, может быть, в дополнение к этому в каких-то еще более экзотических формах (например, на уровне квантовой гравитации).
В отношении квантовой физики (в обычном современном понимании) Пенроуз также делает вывод о ее вычислимости, но его аргументация, возможно, слишком прямолинейна. Пенроуз опирается на формальным образом понятую вычислимую природу понятий квантового состояния, квантовой эволюции и квантового измерения (в форме проекционного постулата), но такая аргументация не ухватывает некоторые важные особенности понятия вычислимости для достаточно сложных квантовых систем и некоторые другие тонкие моменты. В рамках аргументации Пенроуза, в частности, можно говорить о тождественности, с точностью до изоморфизма, между квантовой реальностью и вычислительными моделями квантовой реальности (хотя бы в отношении достаточно простых систем и достаточно точных моделей), но, по нашему мнению, такая тождественность не имеет места. Главных контраргумента против аргументации от формальной вычислимости всего два:
- Многие реальные квантовые системы (мозг в их числе) настолько сложны, что понятие вычислимости к ним неприложимо по космологическим соображениям – необходимые вычислительные ресурсы превышают то, что может нам обеспечить реальный космологический горизонт событий.
- Теорема о запрете клонирования квантового состояния приводит к представлению о неинформационной природе квантовых состояний, что противоречит ясной информационной природе симулированных копий тех же состояний. Это, вопервых, говорит об отсутствии тождества (с точностью до изоморфизма) между фрагментами квантовой реальности и даже совершенными вычислительными симуляциями таких фрагментов (что должно бы следовать из прямолинейно понятой вычислимости квантовой теории). Во-вторых, это противоречие позволяет сформулировать парадокс о «чуде клонирования» для симулированного квантового наблюдателя, который (парадокс), однако, полностью снимается, если учесть космологический горизонт вычислимости (аргумент 1).
Оба контраргумента оказываются определенным образом самосогласованы, а всѐ вместе говорит о том, что понятие вычислимости по отношению к квантовой реальности содержит ряд тонкостей, в которых еще предстоит разбираться. Поэтому и аргументы Рождера Пенроуза в пользу существования особой невычислимой «в сильном смысле» и еще не открытой физики в работе мозга не представляются бесспорными. Соответственно, вопрос о возможности полной симуляции работы мозга с использованием квантовых вычислительных устройств (в отличие от классических конечных автоматов) вовсе не закрыт, хотя здесь имеются тонкости (как, например, расщепление пространства на виртуальное и реальное для симулированного мозга, конец раздела 4.3). Однако, универсальные и произвольно масштабируемые квантовые компьютеры должны стать чем-то реальным. До этого еще очень далеко.
Список литературы
- Ray Kurzweil. The singularity is near: when humans trascend biology. Viking Penguin, USA, 2005.
- B. Joy. Why the future doesn’t need us. Wired, April:238-262, 2000.
- Р. Пенроуз. Новый ум короля. УРСС, Москва, 2003.
- Р. Пенроуз. Тени разума: В поисках науки о сознании. Институт компьютерных исследований, Москва-Ижевск, 2005.
- С. К. Клини. Введение в метаматематику. Изд-во иностранной литературы, Москва, 1957.
- А. Д. Панов. Природа математики, космология и структура реальности: объективность мира математических форм. In Космология, физика, культура, pages 191-219. ИФ РАН, Москва, 2011.
- Х. Дрейфус. Чего не могут вычислительные машины. Изд. 2-е. ЛИБРОКОМ (URSS), Москва, 2010.
Читать статью полностью:
Квантовая реальность, вычисления и искусственный интеллект