Machine Intelligence Research Institute (MIRI; ранее — Singularity Institute и Singularity Institute for Artificial Intelligence) — некоммерческая организация, основной целью которой является создание безопасного искусственного интеллекта, а также изучение потенциальных опасностей и возможностей, которые могут появиться при создании ИИ. Организация поддерживает идеи, первоначально выдвинутые Ирвингом Гудом и Вернором Винджем, касательно «интеллектуального взрыва» или сингулярности, и идеи Элиезера Юдковского о создании дружественного ИИ. Юдковский исследует в Институте сингулярности в США проблемы глобального риска, которые может создать будущий сверхчеловеческий ИИ, если его не запрограммировать на дружественность к человеку[3].
Первым проектом SIAI (Singularity Institute for Artificial Intelligence) стал «аннотационный язык программирования» (annotative programming language) Flare[4], разработка которого началась в июле 2001 года. Язык разрабатывался для создания с помощью него зерна ИИ. Менее чем через год проект был закрыт.
В 2002 году на сайте SIAI публикуется препринт главы «Уровни организации общего интеллекта»[5] из книги «Реальный ИИ: Новые подходы к искусственному общему интеллекту» (под редакцией Бен Герцель и Cassio Pennachin). Позже, в этом же году, SIAI опубликовал две основные главы введения — «Что есть сингулярность»[6] и «Почему следует работать над приближением сингулярности»[7].
В 2003 году представитель организации Майкл Anissimov выступил с докладом на международной конференции Transvision 2003, проходившей в Йельском университете.
В 2004 году SIAI был создан сайт AsimovLaws.com[8], созданный для обсуждения этики ИИ в контексте проблем, затронутых в фильме «Я, Робот», выпущенном лишь два дня спустя. В начале следующего года главный офис Института переезжает из Атланты в Кремниевую долину.
В феврале 2006 года Институт формирует фонд в размере 200 тыс. долл.[9]. Основная часть фонда (100 тыс. долл.) была получена от соучредителя Paypal Питера Тиля. В мае 2006 года на Стэнфордском саммите сингулярности принято решение о расширении штата сотрудников Института.
В 2007 году аналогичный саммит прошёл во Дворце Театра Искусств, Сан-Франциско. Третий саммит сингулярности состоялся 5 октября 2008 года в Сан-Хосе.
Институт финансирует проект Open Cognition Framework (OpenCog), целью которого является предоставление «исследователям и разработчикам программного обеспечения общей платформы для построения программ с элементами искусственного интеллекта».
В 2013 году организация сменила название на Machine Intelligence Research Institute[11].
Исследования
Прогнозы
Machine Intelligence Research Institute изучает стратегические вопросы, связанные с ИИ, например: что мы можем (и не можем) предсказать о будущей технологии ИИ? Как мы можем улучшить наши способности к прогнозированию? Какие вмешательства, доступные сегодня, кажутся наиболее полезными, учитывая то, что мы мало знаем?[12]
Начиная с 2014 года MIRI финансирует работу по прогнозированию через независимый проект AI Impacts. AI Impacts изучает исторические примеры прерывистых технологических изменений и разработал новые меры относительной вычислительной мощности человека и компьютерного оборудования.[13][14]
Интерес исследователей MIRI к прерывистому искусственному интеллекту связан с аргументом И. Дж. Гуда о том, что достаточно продвинутые системы ИИ в конечном итоге превзойдут людей в задачах разработки программного обеспечения, что приведет к созданию цикла обратной связи все более способных систем ИИ:
Пусть ультраинтеллектуальная машина определяется как машина, которая может намного превосходить все интеллектуальные действия любого человека, насколько это возможно. Поскольку конструкция машин является одной из этих интеллектуальных задач, ультраинтеллектуальная машина могла бы разрабатывать ещё лучшие машины; Тогда бесспорно был бы «Интеллектуальный взрыв» (ориг: «intelligence explosion»), и разум человека остался бы далеко позади. Таким образом, первая ультраинтеллектуальная машина является последним изобретением, которое человек должен когда-либо делать, при условии, что машина достаточно послушна, чтобы рассказать нам, как держать её под контролем.[15]
Писатели, такие как Бостром, используют термин суперинтеллекция вместо ультраинтеллектуала Гуда. Следуя Вернору Винджу, идея Гуда о взрыве интеллекта стала связана с идеей «технологической сингулярности». Бостром и исследователи из MIRI выразили скептицизм по поводу взглядов сторонников сингулярности, таких как Рэй Курцвейл, что суперинтеллекция «находится за углом». Исследователи MIRI выступают за раннюю работу по обеспечению безопасности в качестве меры предосторожности, утверждая, что прошлые предсказания прогресса ИИ не были надежными.[16]
Степень надежности и толерантность к ошибкам в ИИ
Документ о приоритетах исследований Института Будущего Жизни (FLI) гласит:
Математические инструменты, такие как формальная логика, вероятность и теория принятия решений, дали значительное представление об основах рассуждений и принятия решений. Однако в основе рассуждений и решений по-прежнему остается множество открытых проблем. Решения этих проблем могут сделать поведение очень способных систем намного более надежными и предсказуемыми. Примеры исследований в этой области включают рассуждения и решения в рамках ограниченных вычислительных ресурсов à la Horvitz and Russell, как учитывать корреляции между поведением AI-систем и поведением их окружения,
агентов, как агенты, встроенные в их среду, или других детерминированных вычислений. Эти темы могут выиграть от совместного рассмотрения, поскольку они кажутся глубоко связанными
Стандартные процедуры принятия решения недостаточно точно определены (например, в отношении контрфактов), для того, чтобы быть оформленными как алгоритмы. Исследователь Machine Intelligence Research Institute Бенья Палленштейн и тогдашний исследователь Нейт Соареш пишут, что теория причинно-следственных решений «неустойчива при отражении» в том смысле, что рациональный агент, следующий за теорией причинно-следственных решений, «правильно идентифицирует, что агент должен изменить себя, чтобы прекратить использовать теорию причинно-следственных решений для принятия решений». Исследователи идентифицируют «логические теории принятия решений» как альтернативы, которые лучше выполняют общие задачи принятия решений.
Если система ИИ выбирает действия, которые наилучшим образом позволяют ей выполнить задание, то избегать условий, которые препятствуют тому, чтобы система продолжала выполнять задачу, является естественным подцелем (и, наоборот, поиск безусловных ситуаций иногда является полезной эвристикой). Однако это может стать проблематичным, если мы хотим перераспределить систему, деактивировать её или существенно изменить процесс принятия решений; Такая система будет рационально избегать этих изменений. Системы, которые не проявляют такого поведения, называются исправительными системами, и теоретическая и практическая работа в этой области представляется приемлемой и полезной.
