Этика искусственного интеллекта

Этика искусственного интеллекта является частью этики технологий[англ.], характерной для роботов и других искусственно интеллектуальных существ. Она обычно подразделяется на робоэтику, которая решает вопросы морального поведения людей при проектировании, конструировании, использовании и лечении искусственно разумных существ и машинную этику[англ.], которая затрагивает проблемы морального поведения искусственных моральных агентов (ИМА).

Этика роботов

Термин «этика роботов» (или «робоэтика») относится к моральным вопросам того, как люди проектируют, конструируют, используют и обращаются с роботами и другими искусственно интеллектуальными существами[1]. Она занимается вопросами того, как искусственно разумные существа могут быть использованы во вред и в интересах людей.

Права роботов

«Права роботов» — это концепция, согласно которой люди должны иметь моральные обязательства перед своими машинами, аналогичные правам человека или животных[2]. Есть предложение, что права роботов, такие как право на существование и выполнение своей собственной миссии, можно связать с обязанностью робота служить человеку, по аналогии с увязкой прав человека с обязанностями человека перед обществом[3]. Они могут включать право на жизнь и свободу, свободу мысли и высказываний, а также равенство перед законом[4]. Этот вопрос был рассмотрен Институтом будущего[5] и Министерством торговли и промышленности Великобритании[6].

Эксперты не имеют общего мнения, потребуются ли конкретные и подробные законы уже в ближайшее время или только в отдалённом будущем[6]. Гленн МакГи сообщает, что к 2020 году могут появиться достаточно гуманоидные роботы[7]. Рэй Курцвейл считает, что это произойдет к 2029 году[8]. В 2007 году другая группа учёных предполагала, что пройдет, по крайней мере, 50 лет, прежде чем сможет существовать какая-либо достаточно продвинутая система[9].

Правила конкурса Лобнеровской премии 2003 года предусматривали возможность того, что роботы могут иметь собственные права.

В октябре 2017 года андроид София получила «почётное» гражданство в Саудовской Аравии, хотя некоторые наблюдатели сочли это скорее рекламным ходом, чем осмысленным юридическим признанием[10]. Некоторые рассматривали этот жест как открытое унижение прав человека и верховенства закона[11].

Философия сентитизма[англ.] предоставляет право на моральные соображения всем чувствующим существам, прежде всего людям и большинству животных. Если искусственные или инопланетные интеллектуальные существа демонстрируют доказательства своей чувственности, эта философия считает, что к ним следует проявить сострадание и предоставить права.

Джоанна Брайсон утверждала, что создание требующего прав ИИ можно избежать и само по себе неэтично, что это будет бременем и для агентов ИИ и для человеческого общества[12].

Угроза человеческому достоинству

Джозеф Вейзенбаум утверждал в 1976 году, что технология искусственного интеллекта не должна использоваться для замены людей на должностях, требующих уважения и заботы, таких как:

Вайзенбаум объясняет, что от людей на этих должностях мы требуем подлинного чувства эмпатии. Если машины их заменят, мы окажемся отчужденными, обесцененными и разочарованными. Искусственный интеллект, если его использовать таким образом, представляет угрозу для человеческого достоинства. Вайзенбаум утверждает, что факт того, что мы рассматриваем возможность машинам занимать эти позиции, говорит о том, что мы испытали «атрофию человеческого духа, возникающую из-за того, что мы думаем о себе как о компьютерах»[13].

Памела МакКордак возражает, говоря о женщинах и меньшинствах, «я бы предпочла рискнуть с беспристрастным компьютером», указывая на условия, в которых мы бы предпочли иметь автоматических судей и полицию, у которых вообще нет личных интересов[13]. Тем не менее, Каплан и Хенлейн подчеркивают, что системы искусственного интеллекта интеллектуальны ровно в соответствии с теми данными, которые использовались для их обучения, поскольку по своей сути они представляют собой не что иное, машины для приближения с помощью кривых: использование искусственного интеллекта для поддержки судебного решения может быть весьма проблематичным, если прошлые решения демонстрируют предвзятость к определённым группам, поскольку эти предубеждения формализуются и закрепляются, что делает выявление и борьбы с ними ещё более трудной[14]. Основатель ИИ Джон Маккарти возражает против морализирующего тона критики Вейзенбаума. Он пишет: «Когда морализаторство неистово и расплывчато, оно поощряет авторитарное насилие».

Билл Хиббард[15] отмечал, что «человеческое достоинство требует, чтобы мы стремились устранить наше незнание природы бытия, и для этого необходим ИИ».

Прозрачность, ответственность и открытый исходный код

Билл Хиббард[англ.] утверждает, что, поскольку ИИ сильно повлияет на человечество, усилия разработчиков ИИ этически должны быть прозрачными[16]. Бен Гертцель и Дэвид Харт создали OpenCog в качестве фреймворка с открытым исходным кодом для разработки ИИ[17]. OpenAI — это некоммерческая исследовательская компания по искусственному интеллекту, созданная Илоном Маском, Сэмом Альтманом и другими для разработки полезного для человечества программного обеспечения ИИ с открытым исходным кодом[18]. Существует множество других разработок ИИ с открытым исходным кодом.

Открытие кода не делает его понятным, то есть ИИ, который им закодирован, не является прозрачным. IEEE пытается заниматься стандартизацией прозрачности ИИ[19]. Усилия IEEE выделяют для разных пользователей несколько степеней прозрачности. Кроме того, есть опасение, что предоставление полного потенциала современного ИИ некоторым организациям может быть плохо для общественности, то есть причинить больше вреда, чем пользы. Например, Microsoft выразила обеспокоенность по поводу предоставления всегобщего доступа к своему программному обеспечению для распознавания лиц, даже для тех, кто может за него заплатить. Microsoft опубликовала необычный блог на эту тему с просьбой о правительственном регулировании с целью помощи в определении правильных действий[20].

Не только компании, но и многие другие исследователи и гражданские адвокаты рекомендуют государственное регулирование для обеспечения прозрачности и, как следствие, ответственности человека. Обновленная коллекция (список) этики ИИ поддерживается организацией AlgorithmWatch. Архивная копия от 30 ноября 2019 на Wayback Machine Эта стратегия спорная, так как некоторые опасаются, что это приведет к замедлению темпов инноваций. Другие утверждают, что регулирование приводит к систематической стабильности, способной в большей степени поддерживать инновации в долгосрочной перспективе[21]. ОЭСР, ООН, ЕС и многие страны в настоящее время работают над стратегиями регулирования ИИ и ищут соответствующие правовые рамки[22][23][24]. 26 июня Группа высокоуровневых экспертов Европейской комиссии по искусственному интеллекту (AI HLEG) опубликовала свои «Рекомендации по политике и инвестициям в области надежного искусственного интеллекта». Это второй документ AI HLEG, который вышел вслед за публикацией в апреле 2019 г. «Руководства по этике для надежного AI». Новые рекомендации касаются четырёх основных областей: люди и общество в целом, частный сектор, государственный сектор, а также исследования и наука. Рекомендации HLEG отражают понимание как возможностей для технологий искусственного интеллекта стимулировать экономический рост, процветание и инновации, так и потенциальных рисков. Европейского Союза имеет амбиции возглавить разработку политик, регулирующих ИИ во всем мире. Однако, если Европа не ускорит развертывание и внедрение и не создаст производственные, исследовательские и опытно-конструкторские мощности, её возможности для этого будут ограничены[25].

Предвзятость в системах ИИ

ИИ становится все более неотъемлемой частью систем распознавания лиц и голоса. Некоторые из этих систем имеют реальное влияние на бизнес и людей. Эти системы уязвимы для предвзятостей и ошибок, вносимых создателями-людьми. Кроме того, данные, используемые для обучения самих этих систем ИИ, могут иметь искажения[26][27][28][29]. Например, алгоритмы распознавания лиц, разработанные Microsoft, IBM и Face++[англ.], оказались необъективны, когда дело дошло до определения пола людей[30]. Эти системы искусственного интеллекта были в состоянии определять пол белых мужчин более точно, чем пол темнокожих мужчин. Ещё одним примером необъективности ИИ стало прекращение со стороны Amazon’s.com Inc использования ИИ для найма сотрудников. Алгоритм предпочитал больше кандидатов-мужчин, чем женщин. Это произошло потому, что система Amazon была обучена с использованием данных, собранных за 10-летний период, которые поступали в основном от кандидатов-мужчин[31].

Предвзятость может попасть в алгоритмы разными способами. В очень влиятельной ветке ИИ, известной как «обработка естественного языка», могут возникнуть проблемы из «текстового свода» — исходного материала, который использует алгоритм, чтобы узнать о взаимосвязях между разными словами[32].

Крупные компании, такие как IBM, Google и прочие, уже начали исследовать и решать проблему предвзятости[33][34][35].

Проблема предвзятости в машинном обучении, вероятно, станет более серьёзной, поскольку технология распространяется на такие критические области, как медицина и юриспруденция, и поскольку задачу её развертывания поручают все большему числу людей, которые не имеют глубоких технических знаний. Некоторые эксперты предупреждают, что алгоритмическая необъективность уже широко распространена во многих отраслях, и что почти никто не предпринимает усилий для её выявления или исправления[36].

Во всем мире уже есть различные примеры стран (включая Германию, Америку, Англию и Индию), где необдуманное применение искусственного интеллекта правительствами имело серьёзные социальные последствия в таких областях, как иммиграция, правоохранительная деятельность и социальное обеспечение.[37]

Ответственность за частично или полностью беспилотные автомобили

Есть все основания считать, что в будущем неизбежно широкое использование частично или полностью беспилотных автомобилей. Но полностью автономные технологии ставят перед нами новые проблемы и вызовы[38][39][40]. В последнее время поднялись дебаты по поводу юридической ответственности сторон при попадании беспилотных автомобилей в аварии[41][42]. В одном из отчётов[43] автомобиль без водителя сбил пешехода и встала проблема, кто виноват в аварии. Несмотря на то, что водитель во время аварии находился в автомобиле, органы управления были полностью в руках компьютера. Необходимо решить такого рода вопросы прежде, чем беспилотные автомобили будут иметь широкое распространение[44][45][46].

Вооружённый искусственный интеллект

Некоторые эксперты и ученые ставят под сомнение использование роботов в боевых действиях, особенно когда таким роботам предоставляются определённая степень автономности[47][48]. ВМС США профинансировали доклад, в котором указывается, что, поскольку боевые роботы становятся все более сложными, следует уделять больше внимания последствиям их способностям принимать самостоятельные решения[49][50].

В течение последнего десятилетия проводились интенсивные исследования в области самообучаемой автономности с назначаемой моральной ответственностью. «Результаты могут быть использованы при разработке будущих военных роботов для контролирования нежелательных тенденций возложения ответственности на роботов»[51]. С точки зрения консеквенциализма есть вероятность, что роботы будут развивать способности принимать свои собственные логические решения о том, кого убивать, и поэтому необходимы моральные ограничения, которые ИИ не сможет обойти[52].

Недавно были протестные голоса против разработки ИИ-оружия, которое включало бы идеи захвата человечества роботом. ИИ-оружие несёт опасность другого рода, в отличие от оружия, контролируемого человеком. Многие правительства уже начали финансировать программы по разработке ИИ-вооружения. ВМС США недавно объявили о планах разработки ударного беспилотника, параллельно с аналогичными заявлениями России и Кореи. В связи с тем, что ИИ-оружие становится более опасным, чем управляемое человеком оружие, Стивен Хокинг и Макс Тегмарк подписали петицию «Будущее жизни»[53] о запрете ИИ-оружия. В сообщении, опубликованном Хокингом и Тегмарком, говорится, что ИИ-оружие представляет собой непосредственную опасность и что необходимо предпринять какие-то действия, чтобы в ближайшем будущем избежать катастрофических последствий[54].

«Если какая-либо крупная военная сила продвигает разработку ИИ-оружия, практически неизбежна глобальная гонка вооружений, и в итоге автономное оружие станет автоматом Калашникова завтрашнего дня», — говорится в петиции, в которую входят противники вооружённого искусственного интеллекта: Skype-основатель Яан Таллинн и профессор лингвистики Массачусетского технологического института Ноам Хомский[55].

Физик и астроном сэр Мартин Рис предупреждает о таких катастрофических примерах, как «глупые роботы, которые становятся изгоями, или сеть, которая развивает собственный разум». Хью Прайс, коллега Риса из Кембриджа, озвучил аналогичное предупреждение о том, что люди могут не выжить, если интеллект «ускользнёт от биологических ограничений». в Кембриджском университете они создали Центр изучения экзистенциального риска[англ.] в надежде избежать этой угрозы человеческому существованию[54].

Что касается возможности использования систем «умнее человека» в военном деле, проект «Открытая филантропия[англ.]» пишет, что эти сценарии «кажутся потенциально настолько же важными, как и риски, связанные с потерей контроля», но исследовательские организации, занимающиеся долгосрочным социальным воздействием ИИ, недостаточно изучили эту проблему: «этот класс сценариев не был в центре внимания занимающихся этими вопросами организаций, таких как Научно-исследовательский институт машинного интеллекта (MIRI) и Институт будущего человечества (FHI) и поэтому меньше обсуждались»[56].

Машинная этика

Машинная этика (или машинная мораль) — это область исследований, связанных с разработкой искусственных моральных агентов[англ.] (ИМА), роботов или искусственно интеллектуальных компьютеров, которые ведут себя морально или как бы морально[57][58][59][60]. Чтобы учесть природу этих агентов, было предложено рассмотреть некоторые философские идеи, такие как стандартные характеристики субъектности, рациональных агентов, моральных факторов[англ.] и искусственной субъектности, которые связанные с концепцией ИМА[61].

Айзек Азимов рассмотрел эту проблему в 1950-х годах в своей серии рассказов «Я, робот». По настоянию своего редактора Джона У. Кэмпбелла младшего для управления искусственно интеллектуальными системами он предложил Три закона робототехники. Большая часть его работы была потрачена на проверку границ трех его законов, чтобы увидеть, где они могут сломаться или где они могут вызвать парадоксальное или непредвиденное поведение. Его работа предполагает, что ни один из установленных законов не может в достаточной мере предвидеть все возможные обстоятельства. Последнее время ученые и многие правительства поставили под сомнение идею о привлечении к ответственности ИИ[62]. Комиссия, созванная Соединенным Королевством в 2010 году, пересмотрела законы Азимова, чтобы уточнить, что ИИ является ответственностью либо его производителей, либо его владельца/оператора[63].

В 2009 году во время эксперимента в Лаборатории интеллектуальных систем в Политехнической школе Лозанны в Швейцарии роботы, которые были запрограммированы на сотрудничество друг с другом (в поиске полезных ресурсов и избегании ядовитых), в конечном итоге научились лгать друг другу в попытке накопить полезные ресурсы[64]. Одной из проблем в этом случае могло быть то, что цели были «конечными» (в то время как основные человеческие мотивы обычно имеют качество, требующее бесконечного обучения)[65].

Некоторые эксперты и ученые ставят под сомнение использование роботов для боевых действий, особенно когда таким роботам предоставляются определённые степени автономных функций[47]. ВМС США профинансировали доклад, в котором указывается, что по мере усложнения военных роботов следует уделять больше внимания последствиям их способности принимать самостоятельные решения[50][66].

Вернор Виндж предположил, что может наступить момент, когда некоторые компьютеры станут умнее людей, назвав этот явление сингулярностью[67]. Он предполагает, что это может быть частично или даже очень опасно для человека[68]. Научно-исследовательский институт машинного интеллекта высказал предположение о необходимости создания «Дружественного ИИ», имея ввиду, что прогресс, который уже происходит с ИИ, должен также включать усилия, направленные на создание более дружелюбного и гуманного ИИ.

В 2009 году ученые и технические эксперты приняли участие в конференции, организованной Ассоциацией по развитию искусственного интеллекта[англ.], чтобы обсудить потенциальное воздействие роботов и компьютеров и влияние гипотетической возможности того, что они могут стать самодостаточными и способными принимать собственные решения. Они обсудили возможность и степень, с которой компьютеры и роботы могли бы приобрести любой уровень автономии, и в какой степени они могли бы использовать такие возможности, чтобы представлять какую-либо угрозу или опасность. Они отметили, что некоторые машины приобрели различные формы полуавтономности, в том числе возможность самостоятельно находить источники энергии и возможность самостоятельно выбирать цели для атаки оружием. Они также отметили, что некоторые компьютерные вирусы могут избегать уничтожения и достигли «интеллекта тараканов». Они отметили, что самосознание, как изображено в научной фантастике, вероятно, маловероятно, но есть другие потенциальные опасности и подводные камни[67].

Тем не менее, существует одна технология, которая действительно может привести к роботам с моральными способностями. В статье о приобретении моральных ценностей роботами Найеф Аль-Родхан[англ.] упоминает случай нейроморфных[англ.] чипов, которые стремятся обрабатывать информацию аналогично людям, нелинейно и с миллионами взаимосвязанных искусственных нейронов[69]. Роботы со встроенной нейроморфной технологией могут изучать и развивать знания уникальным образом. Это неизбежно поднимает вопрос об окружающей среде, в которой такие роботы познают мир и мораль которого они унаследуют, или если они в конечном итоге также разовьют человеческие «слабости»: эгоизм, отношение к выживанию, колебания и т. д.

В «Моральные машины: обучение роботов правильному через неправильное»[70] Уэнделл Уоллах и Колин Аллен делают вывод, что попытки научить роботов поступать правильно через неправильно могут продвинуть понимание человеческой этики, мотивируя людей на устранение пробелов в современной нормативной теории и предоставляя платформу для экспериментального исследования. В качестве примера он задаёт нормативным специалистам по этике спорный вопрос о том, какие конкретные алгоритмы машинного обучения нужно использовать. Ник Бостром и Элиэзер Юдковски приводят доводы в пользу деревьев решений (таких как ID3) потив нейронных сетей и генетических алгоритмов, потому что деревья решений подчиняются современным социальным нормам прозрачности и предсказуемости (например, stare decisis)[71], то время как Крис Сантос-Ланг возражает, что нормы любого возраста можно менять и что естественная неспособность полностью удовлетворить эти конкретные нормы имеет важное значение для того, чтобы сделать людей менее уязвимыми для преступных «хакеров»[65].

Согласно отчету Центра по управлению ИИ в Оксфордском университете за 2019 год, 82 % американцев считают, что необходимо тщательно управлять роботами и ИИ. Обсуждаемые проблемы варьировались от того, как ИИ используется для слежки и распространения фальшивого контента в Интернете (известного как глубокие фейки (deepfakes), когда они включают в себя подделанные видеоизображения и аудио, сгенерированные с помощью ИИ), до кибератак, посягательств на конфиденциальность данных, предвзятости при найме на работу, беспилотных транспортных средств и дронов, которые не требуют человека-контролера[72].

Неожиданные последствия

Многие исследователи утверждают, что в результате «интеллектуального взрыва», произошедшего где-то в XXI веке, самосовершенствующийся ИИ может стать настолько мощнее людей, что мы не сможем помешать ему достичь своих целей[73]. В своей статье «Этические проблемы в продвинутом искусственном интеллекте» философ Ник Бостром утверждает, что искусственный интеллект способен вызвать вымирание человека. Он утверждает, что общий сверхразум способен на самостоятельную инициативу и на создание собственных планов, и поэтому его более целесообразно рассматривать как автономного агента. Поскольку искусственный интеллект не обязан разделять человеческие мотивации, разработчики супер-интеллекта[англ.] должны были бы заложить его первоначальную мотивацию. Теоретически, сверхинтеллектуальный ИИ сможет привести к практически любому возможному исходу и пресечь любую попытку помешать достижению своей главной цели, может возникнуть много неконтролируемых непреднамеренных последствий. Это может убить всех других агентов, убедить их изменить свое поведение или заблокировать их попытки вмешательства[74].

Однако вместо того, чтобы превзойти человеческую расу и вести её к разрушению, Бостром также утверждает, что супер-интеллект может помочь нам решить многие сложные проблемы, такие как болезни, бедность, разрушение окружающей среды, и может помочь нам «улучшить» себя[75].

Сложность систем человеческих ценностей ведет к очень трудному созданию удобных для человека мотиваций ИИ[73][74]. Пока моральная философия не дает нам безупречную этическую теорию, функция полезности ИИ может допускать множество потенциально вредных сценариев, которые соответствуют данной этической структуре, но не соответствуют «здравому смыслу». По словам Элиэзера Юдковского, у нас мало оснований полагать, что искусственно созданный разум будет обладать такой адаптацией[76].

Билл Хиббард[15] предложил такой дизайн искусственного интеллекта, который избегает некоторых типов непреднамеренного поведения, включая самообман, непреднамеренные инструментальные действия и повреждение генератора вознаграждений.

Организации

Amazon, Google, Facebook, IBM и Microsoft создали некоммерческое партнерство для разработки передового опыта в области технологий искусственного интеллекта, улучшения понимания общественностью и обеспечения ИИ платформы. Они заявили: «Это партнерство по ИИ будет проводить исследования, организовывать дискуссии, обеспечивать интеллектуальное лидерство, консультироваться с соответствующими третьими сторонами, отвечать на вопросы общественности и средств массовой информации, а также создавать учебные материалы, способствующие пониманию технологий ИИ, включая машинное восприятие, обучение и автоматическое рассуждение»[77]. Apple присоединилась к другим технологическим компаниям в качестве одного из основателей Партнерства по искусственному интеллекту в январе 2017 года. Корпоративные участники будут вносить финансовый и исследовательский вклад в работу группы, взаимодействуя с научным сообществом, чтобы привлечь учёных в совет директоров[78].

IEEE разработал Глобальную инициативу по этике автономных и интеллектуальных систем Архивная копия от 6 октября 2019 на Wayback Machine, которая разрабатывает и пересматривает с помощью общественного мнения методические рекомендации, и принимает в качестве своих членов многих специалистов изнутри и снаружи своей организации.

Традиционно, общественность используют правительство для контроля соответствия этики рамкам законодательства и правопорядка. В настоящее время национальные правительства, а также транснациональные правительственные и неправительственные организации прилагают много усилий для обеспечения этического применения ИИ.

В массовой культуре

Фильм «Тринадцатый этаж» показывает будущее, в котором на игровых консолях создаются для развлечения симулированные миры с разумными обитателями. Фильм «Матрица» показывает будущее, где доминирующим видом на планете Земля являются разумные машины, а человечество подвергается предельной дискриминации. В коротком рассказе «Погружение Планка[англ.]» показывается будущее, в котором человечество превратилось в программное обеспечение, которое можно дублировать и оптимизировать, а соответствующее различие между типами программного обеспечения является разумным и не чувствительным. Та же самая идея может быть найдена в Голограмме скорой медицинской помощи Starship Voyager, которая является явно разумной копией уменьшенного подмножества сознания её создателя, доктора Циммермана, который из лучших побуждений создал систему для предоставления экстренной медицинской помощи. В фильмах «Двухсотлетний человек» и «Искусственный разум» рассматриваются возможности разумных роботов, которые могут любить. «Я, Робот» показал некоторые аспекты трёх законов робототехники Азимова. Все они пытаются предугадать, возможно, неэтичные последствия создания разумных компьютеров.

Этика искусственного интеллекта является одной из основных тем в серии игр BioWare «Mass Effect». Она рассматривает сценарий, в котором цивилизация случайно создала ИИ благодаря быстрому увеличению вычислительной мощности используя глобальную нейронную сеть. Это событие вызвало этический раскол между теми, кто считал, что разумных Гетов можно наделить органическими правами, и теми, кто продолжал рассматривать их как одноразовый механизм и боролся за их уничтожение. Помимо начального конфликта ещё одной постоянной темой всей истории является сложность отношений между машинами и их создателями.

См. также

Исследователи

Организации

Примечания

  1. ↑ Veruggio, Gianmarco. The Roboethics Roadmap (неопр.). — Scuola di Robotica, 2007.
  2. ↑ Woody[англ.]. Posthuman Rights: Dimensions of Transhuman Worlds (неопр.) // Teknokultura. — 2015. — Т. 12, № 2. — doi:10.5209/rev_TK.2015.v12.n2.49072.
  3. ↑ Yurii[англ.]. Artificial Personal Autonomy and Concept of Robot Rights (англ.) : journal. — European journal of law and political sciences, 2017. Архивировано 14 июля 2018 года.
  4. ↑ The American Heritage Dictionary of the English Language, Fourth Edition
  5. ↑ "Robots could demand legal rights". BBC News. 2006-12-21. Архивировано 15 октября 2019. Дата обращения: 3 января 2010.
  6. ↑ 1 2 Henderson, Mark (2007-04-24). "Human rights for robots? We're getting carried away". The Times Online. The Times of London. Архивировано 17 мая 2008. Дата обращения: 2 мая 2010.
  7. ↑ McGee. A Robot Code of Ethics. The Scientist. Дата обращения: 10 октября 2019. Архивировано 6 сентября 2020 года.
  8. ↑ Ray Kurzweil. The Singularity is Near (неопр.). — Penguin Books, 2005. — ISBN 978-0-670-03384-3.
  9. ↑ The Big Question: Should the human race be worried by the rise of robots?, Independent Newspaper.
  10. ↑ Saudi Arabia bestows citizenship on a robot named Sophia. Дата обращения: 10 октября 2019. Архивировано 27 октября 2017 года.
  11. ↑ Vincent, James (2017-10-30). "Pretending to give a robot citizenship helps no one". The Verge. Архивировано 3 августа 2019. Дата обращения: 10 октября 2019.
  12. ↑ Close engagements with artificial companions : key social, psychological, ethical and design issues (англ.). — Amsterdam: John Benjamins Pub. Co, 2010. — ISBN 978-9027249944.
  13. ↑ 1 2 Joseph Weizenbaum, quoted in McCorduck, 2004, pp. 356, 374–376
  14. ↑ Kaplan Andreas; Michael Haenlein (2018) Siri, Siri in my Hand, who's the Fairest in the Land? On the Interpretations, Illustrations and Implications of Artificial Intelligence, Business Horizons, 62(1). Дата обращения: 10 октября 2019. Архивировано из оригинала 21 ноября 2018 года.
  15. ↑ 1 2 Hibbard, Bill (2014): «Ethical Artificial Intelligence».
  16. ↑ Open Source AI. Архивная копия от 4 марта 2016 на Wayback Machine Bill Hibbard. 2008 proceedings of the First Conference on Artificial General Intelligence, eds. Pei Wang, Ben Goertzel and Stan Franklin.
  17. ↑ OpenCog: A Software Framework for Integrative Artificial General Intelligence. Архивная копия от 4 марта 2016 на Wayback Machine David Hart and Ben Goertzel. 2008 proceedings of the First Conference on Artificial General Intelligence, eds. Pei Wang, Ben Goertzel and Stan Franklin.
  18. ↑ Inside OpenAI, Elon Musk’s Wild Plan to Set Artificial Intelligence Free Архивная копия от 27 апреля 2016 на Wayback Machine Cade Metz, Wired 27 April 2016.
  19. ↑ P7001 - Transparency of Autonomous Systems. P7001 - Transparency of Autonomous Systems. IEEE. Дата обращения: 10 января 2019. Архивировано 10 января 2019 года..
  20. ↑ Thurm, Scott (2018-07-13). "MICROSOFT CALLS FOR FEDERAL REGULATION OF FACIAL RECOGNITION". Wired. Архивировано 9 мая 2019. Дата обращения: 10 октября 2019.
  21. ↑ Bastin. The General Data Protection Regulation Cross-industry innovation. Inside magazine. Deloitte (июнь 2017). Дата обращения: 11 октября 2019. Архивировано из оригинала 10 января 2019 года.
  22. ↑ UN artificial intelligence summit aims to tackle poverty, humanity's 'grand challenges' (англ.). UN News (7 июня 2017). Дата обращения: 26 июля 2019. Архивировано 26 июля 2019 года.
  23. ↑ Artificial intelligence - Organisation for Economic Co-operation and Development (англ.). www.oecd.org. Дата обращения: 26 июля 2019. Архивировано 22 июля 2019 года.
  24. ↑ Anonymous. The European AI Alliance (англ.). Digital Single Market - European Commission (14 июня 2018). Дата обращения: 26 июля 2019. Архивировано 1 августа 2019 года.
  25. ↑ EU Tech Policy Brief: July 2019 Recap (англ.). Center for Democracy & Technology. Дата обращения: 9 августа 2019. Архивировано 9 августа 2019 года.
  26. ↑ Society. The case for fairer algorithms - DeepMind Ethics & Society (англ.). Medium (14 марта 2018). Дата обращения: 22 июля 2019. Архивировано 22 июля 2019 года.
  27. ↑ 5 unexpected sources of bias in artificial intelligence (англ.). TechCrunch. Дата обращения: 22 июля 2019. Архивировано 18 марта 2021 года.
  28. ↑ Knight. Google’s AI chief says forget Elon Musk’s killer robots, and worry about bias in AI systems instead (англ.). MIT Technology Review. Дата обращения: 22 июля 2019. Архивировано 4 июля 2019 года.
  29. ↑ Villasenor. Artificial intelligence and bias: Four key challenges (англ.). Brookings (3 января 2019). Дата обращения: 22 июля 2019. Архивировано 22 июля 2019 года.
  30. ↑ Lohr, Steve (2018-02-09). "Facial Recognition Is Accurate, if You're a White Guy". The New York Times (англ.). Архивировано 9 января 2019. Дата обращения: 29 мая 2019.
  31. ↑ "Amazon scraps secret AI recruiting tool that showed bias against women". Reuters (англ.). 2018-10-10. Архивировано 27 мая 2019. Дата обращения: 29 мая 2019.
  32. ↑ Eliminating bias in AI (англ.). techxplore.com. Дата обращения: 26 июля 2019. Архивировано 25 июля 2019 года.
  33. ↑ Olson. Google's DeepMind Has An Idea For Stopping Biased AI (англ.). Forbes. Дата обращения: 26 июля 2019. Архивировано 26 июля 2019 года.
  34. ↑ Machine Learning Fairness | ML Fairness (англ.). Google Developers. Дата обращения: 26 июля 2019. Архивировано 10 августа 2019 года.
  35. ↑ AI and bias - IBM Research - US (англ.). www.research.ibm.com (REPLACE). Дата обращения: 26 июля 2019. Архивировано из оригинала 17 июля 2019 года.
  36. ↑ Knight. Google’s AI chief says forget Elon Musk’s killer robots, and worry about bias in AI systems instead (англ.). MIT Technology Review. Дата обращения: 26 июля 2019. Архивировано 4 июля 2019 года.
  37. ↑ Peggy Sue. [www.scienceblog.co.uk/ru/temnaya-storona-ay Темная сторона искусственного интеллекта на государственной службе]. scienceblog (3 февраля 2023). Дата обращения: 3 февраля 2023. Архивировано 3 февраля 2023 года.
  38. ↑ Davies, Alex (2016-02-29). "Google's Self-Driving Car Caused Its First Crash". Wired. Архивировано 7 июля 2019. Дата обращения: 26 июля 2019.
  39. ↑ List of self-driving car fatalities, 2019-06-05, Дата обращения: 26 июля 2019
  40. ↑ Levin, Sam (2018-03-19). "Self-driving Uber kills Arizona woman in first fatal crash involving pedestrian". The Guardian (англ.). Архивировано 26 июля 2019. Дата обращения: 26 июля 2019.
  41. ↑ Who is responsible when a self-driving car has an accident? (англ.). Futurism. Дата обращения: 26 июля 2019. Архивировано 26 июля 2019 года.
  42. ↑ Radio. Autonomous Car Crashes: Who - or What - Is to Blame? (англ.). Knowledge@Wharton. Дата обращения: 26 июля 2019. Архивировано 26 июля 2019 года.
  43. ↑ Delbridge. Driverless Cars Gone Wild (англ.). The Balance. Дата обращения: 29 мая 2019. Архивировано 29 мая 2019 года.
  44. ↑ Regulations for driverless cars (англ.). GOV.UK. Дата обращения: 26 июля 2019. Архивировано 26 июля 2019 года.
  45. ↑ Automated Driving: Legislative and Regulatory Action - CyberWiki. cyberlaw.stanford.edu. Дата обращения: 26 июля 2019. Архивировано из оригинала 26 июля 2019 года.
  46. ↑ Autonomous Vehicles | Self-Driving Vehicles Enacted Legislation. www.ncsl.org. Дата обращения: 26 июля 2019. Архивировано 26 июля 2019 года.
  47. ↑ 1 2 Call for debate on killer robots Архивная копия от 7 августа 2009 на Wayback Machine, By Jason Palmer, Science and technology reporter, BBC News, 8/3/09.
  48. ↑ Robot Three-Way Portends Autonomous Future Архивная копия от 7 ноября 2012 на Wayback Machine, By David Axe wired.com, August 13, 2009.
  49. ↑ New Navy-funded Report Warns of War Robots Going «Terminator» Архивировано 28 июля 2009 года., by Jason Mick (Blog), dailytech.com, February 17, 2009.
  50. ↑ 1 2 Navy report warns of robot uprising, suggests a strong moral compass Архивная копия от 4 июня 2011 на Wayback Machine, by Joseph L. Flatley engadget.com, Feb 18th 2009.
  51. ↑ On the moral responsibility of military robots — ProQuest. Дата обращения: 11 октября 2019. Архивировано 5 июля 2019 года.
  52. ↑ Mitra. We can train AI to identify good and evil, and then use it to teach us morality (англ.). Quartz. Дата обращения: 26 июля 2019. Архивировано 26 июля 2019 года.
  53. ↑ AI Principles (англ.). Future of Life Institute. Дата обращения: 26 июля 2019. Архивировано 11 декабря 2017 года.
  54. ↑ 1 2 Zach Musgrave and Bryan W. Roberts. Why Artificial Intelligence Can Too Easily Be Weaponized - The Atlantic. The Atlantic (14 августа 2015). Дата обращения: 11 октября 2019. Архивировано 11 апреля 2017 года.
  55. ↑ Cat Zakrzewski. Musk, Hawking Warn of Artificial Intelligence Weapons. WSJ (27 июля 2015). Дата обращения: 13 октября 2019. Архивировано 28 июля 2015 года.
  56. ↑ GiveWell. Potential risks from advanced artificial intelligence (Report). Архивировано 12 октября 2015. Дата обращения: 13 октября 2019.
  57. ↑ Anderson. Machine Ethics. Дата обращения: 27 июня 2011. Архивировано 28 сентября 2011 года.
  58. ↑ Machine Ethics (неопр.) / Anderson, Michael; Anderson, Susan Leigh. — Cambridge University Press, 2011. — ISBN 978-0-521-11235-2.
  59. ↑ Special Issue on Machine Ethics (англ.) // IEEE Intelligent Systems[англ.] : journal. — Vol. 21, no. 4. — P. 10—63. — ISSN 1541-1672. — doi:10.1109/mis.2006.70. Архивировано 26 ноября 2011 года.
  60. ↑ Michael; Anderson. Machine Ethics: Creating an Ethical Intelligent Agent (англ.) // AI Magazine : journal. — Vol. 28, no. 4. — P. 15—26. — ISSN 0738-4602. Архивировано 18 сентября 2020 года.
  61. ↑ Robert James M.; Boyles. Philosophical Signposts for Artificial Moral Agent Frameworks (англ.) // Suri : journal. — 2017. — October (vol. 6, no. 2). — P. 92—109. Архивировано 7 марта 2022 года.
  62. ↑ Joanna; Bryson. Of, for, and by the people: the legal lacuna of synthetic persons (англ.) // Artificial Intelligence and Law : journal. — 2017. — September (vol. 25, no. 3). — P. 273—291. — doi:10.1007/s10506-017-9214-9.
  63. ↑ Principles of robotics. UK's EPSRC (сентябрь 2010). Дата обращения: 10 января 2019. Архивировано из оригинала 1 апреля 2018 года.
  64. ↑ Evolving Robots Learn To Lie To Each Other Архивная копия от 28 августа 2009 на Wayback Machine, Popular Science, August 18, 2009
  65. ↑ 1 2 Santos-Lang. Ethics for Artificial Intelligences. Дата обращения: 13 октября 2019. Архивировано 25 декабря 2014 года.
  66. ↑ Science New Navy-funded Report Warns of War Robots Going «Terminator» Архивировано 28 июля 2009 года., by Jason Mick (Blog), dailytech.com, February 17, 2009.
  67. ↑ 1 2 Scientists Worry Machines May Outsmart Man Архивная копия от 1 июля 2017 на Wayback Machine By JOHN MARKOFF, NY Times, July 26, 2009.
  68. ↑ The Coming Technological Singularity: How to Survive in the Post-Human Era Архивная копия от 1 января 2007 на Wayback Machine, by Vernor Vinge, Department of Mathematical Sciences, San Diego State University, (c) 1993 by Vernor Vinge.
  69. ↑ Al-Rodhan, Nayef (2015-08-12). "The Moral Code". Foreign Affairs (англ.). Архивировано 5 марта 2017. Дата обращения: 23 января 2018.
  70. ↑ Wallach, Wendell; Allen, Colin. Moral Machines: Teaching Robots Right from Wrong (англ.). — USA: Oxford University Press, 2008. — ISBN 978-0-19-537404-9.
  71. ↑ Bostrom. The Ethics of Artificial Intelligence. Cambridge Handbook of Artificial Intelligence. Cambridge Press. Дата обращения: 13 октября 2019. Архивировано из оригинала 4 марта 2016 года.
  72. ↑ Howard. The Regulation of AI – Should Organizations Be Worried? | Ayanna Howard (англ.). MIT Sloan Management Review. Дата обращения: 14 августа 2019. Архивировано 14 августа 2019 года.
  73. ↑ 1 2 Muehlhauser, Luke, and Louie Helm. 2012. «Intelligence Explosion and Machine Ethics» Архивная копия от 7 мая 2015 на Wayback Machine. In Singularity Hypotheses: A Scientific and Philosophical Assessment, edited by Amnon Eden, Johnny Søraker, James H. Moor, and Eric Steinhart. Berlin: Springer.
  74. ↑ 1 2 Bostrom, Nick. 2003. «Ethical Issues in Advanced Artificial Intelligence» Архивная копия от 8 октября 2018 на Wayback Machine. In Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence, edited by Iva Smit and George E. Lasker, 12-17. Vol. 2. Windsor, ON: International Institute for Advanced Studies in Systems Research / Cybernetics.
  75. ↑ Sure, Artificial Intelligence May End Our World, But That Is Not the Main Problem (англ.) // Wired : magazine. — 2014. — 4 December. Архивировано 31 октября 2015 года.
  76. ↑ Yudkowsky, Eliezer. 2011. «Complex Value Systems in Friendly AI» Архивная копия от 29 сентября 2015 на Wayback Machine. In Schmidhuber, Thórisson, and Looks 2011, 388—393.
  77. ↑ «Partnership on Artificial Intelligence to Benefit People and Society». N.p., n.d. 24 October 2016.
  78. ↑ Fiegerman, Seth. «Facebook, Google, Amazon Create Group to Ease AI Concerns». CNNMoney. n.d. 4 December 2016.
  79. ↑ CCC Offers Draft 20-Year AI Roadmap; Seeks Comments (англ.). HPCwire (14 мая 2019). Дата обращения: 22 июля 2019. Архивировано 18 марта 2021 года.
  80. ↑ Request Comments on Draft: A 20-Year Community Roadmap for AI Research in the US » CCC Blog (англ.). Дата обращения: 22 июля 2019. Архивировано 14 мая 2019 года.
  81. ↑ Приложения: Последние новости России и мира — Коммерсантъ Review (139067) — Интеллектуальные правила. Дата обращения: 7 мая 2022. Архивировано 30 декабря 2021 года.

Литература

  • McCorduck, Pamela. Machines Who Think (2nd ed.). — Natick, MA: A. K. Peters, Ltd, 2004. — ISBN 1-56881-205-1.
  • Гэри Маркус, Эрнест Дэвис. Искусственный интеллект: Перезагрузка. Как создать машинный разум, которому действительно можно доверять = Rebooting AI: Building Artificial Intelligence We Can Trust. — М.: Интеллектуальная Литература, 2021. — 304 с. — ISBN 978-5-907394-93-3.

Ссылки

Read other articles:

Nataraja

Hindu God Shiva depicted as Lord of the Dance Nateshwar redirects here. For Archaeological ruins in Bangladesh, see Nateshwar Deul. NatarajaLord of the danceA 10th-century Chola dynasty bronze sculpture of Shiva, the Lord of the Dance at the Los Angeles County Museum of ArtOther namesAdalvallan, Koothan, Sabesan, Ambalavanan[1]AffiliationShivaSymbolsAgniTextsAmshumadagama Uttarakamika agama Part of a series onShaivism DeitiesParamashiva(Supreme being) Shiva Sadasiva Bhairava Rudra Vir...

 

Agus Dwi Putranto

Agus Dwi Putranto Informasi pribadiLahir27 Agustus 1959 (umur 64)Pemalang, Jawa TengahKebangsaanIndonesiaAlma materAkademi Angkatan Udara (1983)Karier militerPihak IndonesiaDinas/cabang TNI Angkatan UdaraMasa dinas1983–2017Pangkat Marsekal Muda TNISatuanKorps Penerbang (Angkut)Pertempuran/perangOperasi SerojaSunting kotak info • L • B Marsekal Muda TNI (Purn.) Agus Dwi Putranto (lahir 27 Agustus 1959) adalah seorang perwira tinggi TNI Angkatan Udara lulusan Akad...

 

51st International Film Festival of India

2020 Indian film festival 51st International Film Festival of IndiaOpening filmAnother RoundClosing filmWife of a SpyLocationDr. Shyama Prasad Mukherjee Indoor Stadium at Panaji, Goa, IndiaFounded1952Awards Lifetime Achievement Award: (Vittorio Storaro) Golden Peacock-Best Film: Into the Darkness Silver Peacock Best Director: Chen-Nien Ko Best Actor: Tzu-Chuan Liu Best Actress: Zofia Stafiej ICFT INESCO Gandhi Medal: 200 Meters by Ameen Nayfeh Hosted byGovernment of Goa Directorate of Film Fe...

2015 Major League Lacrosse season

Sports season2015 MLL seasonLeagueMajor League LacrosseSportField lacrosseDurationApril 12, 2015 – August 8, 2015Number of teams82015Season MVPGreg GurenlianFinals championsNew York Lizards  Runners-upRochester RattlersFinals MVPPaul RabilMLL seasons← 2014 season2016 season → The 2015 Major League Lacrosse season was the 16th season of FIL-sanctioned lacrosse in the United States and Canada, the 16th with a national first-division league, and the 15th season of Major...

 

Benedetto Bonfigli

Annunciazione, Galleria Nazionale dell'Umbria Benedetto Bonfigli (Perugia, 1420 – 8 luglio 1496) è stato un pittore italiano. Indice 1 Biografia 2 Bibliografia 3 Altri progetti 4 Collegamenti esterni Biografia Intrapresa l'arte accanto a Giovanni Boccati di Piermatteo, eseguì la pittura quattrocentesca umbra influenzata fortemente da Domenico Veneziano e dalla scuola toscana. Fu definito dal Vasari il più grande artista umbro prima dell'ascesa del Perugino. Benedetto Bonfigli è stato un...

 

新罕布什尔州

坐标：43°11′38″N 71°34′21″W / 43.1938516°N 71.5723953°W / 43.1938516; -71.5723953 此條目需要补充更多来源。 (2017年5月21日)请协助補充多方面可靠来源以改善这篇条目，无法查证的内容可能會因為异议提出而被移除。致使用者：请搜索一下条目的标题（来源搜索：新罕布什尔州 — 网页、新闻、书籍、学术、图像），以检查网络上是否存在该主题的更多可靠来源...

Time Crisis

Time Crisis Publikasi1996 (Permainan arcade) 1997 (PS1)GenreRail shooterKarakteristik teknisPlatformpermainan arkade dan PlayStation ModePermainan video pemain tunggal Metode inputlight gun Format kode Daftar 30 Informasi pengembangPengembangNamco LimitedPenyuntingNamco DesainerTakashi Sano (supervisor)PenerbitNamcoPenilaianESRB Informasi tambahanMobyGamestime-crisis Bagian dari Time CrisisTidak ada Portal permainan videoSunting di Wikidata • L • B • PWBantuan penggunaan ...

 

Paus Anianus dari Aleksandria

Untuk biarawan abad kelima, lihat Annianus dari Aleksandria. SantoAnianus dari AleksandriaPaus Aleksandria ke-2 & Patriarkh Tahta St. MarkusRelief St. Markus /Anianus oleh Pietro Lombardo, 1478Awal masa jabatan61Masa jabatan berakhir29 November 83PendahuluMarkusPenerusAviliusImamatTahbisan imam43 AD. (Priesthood)Informasi pribadiNama lahirAnianusLahirAleksandria, MesirWafat29 November 83Alexandria, MesirMakamBaucalis, AleksandriaKewarganegaraanMesirDenominasiGereja Ortodoks KoptikKediaman...

 

WOMX-FM

This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: WOMX-FM – news · newspapers · books · scholar · JSTOR (August 2008) (Learn how and when to remove this message)Radio station in Orlando, FloridaWOMX-FMOrlando, FloridaBroadcast areaGreater OrlandoCentral FloridaFrequency105.1 MHz (HD Radio)BrandingMix 105.1Pro...

Uniform convergence

Mode of convergence of a function sequence A sequence of functions (fₙ) converges uniformly to f when for arbitrary small ε there is an index N such that the graph of fₙ is in the ε-tube around f whenever n ≥ N. In the mathematical field of analysis, uniform convergence is a mode of convergence of functions stronger than pointwise convergence. A sequence of functions ( f n ) {\displaystyle (f_{n})} converges uniformly to a limiting function f {\displaystyle f} on a set E {\displaystyl...

 

أرتيوموفسكي

  لمعانٍ أخرى، طالع أرتيوموفسكي (توضيح). أرتيوموفسكي    علم شعار الإحداثيات 57°22′00″N 61°52′00″E / 57.366666666667°N 61.866666666667°E / 57.366666666667; 61.866666666667   تاريخ التأسيس 1938  تقسيم إداري  البلد روسيا[1][2]  خصائص جغرافية  المساحة 47 كيلومتر مربع  ار...

 

Giuseppe Mascara

Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini.Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan atau coba peralatan pencari pranala.Tag ini diberikan pada November 2022. Giuseppe Mascara Informasi pribadiNama lengkap Giuseppe MascaraTanggal lahir 24 Maret 1979 (umur 45)Tempat lahir Caltagirone, Sisilia, ItaliaTinggi 173 m (567 ft 7 in)Posisi bermain PenyerangInformasi klubKlub saat ini SiracusaNomo...

Associazione Sportiva Del Duca Ascoli 1964-1965

Questa voce sull'argomento stagioni delle società calcistiche italiane è solo un abbozzo. Contribuisci a migliorarla secondo le convenzioni di Wikipedia. Segui i suggerimenti del progetto di riferimento. Voce principale: Ascoli Calcio 1898. Associazione Sportiva Del Duca AscoliStagione 1964-1965Sport calcio Squadra Del Duca Ascoli Allenatore Alfredo Notti Presidente Leone Clicchi Serie C4º posto nel girone C. Maggiori presenzeCampionato: Beccaccioli (34) Miglior marcatoreCampion...

 

Indiana Eastern Railroad

Indiana Eastern RailroadOverviewHeadquartersEdwardsville, IllinoisReporting markIERRLocaleIndiana and OhioDates of operation2005–TechnicalTrack gauge4 ft 8+1⁄2 in (1,435 mm) standard gaugeLength43.0 miles (69.2 km) The Indiana Eastern Railroad (reporting mark IERR) is a short-line railroad in the states of Indiana and Ohio, operating a former Chesapeake & Ohio Railway line between Richmond, Indiana and Fernald, Ohio. It began operations in 2005 as a su...

 

ماكس بلانك

ماكس بلانك (بالإنجليزية: Max Karl Ernst Ludwig Planck)‏    معلومات شخصية اسم الولادة (بالألمانية: Max Karl Ernst Ludwig Planck)‏  الميلاد 23 أبريل 1858 [1][2][3][4][5][6][7]  كيل[8]  الوفاة 4 أكتوبر 1947 (89 سنة) [1][2][3][4][5][6][7]  غوتينغن[8]...

16th arrondissement of Paris

Municipal arrondissement in Île-de-France, France 16th arrondissement redirects here. For the district of Marseille, see 16th arrondissement of Marseille. Municipal arrondissement in Île-de-France, France16th arrondissement of ParisMunicipal arrondissementThe Château de la Muette, the OECD's headquarters in Paris Coat of armsLocation within ParisCoordinates: 48°51′49″N 2°16′35″E / 48.86361°N 2.27639°E / 48.86361; 2.27639CountryFranceRegionÎle-de-FranceD...

 

Place de la Bastille

Square in Paris, France For other uses, see Bastille (disambiguation). This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed.Find sources: Place de la Bastille – news · newspapers · books · scholar · JSTOR (November 2022) (Learn how and when to remove this message) Place de la BastilleThe July Column, with the new pedestrian ar...

 

A lyga 2004

Questa voce o sezione sull'argomento competizioni calcistiche non è ancora formattata secondo gli standard. Commento: Voce da adeguare al corrispondente modello di voce. Contribuisci a migliorarla secondo le convenzioni di Wikipedia. Segui i suggerimenti del progetto di riferimento. A lyga 2004 Competizione A lyga Sport Calcio Edizione 15ª Organizzatore LFF Luogo  Lituania Partecipanti 8 Risultati Vincitore FBK Kaunas(6º titolo) Statistiche Miglior marcatore Povilas Lukšys...

Fongueusemare

Fongueusemarecomune Fongueusemare – Veduta LocalizzazioneStato Francia Regione Normandia Dipartimento Senna Marittima ArrondissementLe Havre CantoneOcteville-sur-Mer TerritorioCoordinate49°41′N 0°18′E49°41′N, 0°18′E (Fongueusemare) Altitudine37 e 136 m s.l.m. Superficie12,14 km² Abitanti188[1] (2009) Densità15,49 ab./km² Altre informazioniCod. postale76280 Fuso orarioUTC+1 Codice INSEE76268 CartografiaFongueusemare Modifica dati su Wikida...

 

Trappists

Roman Catholic religious order Trappist redirects here. For other uses, see Trappist (disambiguation). OCSO redirects here. For other uses, see OCSO (disambiguation). Order of Cistercians of the Strict ObservanceOrdo Cisterciensis Strictioris ObservantiaeLogo of the TrappistsArmand Jean le Bouthillier de Rancé, the founder of the TrappistsAbbreviationOCSOFormation1664; 360 years ago (1664)FounderArmand Jean le Bouthillier de RancéFounded atLa Trappe AbbeyTypeCatholic relig...