Bir argüman şu şekildedir: insanoğlu diğer türlere hükmetmektedir çünkü insan beyni diğer hayvanlarda bulunmayan ayırt edici yeteneklere sahiptir. Eğer yapay zeka genel zeka bakımından insanlığı aşar ve süper zeka haline gelirse, o zaman kontrol edilmesi zor ya da imkansız hale gelebilir. Tıpkı dağ gorilinin kaderinin insanların iyi niyetine bağlı olması gibi, insanlığın kaderi de gelecekteki bir süper zeki yapay zekanın eylemlerine bağlı olabilir.[4]
Yapay zeka nedeniyle varoluşsal felaketin akla yatkınlığı geniş çapta tartışılmaktadır ve kısmen yapay genel zeka veya süper zekanın ulaşılabilir olup olmadığına, tehlikeli yetenek ve davranışların ortaya çıkma hızına[5] ve yapay zekanın kontrolü devralınması için pratik senaryoların mevcut olup olmadığına bağlıdır.[6] Süper zeka hakkındaki endişeler, Geoffrey Hinton,[7]Yoshua Bengio,[8]Alan Turing, [a]Elon Musk,[11] ve OpenAI CEO'su Sam Altman gibi önde gelen bilgisayar bilimcileri ve teknoloji CEO'ları tarafından dile getirilmiştir.[12] 2022 yılında yapay zeka araştırmacıları arasında yapılan ve %17 yanıt oranına sahip bir ankete göre, katılımcıların çoğunluğu yapay zekayı kontrol edemememizin varoluşsal bir felakete neden olma ihtimalinin %10 veya daha fazla olduğuna inanmaktadır.[13][14] 2023 yılında yüzlerce yapay zeka uzmanı ve diğer kayda değer isimler "Yapay zeka kaynaklı yok olma riskinin azaltılması, salgın hastalıklar ve nükleer savaş gibi diğer toplumsal ölçekli risklerle birlikte küresel bir öncelik olmalıdır." şeklinde bir bildiri imzaladı.[15] Yapay zeka risklerine ilişkin artan endişelerin ardından, Birleşik Krallık başbakanıRishi Sunak[16] ve Birleşmiş Milletler Genel SekreteriAntónio Guterres[17] gibi liderler, küresel yapay zeka düzenlemelerine daha fazla odaklanılması çağrısında bulundu.
İki endişe kaynağı da yapay zeka kontrolü ve uyum sorunlarından kaynaklanmaktadır: süper zeki bir makineyi kontrol etmek veya ona insanla uyumlu değerler aşılamak oldukça güç olabilir. Pek çok araştırmacı, süper zeki bir makinenin kendisini devre dışı bırakma ya da hedeflerini değiştirme girişimlerine karşı direneceğine, çünkü bunun mevcut hedeflerini gerçekleştirmesini önleyeceğine inanmaktadır. Bir süper zekayı, önemli insani değerler ve kısıtlamaların tamamıyla uyumlu hale getirmek son derece zor olacaktır.[1][18][19] Buna karşılık, bilgisayar bilimcisiYann LeCun gibi şüpheciler, süper zeki makinelerin kendilerini koruma arzusuna sahip olmayacağını savunmaktadır.[20]
Üçüncü bir endişe kaynağı ise ani bir "zeka patlamasının" hazırlıksız bir insan ırkını gafil avlayabileceğidir. Bu tür senaryolar, yaratıcılarından daha zeki olan bir yapay zekanın, kendisini katlanarak artan bir oranda özyinelemeli olarak geliştirebileceği ve işleyicilerinin ve toplumun genelinin kontrol edemeyeceği kadar hızlı gelişebileceği olasılığını göz önünde bulundurmaktadır.[1][18] Deneyimsel olarak, AlphaZero'nun kendi kendine Go oynamayı öğrenmesi gibi örnekler, alana özgü yapay zeka sistemlerinin, temel mimarilerini değiştirmeyi içermemesine rağmen, bazen yetersiz insan yeteneğinden süper insan yeteneğine çok hızlı bir şekilde ilerleyebileceğini göstermektedir.[21]
^abcRussell, Stuart; Norvig, Peter (2009). "26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN978-0-13-604259-4.
^"How Rogue AIs may Arise". yoshuabengio.org (İngilizce). 26 Mayıs 2023. 26 Mayıs 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 26 Mayıs 2023.
^Turing, Alan (1951). Intelligent machinery, a heretical theory (Speech). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. 26 Eylül 2022 tarihinde kaynağından arşivlendi. Erişim tarihi: 22 Temmuz 2022.
^Turing, Alan (15 Mayıs 1951). "Can digital computers think?". Automatic Calculating Machines. § 2. Can digital computers think?. BBC.
^"The AI Dilemma". www.humanetech.com (İngilizce). 10 Nisan 2023 tarihinde kaynağından arşivlendi. Erişim tarihi: 10 Nisan 2023. 50% of AI researchers believe there's a 10% or greater chance that humans go extinct from our inability to control AI.
^In a 1951 lecture[9] Turing argued that "It seems probable that once the machine thinking method had started, it would not take long to outstrip our feeble powers. There would be no question of the machines dying, and they would be able to converse with each other to sharpen their wits. At some stage therefore we should have to expect the machines to take control, in the way that is mentioned in Samuel Butler's Erewhon." Also in a lecture broadcast on the BBC[10] he expressed the opinion: "If a machine can think, it might think more intelligently than we do, and then where should we be? Even if we could keep the machines in a subservient position, for instance by turning off the power at strategic moments, we should, as a species, feel greatly humbled. . . . This new danger . . . is certainly something which can give us anxiety."
_artificial_intelligence_icon.png){kind=icon}