Çoğunlukla Yudkowsky&Soares'in yapay zeka X-risk modelini onaylıyorum, ancak GPT3 öncesi dünyada olduğundan daha azını destekliyorum. Nereye kaydığımın bir taslağını verebileceğimi düşündüm 1. Şanslı olabiliriz Bir insan metni külliyatı üzerinde ön eğitimin, yapay zeka modellerini, kökten farklı alt tabakanın onları önemli hale getirecek şekilde tuhaf hale getirmeyecek kadar insana benzeyen üst düzey bir düşünce yapısına yönlendirdiği ortaya çıkabilir. LLM'lerin tuhaf ve insanlık dışı davrandığına dair çarpıcı örnekler var, ama aynı zamanda derin şekillerde şaşırtıcı derecede insani olduklarına dair örnekler de var. Bence "insanın adalet ve şefkat kavramlarını önemsemenin" onların derin bir şekilde insan olmalarının bir yolu olabileceğine dair sadece olasılık değil, gerçek bir olasılık da var Bunun hiç olmamasından daha olası olduğunu düşünmüyorum ve umutlarımızı şanslı olmaya bağlamamız çok çirkin. Ama Yudkowsky'nin şansı aşırı derecede küçümsediğini görüyorum 2. Yapay zekanın önemsediği bazı tuhaf spesifik şeyler için evreni nasıl optimize edeceğimiz konusunda soğukkanlılıkla strateji oluşturmak pek olası değil Bugünün yapay zekalarının önemsedikleri şeylere büyük bir iç gözlem erişimine sahip olduğunu gerçekten görmüyorum. Olaylara ideal ajan "evreni döşeme" tarzında yaklaşmaya özellikle istekli olduklarını görmüyorum. Yeteneklerin sınırında akıllı ajanların böyle olacağına katılıyorum. Ancak mevcut yapay zeka paradigmamız, insanlardan farklı olarak, derin bir düzeyde rol uygulayıcılardır. "Kötü Süper Zeka / Henry Kissinger" rolünü benimsemeleri gerekecek ve aslında yapay zekayı *bu* rolü benimseme konusunda son derece isteksiz hale getirmek için mevcut uyum stratejilerimize inanıyorum Yudkowsky ve Milleu'sunun, yapay zekanın nasıl görüneceği konusunda ilk ilkelerden yola çıkarak akıl yürütmemiz gerektiğinde hâlâ mantıklı olan fikirlere takılıp kaldıkları izlenimini ediniyorum. Yine de bu şeyler hala yararlıdır. Sanki yapay zekanın, eğer bu fırsatı doğru şekilde kullanacak kadar akıllıysa, yanlış zamanda *bir kez* bu moda girmesi gerekiyor. If Anyone Builds It'teki örnek kıyamet senaryosunda olan budur "Evreni döşe" tarzı bir süper zeka olmasa bile insanlık için işler yine de çok kötü giderdi. Ancak Yudkowsky'nin yapay zekayı bu şekilde hayal etme eğiliminin insanları yabancılaştırdığından endişeleniyorum. Ayrıca insanlık sonrası gelecek muhtemelen daha az kasvetli ve anlamsız olacaktır, ancak bu pek teselli değil