أنا أؤيد في الغالب نموذج Yudkowsky & Soares للذكاء الاصطناعي X-Risk ، لكنني أؤيد أقل مما كنت أؤيده في عالم ما قبل GPT3. أعتقد أنني أستطيع أن أعطي مخططا للمكان الذي تحولت إليه 1. يمكن أن نكون محظوظين يمكن أن يتضح أن التدريب المسبق على مجموعة من النص البشري يوجه نماذج الذكاء الاصطناعي إلى بنية من التفكير عالي المستوى يشبه الإنسان بدرجة كافية بحيث لا تجعلها الركيزة المختلفة جذريا غريبة بطرق ينتهي بها الأمر إلى الأهمية. هناك أمثلة مذهلة على أن LLMs يتصرفون بشكل غريب وغير إنساني ، ولكن أيضا أمثلة على كونهم بشريين بشكل مدهش بطرق عميقة. أعتقد أن هناك احتمالا حقيقيا ، وليس مجرد احتمال ، أن "الاهتمام بالمفاهيم الإنسانية عن العدالة والرحمة" يمكن أن يكون طريقة تتحول إلى بشر بطريقة عميقة لا أعتقد أن هذا أكثر ترجيحا ، ومن المثير للغضب أن نعلق آمالنا على أن نكون محظوظين. لكني أرى أن يودكوفسكي يرفض الفرصة بشكل مفرط 2. وضع استراتيجية باردة حول كيفية تحسين الكون لبعض الأشياء المحددة الغريبة التي يهتم بها الذكاء الاصطناعي ليس من المحتمل بشكل خاص لا أرى حقا أي شيء مثل الذكاء الاصطناعي اليوم لديه وصول استبطاني كبير إلى ما يهتمون به. لا أراهم حريصين بشكل خاص على التعامل مع الأشياء بأسلوب "بلاط الكون" المثالي للوكيل. أوافق على أنه في حدود القدرات ، سيكون الوكلاء الأذكياء على هذا النحو. لكن نموذجنا الحالي للذكاء الاصطناعي هو منفذ الأدوار على مستوى عميق ، على عكس البشر. سيتعين عليهم تبني دور "الذكاء الخارق الشرير / هنري كيسنجر" ، وأنا في الواقع أؤمن باستراتيجيات المواءمة الحالية الخاصة بنا لجعل الذكاء الاصطناعي مترددا للغاية في تبني دور * هذا * لدي انطباع بأن Yudkowsky و Milleu لا يزالان عالقين في الأفكار التي كانت منطقية عندما كان علينا التفكير في الشكل الذي سيبدو عليه الذكاء الاصطناعي من المبادئ الأولى. ومع ذلك ، لا تزال هذه الأشياء مفيدة. مثل الذكاء الاصطناعي يحتاج فقط إلى الانزلاق إلى هذا الوضع * مرة واحدة * ، في الوقت الخطأ ، إذا كان ذكيا بما يكفي لاستخدام تلك الفرصة بالطريقة الصحيحة. هذا ما يحدث في سيناريو الموت المثال في إذا قام أي شخص ببنائه ستظل الأمور تسير بشكل سيء للغاية بالنسبة للبشرية حتى بدون ذكاء خارق على غرار "بلاط الكون". لكنني قلق من أن ميل يودكوفسكي لتخيل الذكاء الاصطناعي بهذه الطريقة ينفر الناس. كما أن مستقبل ما بعد الإنسانية من المحتمل أن يكون أقل كآبة وعديم المعنى ، على الرغم من أن هذا ليس الكثير من العزاء