Tôi chủ yếu ủng hộ mô hình rủi ro AI của Yudkowsky & Soares, nhưng tôi ủng hộ ít hơn so với trước thế giới GPT-3. Tôi nghĩ tôi có thể đưa ra một phác thảo về nơi tôi đã thay đổi. 1. Chúng ta có thể gặp may mắn. Có thể hóa ra rằng việc huấn luyện trước trên một tập hợp văn bản của con người sẽ hướng dẫn các mô hình AI vào một cấu trúc tư duy cấp cao đủ giống con người đến mức nền tảng khác biệt hoàn toàn không khiến chúng trở nên kỳ quặc theo những cách quan trọng. Có những ví dụ nổi bật về các LLM hành động kỳ quặc và không giống con người, nhưng cũng có những ví dụ về chúng trở nên đáng ngạc nhiên giống con người theo những cách sâu sắc. Tôi nghĩ có một xác suất thực, không chỉ là khả năng, rằng "quan tâm đến những khái niệm công lý và lòng từ bi của con người" có thể là một cách mà chúng trở nên giống con người theo một cách sâu sắc. Tôi không nghĩ điều này có khả năng xảy ra hơn là không, và thật vô lý khi chúng ta phải đặt hy vọng vào việc gặp may. Nhưng tôi thấy Yudkowsky quá coi thường cơ hội này. 2. Lập kế hoạch một cách lạnh lùng về cách tối ưu hóa vũ trụ cho một điều gì đó kỳ quặc mà AI quan tâm không phải là điều có khả năng xảy ra. Tôi thực sự không thấy bất kỳ điều gì giống như các AI ngày nay có khả năng tự nhận thức tốt về những gì chúng quan tâm. Tôi không thấy chúng đặc biệt muốn tiếp cận mọi thứ theo kiểu "đại lý lý tưởng - trải rộng vũ trụ". Tôi đồng ý rằng trong giới hạn khả năng, các tác nhân thông minh sẽ như vậy. Nhưng mô hình AI hiện tại của chúng ta là những người thực hiện vai trò ở một mức độ sâu sắc, không khác gì con người. Chúng sẽ phải nhận vai "siêu trí tuệ xấu / Henry Kissinger", và tôi thực sự có niềm tin vào các chiến lược căn chỉnh hiện tại của chúng ta để khiến AI cực kỳ miễn cưỡng nhận *vai trò đó*. Tôi có cảm giác rằng Yudkowsky và môi trường của ông vẫn mắc kẹt trong những ý tưởng có ý nghĩa khi chúng ta phải lý luận về AI sẽ trông như thế nào từ các nguyên tắc cơ bản. Những điều đó vẫn hữu ích, mặc dù. Như AI chỉ cần trượt vào chế độ đó *một lần*, vào thời điểm sai, nếu nó đủ thông minh để sử dụng cơ hội đó theo cách đúng đắn. Đó là điều xảy ra trong kịch bản thảm họa ví dụ trong "Nếu ai đó xây dựng nó". Mọi thứ vẫn sẽ diễn ra rất tồi tệ cho nhân loại ngay cả khi không có siêu trí tuệ kiểu "trải rộng vũ trụ". Nhưng tôi lo lắng rằng xu hướng của Yudkowsky trong việc tưởng tượng AI theo cách đó khiến mọi người xa lánh. Ngoài ra, tương lai hậu nhân loại có thể sẽ ít ảm đạm và vô nghĩa hơn, mặc dù điều đó không phải là sự an ủi lớn.