Susțin în mare parte modelul Yudkowsky&Soares de AI X-Risk, dar susțin mai puțin decât în lumea pre-GPT3. Cred că aș putea da o schiță a locului în care m-am schimbat 1. Am putea avea noroc S-ar putea dovedi că preantrenamentul pe un corpus de text uman ghidează modelele AI într-o structură de gândire la nivel înalt care este suficient de umană încât substratul radical diferit să nu le facă ciudate în moduri care ajung să conteze. Există exemple izbitoare de LLM care se comportă ciudat și inuman, dar și exemple de a fi surprinzător de umani în moduri profunde. Cred că există o probabilitate reală, nu doar o posibilitate, că "grija de noțiunile umane de dreptate și compasiune" ar putea fi o modalitate prin care se dovedesc a fi umani într-un mod profund Nu cred că acest lucru este mai probabil decât nu, și este scandalos că trebuie să ne punem speranțele în a avea noroc. Dar îl văd pe Yudkowsky ca fiind prea disprețuitor față de șansă 2. Strategii reci despre cum să optimizeze universul pentru un lucru ciudat de care îi pasă AI-ului nu este deosebit de probabil Chiar nu văd nimic asemănător cu AI-urile de astăzi care să aibă un acces introspectiv excelent la ceea ce le pasă. Nu îi văd deosebit de dornici să abordeze lucrurile în stilul agentului ideal. Sunt de acord că în limita capacităților, agenții inteligenți vor fi așa. Dar paradigma noastră actuală a IA sunt executori de roluri la un nivel profund, nu spre deosebire de oameni. Ar trebui să adopte rolul de "superinteligență malefică / Henry Kissinger" și chiar am încredere în strategiile noastre actuale de aliniere pentru a face AI extrem de reticentă în a adopta *acesta* rol Am impresia că Yudkowsky și Milleu sunt încă blocați pe idei care aveau sens pe vremea când trebuia să raționăm despre cum ar arăta IA din primele principii. Totuși, aceste lucruri sunt încă utile. De exemplu, AI trebuie să alunece în acel mod *o singură dată*, la momentul nepotrivit, dacă este suficient de inteligent pentru a folosi acea oportunitate în mod corect. asta se întâmplă în exemplul de scenariu doom din If Anyone Builds It Lucrurile ar merge foarte prost pentru umanitate chiar și fără o superinteligență în stilul "țiglă universul". Dar mă îngrijorează faptul că tendința lui Yudkowsky de a-și imagina AI în acest fel îi înstrăinează pe oameni. De asemenea, viitorul post-umanității ar fi probabil mai puțin sumbru și lipsit de sens, deși asta nu este o consolare prea mare