Jeg støtter stort sett Yudkowsky&Soares modell for AI X-risiko, men jeg støtter mindre av den enn jeg gjorde i pre-GPT3-verdenen. Jeg regner med at jeg kan gi en oversikt over hvor jeg har flyttet 1. Vi kan være heldige Det kan vise seg at forhåndstrening på et korpus av menneskelig tekst leder AI-modeller inn i en struktur av tanker på høyt nivå som er menneskelignende nok til at det radikalt annerledes substratet ikke gjør dem rare på måter som ender opp med å bety noe. Det er slående eksempler på at LLM-er oppfører seg rart og umenneskelig, men også eksempler på at de er overraskende menneskelige på dype måter. Jeg tror det er en reell sannsynlighet, ikke bare mulighet, at «å bry seg om menneskelige forestillinger om rettferdighet og medfølelse» kan være en måte de viser seg å være menneskelige på en dyp måte Jeg tror ikke dette er mer sannsynlig enn ikke, og det er opprørende at vi må sette vårt håp til å være heldige. Men jeg ser på Yudkowsky som altfor avvisende til sjansen 2. Kald strategi om hvordan man kan optimalisere universet for en merkelig spesifikk ting AI bryr seg om er ikke spesielt sannsynlig Jeg kan virkelig ikke se noe som ligner på at dagens AI-er har stor introspektiv tilgang til det de bryr seg om. Jeg ser ikke at de er spesielt opptatt av å nærme seg ting i den ideelle agenten "Tile the Universe"-stilen. Jeg er enig i at i grensen for evner vil intelligente agenter være slik. Men vårt nåværende paradigme for AI-er er rolleutøvere på et dypt nivå, ikke ulikt mennesker. De må ta på seg rollen som «ond superintelligens / Henry Kissinger», og jeg har faktisk tro på at våre nåværende tilpasningsstrategier gjør AI ekstremt motvillig til å ta på seg *den* rollen Jeg får inntrykk av at Yudkowsky og hans Milleu fortsatt sitter fast på ideer som ga mening den gangen vi måtte resonnere om hvordan AI ville se ut fra første prinsipp. Det er imidlertid fortsatt nyttig. Som at AI bare trenger å gli inn i den modusen *én gang*, til feil tid, hvis den er smart nok til å bruke den ene muligheten på riktig måte. det er det som skjer i eksempelet på undergangsscenariet i Hvis noen bygger det Ting ville fortsatt gå veldig dårlig for menneskeheten selv uten en superintelligens i "Tile the Universe"-stil. Men jeg er bekymret for at Yudkowskys tendens til å forestille seg AI på den måten fremmedgjør folk. Også fremtiden etter menneskeheten ville sannsynligvis være mindre dyster og meningsløs, selv om det ikke er mye trøst