Kannatan enimmäkseen Yudkowsky&Soaresin tekoälyn X-riskin mallia, mutta kannatan sitä vähemmän kuin GPT3:a edeltävässä maailmassa. Luulen, että voisin antaa pääpiirteittäin sen, missä olen siirtynyt 1. Meillä voi olla onnea Voi osoittautua, että ihmistekstikorpuksen esikoulutus ohjaa tekoälymalleja korkean tason ajattelun rakenteeseen, joka on tarpeeksi ihmisen kaltainen, jotta radikaalisti erilainen substraatti ei tee niistä outoja tavoilla, joilla on lopulta merkitystä. On silmiinpistäviä esimerkkejä LLM:istä, jotka käyttäytyvät oudosti ja epäinhimillisesti, mutta myös esimerkkejä siitä, että ne ovat yllättävän inhimillisiä syvällisillä tavoilla. Mielestäni on olemassa todellinen todennäköisyys, ei vain mahdollisuus, että "välittäminen ihmisten käsityksistä oikeudenmukaisuudesta ja myötätunnosta" voisi olla tapa, jolla he osoittautuvat syvällä tavalla inhimillisiksi En usko, että tämä on todennäköisempää kuin ei, ja on pöyristyttävää, että meidän on pantava toivomme onneen. Mutta mielestäni Yudkowsky suhtautuu tilaisuuteen liian vähättelevänä 2. Kylmä strategia siitä, kuinka optimoida maailmankaikkeus johonkin outoon erityiseen asiaan, josta tekoäly välittää, ei ole erityisen todennäköistä En todellakaan näe mitään sellaista, että nykypäivän tekoälyillä olisi suuri itsetutkiskeleva pääsy siihen, mistä he välittävät. En näe heidän olevan erityisen innokkaita lähestymään asioita ideaaliagenttien "laatoittaa universumi" -tyyliin. Olen samaa mieltä siitä, että kykyjen rajoissa älykkäät agentit ovat sellaisia. Mutta nykyinen tekoälyparadigmamme on roolien toteuttaja syvällä tasolla, aivan kuten ihmiset. Heidän pitäisi omaksua "pahan superälyn / Henry Kissingerin" rooli, ja uskon itse asiassa nykyisiin linjausstrategioihimme, jotta tekoäly olisi erittäin haluton omaksumaan *tuota* roolia Minusta tuntuu, että Yudkowsky ja hänen Milleunsa ovat edelleen jumissa ideoissa, jotka olivat järkeviä silloin, kun meidän piti järkeillä, miltä tekoäly näyttäisi ensimmäisistä periaatteista. Se on kuitenkin edelleen hyödyllistä. Kuten tekoälyn tarvitsee vain liukua tuohon tilaan *kerran*, väärään aikaan, jos se on tarpeeksi älykäs käyttääkseen sitä yhtä tilaisuutta oikealla tavalla. näin tapahtuu Jos joku rakentaa sen -elokuvan tuomioskenaariossa Ihmiskunnan asiat menisivät edelleen erittäin huonosti jopa ilman "Tile the Universe" -tyylistä superälyä. Mutta olen huolissani siitä, että Yudkowskyn taipumus kuvitella tekoäly tällä tavalla vieraannuttaa ihmisiä. Myös ihmiskunnan jälkeinen tulevaisuus olisi luultavasti vähemmän synkkä ja merkityksetön, vaikka se ei olekaan paljon lohtua