Kirjoitin jotain tästä, mutta näin, että @anton_d_leicht voitti minut siihen (ja teki siinä paljon parempaa työtä!). Joten lisään vain keskeneräiset ajatukseni, joista osa on päällekkäisiä hänen kanssaan: ----- Olen kirjoittanut kohtuullisen paljon edistyneemmän tekoälyn tulosta. Mutta vaikka pidän edelleen todennäköisenä, että saamme jotain "AGI:n" kaltaista seuraavan kahden vuosikymmenen aikana, pidän myös todennäköisenä, että saamme jotain "tekoälytalven" kaltaista väliin. Joten miksi et kirjoittaisi myös siitä? Mielestäni se on tärkeää seuraavista syistä: – Tekoälytalvi EI ehkä ole kovin informatiivinen siitä, olemmeko pitkällä aikavälillä (vuosikymmeniä vuosien sijaan) menossa kohti jotain AGI:n kaltaista. – Useimmat ihmiset pitävät tekoälytalvea erittäin informatiivisena AGI:n toteutettavuudesta. – Lopputulos on AGI, ei se, onko tekoälytalvi edessä vai ei. Useimpien ihmisten (ja päättäjien) käsityksillä on merkitystä. Tekoälytalvi (ja siitä johtuva investointikuplan puhkeaminen) voi luoda ajanjakson, jolloin puheet tulevaisuuden kehittyneen tekoälyn riskeistä ja hyödyistä muuttuvat täysin radioaktiivisiksi. Jos yleisen älykkyyden ydinsuuntaus jatkuu, vaikka emme edisty politiikassa, meillä on vähemmän aikaa muokata tekoälyn kehitystä positiivisesti [ Kuvittele tämä pessimistinen skenaario: On vuosi 2028. Asiat, jotka ennen toimivat, eivät enää toimi. Esikoulutuksen skaalaaminen alkoi tuottaa voimakkaasti laskevaa tuottoa vuonna 2025. Skaalauspäättely seurasi esimerkkiä. Synteettinen data toimi jonkin aikaa, mutta sai mallit lähentymään vain uutta kattoa. Muutamia muita innovaatioita tapahtui, jotka tekivät LLM:istä älykkäämpiä ja hyödyllisempiä. Mutta ne ovat silti vain LLM:iä, melko hauraita eivätkä aivan hyviä automatisoimaan töitä, vaikka ne ovatkin kunnossa kirjoitustehtävien automatisoinnissa. Agentit etenevät odotettua hitaammin. Kävi ilmi, että itseohjattu oppiminen tekstistä oli erityisen helppo harjoitussignaali luoda. Itseohjattua oppimista tietokoneen käytössä ja RL:ää on paljon vaikeampi määrittää oikein. Ihmiset tekevät valtavia simulaatioita ja kouluttavat niihin agentteja, mutta ne yleistyvät suhteellisen huonosti. Ihmiset viittaavat AI 2027:n kaltaisiin asioihin ja näkevät sellaisen kuilun "odotusten" ja todellisuuden välillä, että he sanovat, että se kaikki oli hypeä. Tekoälylaboratoriot eivät voi enää perustella valtavia harjoitusajoja; Laskenta menee vain hukkaan yhä pienempiin marginaalisiin parannuksiin. Ehkä meillä oli muutama läpimurto kontekstin pituuden ja jatkuvan oppimisen suhteen, mutta ne eivät riitä. Investoinnit tekoälyyn romahtavat. Joten myös T&K-toiminta laskee. Tekoälyn tulevaisuudesta puhuminen muuttuu radioaktiiviseksi. Kaikki spekulaatiot tulevaisuuden kyvyistä hukkuvat "realisteihin", jotka viittaavat viime vuosien pettymyksen tuottaneeseen kehitykseen. Tässä skenaariossa vuonna 2028 tämä näyttäisi monille (useimmille?) tarinan lopulta. Tekoäly on hyvä, mutta siitä tuli vain niin hyvä. Ja siinä se. Tämä tarkoittaa, että ei AGI:tä, ei transformatiivisia vaikutuksia, ei edistyksen kulta-aikaa eikä tietenkään riskejä, jotka ovat pahempia kuin syväväärennökset. Mutta kuinka kauan tekoälytalvi kestäisi? On mahdollista, että se kestää ikuisesti tai ainakin muutaman vuosikymmenen. Vastoin 1900-luvun alun trendeistä johdettuja todennäköisyyksiä saatamme törmätä perustavanlaatuiseen rajaan. Asiantuntijat päätyvät kertomaan meille, että aivojen ja grafiikkasuorittimen analogia oli liian karkea – minkä me kaikki tiesimme jo – mutta kävi ilmi, että eroilla on merkitystä siirryttäessä tekstin ennustajasta yleiseksi agentiksi. Tai tarvitsimme aivojen kvanttiprosesseja luodaksemme tietoisen huomion paikan, mikä – osoittautuu – oli välttämätöntä korkeimman asteen toiminnan saamiseksi. Tai se ei ollut kvanttiprosesseja sinänsä, vaan aivojen tarjoamaa pitkälle toisiinsa kytkeytynyttä "laitteistoa", jota voidaan simuloida GPU:iden suorittamassa enimmäkseen rinnakkaisessa prosessoinnissa. Mutta jälleen kerran, kuten käy ilmi, nämä simulaatiot eivät riitä, ja tarvitsemme itse asiassa neuromorfisia siruja luodaksemme kyvykkäitä agentteja, eivätkä ne ole saatavilla viiteen vuosikymmeneen. Sinun ei tarvitse ajatella, että mikään näistä epäonnistumistarinoista on uskottavaa ajatellaksesi, että meiltä saattaa puuttua jokin ainesosa AGI-reseptistä, ja ainesosaa voi olla vaikea tai mahdoton saada tällä vuosisadalla, kuten se oli joka ikinen vuosisata ennen tätä. Tekoälytalvi voi kuitenkin olla myös lyhyt. Olemme jo tottuneet ominaisuuksien askeltoimintojen lisäämiseen, jolloin saamme vain vähän vaikuttavia päivityksiä suurten harjoitusten välissä. Jos muutama harjoituslenkki ei mene odotetulla tavalla, se tarkoittaa vain sitä, että olemme jumissa paljon pidemmällä tasangolla, kun seuraavan askeleen muutoksen ainekset kasaantuvat ja kasvavat tarvittavaan kynnykseen. Silti odotettua pidempi alivoimainen edistysjakso voi laukaista monia samoja prosesseja kuin pidemmän talven. "Skaalauslait" ovat empiirinen havainto, eivät luontainen tosiasia maailmasta. Trendit voivat ehdottomasti loppua tai hidastua merkittävästi. Koska useimmilla ihmisillä – ja erityisesti useimmilla "ulkopuolisilla", jotka eivät seuraa tekoälyn kehitystä – on taipumus aliarvioida näiden trendien merkitystä, tekoälyn parissa työskentelevät ihmiset polarisoituvat joskus negatiivisesti ja heistä tulee liian absolutistisia (tässä satiirisesti) [ skaalauslakien ennustavasta voimasta. Kyllä, voisimme olla toisessa Mooren lain [ tilanteessa tekoälyominaisuuksien kanssa. Mutta monet näennäisesti vakaat trendit pysähtyvät ajan myötä – muistamme Mooren lain juuri siksi, että se on poikkeuksellinen. Lopuksi, tekoälytalvea ei ehkä tule ollenkaan. Saatamme saada tekoälyn tasaisesti paranevan rajan säännöllisistä "peloista" huolimatta aina, kun tekoäly näyttää törmäävän seinään juuri ennen sen murskaamista. Tai saatamme saada paremman rajan, kun suuri osa kääreyritysten ja pienempien tekoälyn startup-yritysten "kuplasta" puhkeaa. Lopputulos on: taustalla on ydinsuuntaus [ kohti yhä yleisempää älykkyyttä. Ja juuri tällä trendillä on merkitystä. Ei sitä, vievätkö LLM:t meidät sinne vai pääsemmekö sinne väliaikaisella tekoälytalvella vai ilman. Aivomme ovat todiste siitä, että yleiset päättelytekijät ovat saavutettavissa, ja nykypäivän tekoälyjärjestelmät ovat todiste siitä, että päättelyämme voidaan likimääräisesti arvioida (riippumatta siitä, onko se "todellista päättelyä") erittäin monimutkaisilla aloilla. On mahdollista, että jotkut yllä hahmottelemistani pessimistisistä ennusteista pitävät paikkansa, kuten koneälyn perustavanlaatuisten rajojen saavuttaminen. Mutta eksponentiaalisesti kasvavan laskennan, koulutusdatan ja tuhansien uusien algoritmien parissa työskentelevien nerojen painekattila näyttää lopulta johtavan kehittyneeseen älykkyyteen. Ja jos haluamme saada sen oikein, meidän on parempi keskittyä siihen, eikä tuloksiin, jotka vain korreloivat sen kanssa. On järkevää panostaa ja ajatella paljon tuloksia, joissa saamme transformatiivisen tekoälyn nopeasti. Mutta älä valitse epäolennaisia kukkuloita, joilla kuolla [ Puheen ollen, mitä tapahtuu, jos kupla puhkeaa? Epäonnistuuko Anthropic muiden tekoälylaboratorioiden, kuten Google DeepMindin tai Metan, kanssa, joilla ei ole monipuolisempia tuloja? Minne XAI:n työntekijät menevät, jos tapahtuu suuri maastamuutto? Pystyisivätkö ainakin jotkut rajalaboratoriot jatkamaan rajojen työntämistä, vaikka suuri osa pienemmistä startupeista ja investoinneista menisi konkurssiin? Meidän on parempi yrittää selvittää se, samoin kuin yritämme selvittää, mitä tehdä olettaen, että trendit jatkuvat. Jos sinulla on ideoita, DM-viestini ovat avoimia.