📢 EXKLUZIVNĚ PRO NOVÉ DEBATY O ZKÁZE: Rozhovor s Robem Milesem (@robertskmiles), nejpopulárnějším školitelem v oblasti bezpečnosti umělé inteligence na YouTube! Je překvapivé, že Rob začínal v roce 2011, dlouho předtím, než ChatGPT přitáhl k tomuto oboru pozornost hlavního proudu. Mluvíme o: 👉 Proč se jeho P (Zkáza) pohybuje mezi 10-90 %, v závislosti na tom, jak lidstvo na výzvu zareaguje 👉 Proč ani dokonale sladěné systémy umělé inteligence nemusí předávat své hodnoty nástupnickým systémům - masivní slepá skvrna v současné bezpečnostní práci 👉 Problém "chybějící nálady": proč lidé diskutují o potenciálním vyhynutí lidstva s emocionální naléhavostí akademické konference, místo aby k němu přistupovali jako k naléhavé situaci, kterou je 👉 Jeho hlavní scénář zkázy prostřednictvím rekurzivního sebezdokonalování a proč je nad lidskou inteligencí obrovský prostor 👉 Zda jsou lidé "nejméně inteligentním druhem schopným technologické civilizace" - a co to znamená pro to, čeho by mohly dosáhnout chytřejší systémy 👉 Náš klíčový nesouhlas: Rob si myslí, že lidé z oblasti bezpečnosti by měli pracovat uvnitř společností zabývajících se umělou inteligencí pro snižování škod, zatímco já tvrdím, že to umožňuje "praní poddajnosti", které legitimizuje zásadně bezohledné podniky 👉 Komunikační strategie - Rob přemýšlí, zda jeho odměřený britský přístup nepostrádá něco zásadního, a možná někdo potřebuje "pobíhat kolem a křičet", aby vyjádřil odpovídající naléhavost Rob strávil více než deset let snahou probudit lidi k tomu, aby si uvědomili nejdůležitější výzvu lidstva. Náš rozhovor odhaluje napětí mezi odůvodněnou analýzou a existenciální nouzí. Vřele doporučuji!

Neuvěřitelný rozhovor. Gratulujeme @liron Rád jsem slyšel @VitalikButerin pokrýt tolik aspektů prostředí umělé inteligence. Jsem do rozhovoru na 50 % a zatím se mi líbí!

Připravte se na @robertskmiles...

Jak byla Idiokracie tak přesná

Je legrační, že ekonomické vzdělávání paradoxně dělá lidi hloupějšími při přemýšlení o budoucí umělé inteligenci. Učebnice ekonomie učí koncepty a rámce, které jsou skvělé pro většinu věcí, ale kontraproduktivní pro přemýšlení o AGI. Zde jsou 4 příklady. Dlouhý příspěvek: První kousek ekonomické antipedagogiky se skrývá ve slovech "práce" a "kapitál". Tato slova spojují povrchní rozdíl (člověk z masa a kostí vs. ne) se svazkem nevyřčených předpokladů a intuic, které budou všechny rozbity obecnou umělou inteligencí (AGI). "AGI" zde myslím "svazek čipů, algoritmů, elektřiny a/nebo dálkově ovládaných robotů, kteří mohou autonomně dělat věci, které mohou dělat ambiciózní dospělí lidé – zakládat a řídit nové společnosti, výzkum a vývoj, učit se novým dovednostem, používat libovolné dálkově ovládané roboty po velmi malé praxi, atd." Ano, já vím, to ještě neexistuje! (Navzdory humbuku o opaku.) Zkuste požádat LLM, aby samostatně napsal podnikatelský plán, založil společnost a poté ji roky řídil a rozvíjel jako generální ředitel. Cha! Zhroutí se a spálí! Ale to je omezení dnešních LLM, ne "všech AI navždy". Umělá inteligence, která by mohla tento úkol zvládnout, a mnohem více, je zjevně možná – lidské mozky, těla a společnosti nejsou poháněny nějakou magickou magií, která je navždy mimo dosah vědy. Já osobně takovou umělou inteligenci očekávám během svého života, v dobrém i ve zlém. (Pravděpodobně "horší", viz níže.) Je tento druh AGI "prací" nebo "kapitálem"? No, není to člověk z masa a kostí. Ale v mnoha dalších ohledech se to více podobá "práci" než "kapitálu": • Kapitál nemůže prostě vstát a dělat věci sám? AGI může. • Integrace nových technologií do ekonomiky trvá dlouho? Zeptejte se sami sebe: jak se vysoce kvalifikovaným, zkušeným a podnikavým přistěhovalcům daří okamžitě integrovat do ekonomiky? Jakmile odpovíte na tuto otázku, všimněte si, že AGI bude schopna dělat tyto věci také. • Kapitál leží ladem, pokud neexistují lidé, kteří by byli ochotni a schopni jej využít? No, tihle přistěhovalci nesedí nečinně. A ani AGI. Kapitál nemůže hájit politická práva nebo zahájit převraty? Dobře... Každopádně lidé vidí sci-fi filmy o robotech a chápou to! Pak chodí na kurzy ekonomie a to je dělá hloupějšími. (Ano, já vím, #NotAllEconomists atd.) Druhým dílem ekonomické antipedagogiky je vštěpování výchozího předpokladu, že je možné, aby se trh vyrovnal. Ale trh pro AGI nemůže: AGI kombinuje vlastnost trhů práce s vlastností produktových trhů, kde se tyto vlastnosti vzájemně vylučují. Jedná se o tyto vlastnosti: (A) "ŽÁDNÝ KUS PRÁCE": Pokud lidská populace vzroste, mzdy klesnou ve velmi krátkodobém horizontu, protože křivka poptávky po práci se svažuje dolů. Ale v delším horizontu si lidé najdou nové produktivní věci – křivka poptávky se posune doprava. Hodnota práce stoupá, ne klesá, s populací! Např. hustě osídlená města jsou motorem růstu! (B) "KŘIVKY ZKUŠENOSTÍ": Pokud poptávka po produktu roste, dochází ve velmi krátkodobém horizontu k růstu ceny, protože křivka nabídky se svažuje nahoru. V delším časovém horizontu však lidé zvyšují výrobu – křivka nabídky se pohybuje doprava. Pokud něco, cena klesá, ne stoupá, s poptávkou, a to díky úsporám z rozsahu a výzkumu a vývoji. KVÍZ: Vezmeme-li v úvahu body (A) a (B), jaká je rovnovážná cena tohoto balíku AGI (čipy, algoritmy, elektřina, dálkově ovládaní roboti atd.)? … Záludná otázka! Neexistuje žádná rovnováha. Naše dva principy, (A) "žádný kus práce" a (B) "křivky zkušeností", znemožňují rovnováhu: • Pokud je cena nízká, (A) říká, že poptávková křivka se žene doprava – není zde žádný kus práce, a proto je zde obrovský zisk, který mohou dosáhnout kvalifikovaní podnikatelé, kteří hledají nové produktivní věci, které by mohli dělat. • Pokud je cena vysoká, (B) říká, že křivka nabídky se žene doprava – zvýšením výroby AGI lze dosáhnout obrovského zisku. • Pokud je cena mezi, pak poptávková křivka i křivka nabídky OBĚ závodí doprava! To není ani kapitál, ani práce, jak ji známe. Místo toho, aby se trh s AGI vyrovnal, vytváří pozitivní zpětnovazební smyčku / perpetuum mobile, které exponenciálně vybuchuje. Zní to absurdně? Existuje precedens: lidé! Lidský svět jako celek je již pozitivní zpětnovazební smyčkou / perpetuum mobile tohoto typu! Lidé se vylepšili z několika tisíc homininů na 8 miliard lidí, kteří provozují ekonomiku za 80 bilionů dolarů. Jak? Není to doslova perpetuum mobile. Spíše je to motor, který čerpá ze studnice "dosud nevyužitých ekonomických příležitostí". Ale pamatujte na "Žádný kus práce": studna dosud nevyužitých ekonomických příležitostí je ~nekonečně hluboká. Nedošly nám žádné možné firmy k založení. Nikdo zatím nevytvořil roj Dyson. Je jen omezený počet lidí, kteří mohou zakládat společnosti a využívat nové příležitosti. Ale pozitivní zpětnovazební smyčka AGI nemá žádný takový limit. Doba zdvojnásobení může být skutečně krátká: Představte si autonomní továrnu, která dokáže postavit identickou autonomní továrnu, která pak postaví další dvě atd., a to jen za použití široce dostupných vstupních materiálů a slunečního světla. Učebnice ekonomie o tom nemluví. Ale učebnice biologie ano! Sinice je taková továrna a může se zdvojnásobit za den (≈ procenta googolu roční tempo 😛 růstu). V každém případě nevíme, jak výbušná bude pozitivní zpětná vazba z budování AGI AGI, ale očekávám, že bude světelné roky za čímkoli v ekonomické historii. Třetím prvkem antipedagogiky Econ je její podpora růstu HDP jako zástupného ukazatele pokroku a změny. Naopak, je možné, aby se svět proměnil v divokou sci-fi zemi mimo veškeré poznání nebo chápání každý měsíc, měsíc za měsícem, aniž by "růst HDP" byl ve skutečnosti tak vysoký. HDP je legrační metrika, která je obzvláště špatná při popisu dopadu transformativních technologických revolucí. (Pokud je například nějaká nová technologie levná a mezitím ostatní sektory ekonomiky zůstávají drahé kvůli regulačním omezením, pak by nová technologie nemusela mít velký dopad na HDP, bez ohledu na to, jak moc převrátí svět vzhůru nohama.) Chci říct, jistě, můžeme se hádat o HDP, ale neměli bychom to brát jako zástupnou bitvu o to, zda AGI bude nebo nebude velký problém. Posledním a nejdůležitějším a nejdůležitějším bodem antipedagogiky Econ je zaměření na "vzájemně prospěšné obchody" namísto "zabíjení lidí a braní jejich věcí". Econ 101 dokazuje, že obchodování je sobecky lepší než izolace. Ale někdy je "zabíjet lidi a brát jim jejich věci" sobecky nejlepší ze všech. Když mluvíme o AGI, mluvíme o vytvoření nového inteligentního druhu na Zemi, takového, který bude nakonec rychlejší, chytřejší, lépe koordinovaný a početnější než lidé. Normální lidé, lidé, kteří viděli sci-fi filmy o robotech a mimozemšťanech, lidé, kteří se naučili historii kolonialismu a otroctví, se zde okamžitě zeptají na spoustu rozumných otázek. "Jaké budou jejich pohnutky?" "Kdo bude mít tvrdou moc?" "Pokud se na začátku zdají být přátelští a spolupracující, mohli by nás bodnout do zad, až se stanou mocnějšími?" To jsou skvělé otázky! Tyto otázky bychom si rozhodně měli klást! (Mimochodem, toto je moje oblast odbornosti a jsem velmi pesimistický.) … A pak ti normální lidé chodí na hodiny ekonomie a skončí hloupější. Přestanou si tyto otázky klást. Místo toho se "naučí", že AGI je "kapitál", něco jako vstřikovací stroj. Vstřikovací stroje by nevyhladily lidi a neřídily svět samy. Takže jsme v pohodě. Cha.

.@paulg musí být fanouškem paní Rachel. Oba používají stejný úhybný trik: zacházejí se dvěma uzly (izraelská akce)→ (civilní oběti) jako s celým kauzálním kontextem, na němž se lze vyjádřit. Ot: Mělo by být dovoleno lidským štítům fungovat? Odpověď: Život každého nebojovníka má stejnou hodnotu 🧘

Odvětví modelů AI Foundation překračující 25 miliard USD / rok Tržby znamenají, že tvorba hodnoty z tohoto sektoru překročila ~ 250 miliard USD / rok

Proč má @VitalikButerin 12% P (Doom)...

Mohli byste někomu z roku 2000 dát bič tím, že mu ukážete globální výrobní úspěch, kterým je moderní cílový vozík, a pak mu vysvětlíte, že se od nás nyní očekává, že všechny tyto věci budeme vozit v taškách vyrobených z PAPÍRU

Pokud respektujete @VitalikButerin a Vitalík @ESYudkowsky respektuje pak pomocí vlastnosti tranzitive...