Eu estava escrevendo algo sobre isso, mas veja @anton_d_leicht me superou (e fez um trabalho muito melhor nisso!). Então, vou apenas adicionar meus pensamentos incompletos, alguns sobrepostos aos dele: ----- Eu escrevi uma quantidade decente sobre a vinda de uma IA mais avançada. Mas, embora eu ainda ache provável que tenhamos algo como "AGI" nas próximas duas décadas, também acho que é provável que tenhamos algo como um "inverno de IA" no meio. Então, por que não escrever sobre isso também? Eu acho que é importante, por causa do seguinte: - Um inverno de IA pode NÃO ser muito informativo sobre se, a longo prazo (décadas em vez de anos), estamos caminhando para algo como AGI. – A maioria das pessoas perceberá um inverno de IA como muito informativo sobre a viabilidade da AGI. – O resultado que importa é a AGI, não se há ou não um inverno de IA antes dela. As percepções da maioria das pessoas (e dos formuladores de políticas) são importantes. Um inverno de IA (e o estouro da bolha de investimento resultante) pode criar um período de tempo em que qualquer conversa sobre os riscos e benefícios da futura IA avançada se torna totalmente radioativa. Se a tendência central em direção à inteligência geral continuar enquanto não progredirmos na política, teremos menos tempo para moldar positivamente o desenvolvimento da IA [ Imagine este cenário pessimista: o ano é 2028. Coisas que costumavam funcionar não estão mais funcionando. O pré-treinamento em escala começou a dar retornos fortemente decrescentes em 2025. A inferência de escala seguiu o exemplo. Os dados sintéticos funcionaram por um tempo, mas apenas fizeram os modelos convergirem para perto de um novo teto. Algumas outras inovações aconteceram, tornando os LLMs mais inteligentes e úteis. Mas eles ainda são apenas LLMs, muito frágeis e não muito bons em automatizar trabalhos, mesmo que sejam bons em automatizar tarefas de escrita. Os agentes estão progredindo mais lentamente do que o previsto. Acontece que o aprendizado auto-supervisionado a partir de texto foi um sinal de treinamento particularmente fácil de gerar. O aprendizado auto-supervisionado no uso do computador e o RL são muito mais difíceis de configurar adequadamente. As pessoas estão fazendo grandes simulações e treinando agentes nelas, mas elas generalizam relativamente mal. As pessoas apontam para coisas como AI 2027 e veem uma lacuna entre "expectativa" e realidade, que dizem que foi tudo exagero. Os laboratórios de IA não podem mais justificar grandes execuções de treinamento; A computação está sendo desperdiçada por melhorias marginais cada vez menores. Talvez tenhamos tido alguns avanços na duração do contexto e no aprendizado contínuo, mas eles não são suficientes. O investimento em IA despenca. Portanto, a pesquisa e o desenvolvimento também caem. Falar sobre o futuro da IA torna-se radioativo. Qualquer especulação sobre capacidades futuras é afogada por "realistas" que apontam os últimos anos de progresso decepcionante. Nesse cenário, em 2028, isso pareceria para muitos (a maioria?) como o fim da história. A IA é boa, mas só seria tão boa. E é isso. Isso significa que não há AGI, sem impactos transformadores, sem era de ouro do progresso e, claro, sem riscos piores do que deepfakes. Mas quanto tempo duraria um inverno de IA? É possível que dure para sempre, ou pelo menos demore algumas décadas. Contra as probabilidades derivadas das tendências do início do século 20, podemos atingir um limite fundamental. Os especialistas acabam nos informando que a analogia cérebro-GPU era muito grosseira – o que todos nós já sabíamos – mas acontece que as diferenças são importantes para passar do preditor de texto para o agente geral. Ou precisávamos de processos quânticos no cérebro para gerar um locus consciente de atenção, o que - acontece - era necessário para obter o funcionamento de ordem mais alta. Ou não foram os processos quânticos em si, mas o "hardware" altamente interconectado que o cérebro fornece, que pode ser simulado no processamento paralelo que as GPUs realizam. Mas, novamente, essas simulações não são suficientes e realmente precisamos de chips neuromórficos para criar agentes capazes, e eles não estarão disponíveis por mais cinco décadas. Você não precisa pensar que nenhuma dessas histórias de fracasso em particular é plausível para pensar que pode estar faltando algum ingrediente na receita da AGI, e o ingrediente pode ser difícil ou impossível de obter neste século, o mesmo que foi em todos os séculos anteriores a este. O inverno da IA também pode ser curto, no entanto. Já estamos acostumados a um aumento de funções escalonadas nos recursos, onde recebemos poucas atualizações impressionantes entre grandes execuções de treinamento. Se algumas corridas de treinamento não saírem como esperado, isso significa apenas que ficaremos presos em um platô muito mais longo, enquanto os ingredientes para a próxima mudança de etapa se reúnem e atingem o limite necessário. Ainda assim, um período mais longo do que o esperado de progresso abaixo do esperado pode desencadear muitos dos mesmos processos de um inverno mais longo. "Leis de escala" são uma observação empírica, não um fato inerente sobre o mundo. As tendências podem terminar ou desacelerar significativamente. Como a maioria das pessoas – e especialmente a maioria dos "estranhos" que não acompanham o progresso da IA – tendem a subestimar a importância dessas tendências, as pessoas que trabalham com IA às vezes ficam negativamente polarizadas e se tornam muito absolutistas (aqui satiricamente) [sobre o poder preditivo das leis de escala. Sim, poderíamos estar em outra situação da Lei de Moore [ com recursos de IA. Mas muitas tendências aparentemente estáveis param com o tempo - lembramos da Lei de Moore precisamente porque é excepcional. Finalmente, pode não vir [um inverno de IA. Podemos obter uma fronteira de IA cada vez melhor, apesar dos "sustos" regulares sempre que a IA parece estar batendo em uma parede logo antes de esmagá-la. Ou podemos obter uma fronteira de melhoria à medida que grande parte da "bolha" para empresas de invólucro e startups de IA menores estoura. O resultado é: há uma tendência central subjacente [em direção à inteligência cada vez mais geral. E é essa tendência que importa. Não se os LLMs nos levarão até lá, ou se chegaremos lá com ou sem um inverno temporário de IA no meio. Nossos cérebros são a prova de que os raciocínios gerais são alcançáveis, e os sistemas de IA de hoje são a prova de que nosso raciocínio pode ser aproximado de forma útil (seja ou não "raciocínio real") em domínios altamente complexos. É possível que algumas das previsões mais pessimistas que descrevi acima estejam corretas, como atingir os limites fundamentais da inteligência da máquina. Mas a panela de pressão do aumento exponencial da computação, dos dados de treinamento e de milhares de gênios trabalhando em novos algoritmos parece levar à inteligência avançada. E se quisermos acertar, é melhor nos concentrarmos nisso, em vez de resultados que apenas se correlacionam com isso. Faz sentido colocar muito esforço e pensar nos resultados em que obtemos uma IA transformadora rapidamente. Mas não escolha colinas irrelevantes para morrer [ Falando nisso, o que acontece se a bolha estourar? A Anthropic falha, ao lado de outros laboratórios de IA que não têm renda mais diversificada, como Google DeepMind ou Meta? Para onde vão os funcionários da XAI se houver um grande êxodo? Pelo menos alguns dos laboratórios de fronteira seriam capazes de continuar empurrando a fronteira, mesmo que muitas das startups e investimentos menores falissem? É melhor tentarmos descobrir, da mesma forma que tentamos descobrir o que fazer, supondo que as tendências continuem. Se você tem ideias, meus DMs estão abertos.