Eu estava escrevendo algo sobre isso, mas vejo que @anton_d_leicht me ultrapassou (e fez um trabalho muito melhor!). Então, vou apenas adicionar meus pensamentos incompletos, alguns se sobrepondo aos dele: ----- Escrevi uma quantidade razoável sobre a chegada de uma IA mais avançada. Mas, embora ainda ache provável que teremos algo como "AGI" nas próximas duas décadas, também acho provável que teremos algo como um "inverno da IA" no meio do caminho. Então, por que não escrever sobre isso também? Acho que é importante, por causa do seguinte: – Um Inverno da IA pode NÃO ser muito informativo sobre se, a longo prazo (décadas em vez de anos), estamos a caminho de algo como AGI. – A maioria das pessoas VAI perceber um inverno da IA como muito informativo sobre a viabilidade da AGI. – O resultado que importa é AGI, não se haverá ou não um inverno da IA antes disso. As percepções da maioria das pessoas (e dos formuladores de políticas) importam. Um inverno da IA (e a consequente explosão da bolha de investimento) poderia criar um período em que qualquer conversa sobre os riscos e benefícios da futura IA avançada se torna absolutamente radioativa. Se a tendência central em direção à inteligência geral continuar enquanto não fazemos progresso em políticas, teremos menos tempo para moldar positivamente o desenvolvimento da IA [ Imagine este cenário pessimista: O ano é 2028. Coisas que costumavam funcionar não estão mais funcionando. A escalabilidade do pré-treinamento começou a dar retornos fortemente decrescentes em 2025. A escalabilidade da inferência seguiu o mesmo caminho. Dados sintéticos funcionaram por um tempo, mas apenas fizeram os modelos convergirem perto de um novo teto. Algumas inovações adicionais aconteceram, tornando os LLMs mais inteligentes e úteis. Mas eles ainda são apenas LLMs, bastante frágeis e não muito bons em automatizar empregos, mesmo que sejam razoáveis em automatizar tarefas de escrita. Os agentes estão progredindo mais lentamente do que o esperado. Acontece que o aprendizado auto-supervisionado a partir de texto era um sinal de treinamento particularmente fácil de gerar. O aprendizado auto-supervisionado no uso de computadores e o RL são muito mais difíceis de configurar corretamente. As pessoas estão fazendo enormes simulações e treinando agentes nelas, mas esses generalizam relativamente mal. As pessoas apontam para coisas como IA 2027 e veem um tal abismo entre "expectativa" e realidade, que dizem que tudo foi exagero. Os laboratórios de IA não conseguem mais justificar enormes execuções de treinamento; o poder computacional está apenas sendo desperdiçado para melhorias marginais cada vez menores. Talvez tenhamos tido alguns avanços em comprimento de contexto e aprendizado contínuo, mas não são suficientes. O investimento em IA despenca. Assim, P&D também cai. Falar sobre o futuro da IA se torna radioativo. Qualquer especulação sobre capacidades futuras é afogada por "realistas" que apontam os últimos anos de progresso decepcionante. Nesse cenário, em 2028, isso pareceria para muitos (a maioria?) como o fim da história. A IA é boa, mas sempre seria apenas tão boa. E é isso. Isso significa sem AGI, sem impactos transformadores, sem idade de ouro de progresso e, claro, sem riscos piores do que deepfakes. Mas quanto tempo duraria um inverno da IA? É possível que dure para sempre, ou pelo menos leve algumas décadas. Contra as probabilidades derivadas das tendências do início do século 20, podemos atingir um limite fundamental. Os especialistas acabam nos informando que a analogia cérebro-GPU era muito grosseira — o que todos nós já sabíamos — mas acontece que as diferenças importam para passar de um preditor de texto para um agente geral. Ou precisávamos de processos quânticos no cérebro para gerar um locus de atenção consciente, que — acontece — era necessário para obter a função de mais alto nível. Ou não eram processos quânticos per se, mas o "hardware" altamente interconectado que o cérebro fornece, que pode ser simulado no processamento paralelo que as GPUs realizam. Mas, novamente, acontece que essas simulações não são suficientes e realmente precisamos de chips neuromórficos para criar agentes capazes, e esses não estarão disponíveis por mais cinco décadas. Você não precisa achar que qualquer uma dessas histórias de falha em particular é plausível para pensar que podemos estar perdendo algum ingrediente na receita da AGI, e o ingrediente pode ser difícil ou impossível de obter neste século, assim como foi em todos os séculos anteriores a este. O inverno da IA também pode ser curto, no entanto. Já estamos acostumados a um aumento em função de degrau nas capacidades, onde obtemos poucas atualizações impressionantes entre grandes execuções de treinamento. Se algumas execuções de treinamento não derem certo como esperado, isso apenas significa que ficaremos presos em um platô muito mais longo, enquanto os ingredientes para a próxima mudança de passo se reúnem e se acumulam até o limite necessário. Ainda assim, um período de progresso decepcionante mais longo do que o esperado poderia desencadear muitos dos mesmos processos de um inverno mais longo. "Leis de escalabilidade" são uma observação empírica, não um fato inerente sobre o mundo. As tendências podem absolutamente acabar ou desacelerar significativamente. Porque a maioria das pessoas — e especialmente a maioria dos "de fora" que não acompanha o progresso da IA — tende a subestimar a importância dessas tendências, as pessoas que trabalham com IA às vezes ficam negativamente polarizadas e se tornam muito absolutistas (aqui satiricamente) [ sobre o poder preditivo das leis de escalabilidade. Sim, poderíamos estar em outra situação da Lei de Moore [ com as capacidades da IA. Mas muitas tendências aparentemente estáveis param ao longo do tempo — lembramos da Lei de Moore precisamente porque é excepcional. Finalmente, pode não haver [ um inverno da IA de forma alguma. Podemos ter uma fronteira de IA em constante melhoria, apesar dos "sustos" regulares sempre que a IA parece estar batendo em uma parede logo antes de quebrá-la. Ou podemos ter uma fronteira em melhoria à medida que grande parte da "bolha" para empresas envolventes e startups de IA menores estouram. A conclusão é: há uma tendência central subjacente [ em direção a uma inteligência geral cada vez maior. E é essa tendência que importa. Não se os LLMs nos levarão até lá, ou se chegaremos lá com ou sem um inverno temporário da IA no meio do caminho. Nossos cérebros são a prova de que raciocinadores gerais são alcançáveis, e os sistemas de IA de hoje são a prova de que nosso raciocínio pode ser aproximado de forma útil (se é que é "raciocínio real") em domínios altamente complexos. É possível que algumas das previsões mais pessimistas que descrevi acima estejam corretas, como atingir limites fundamentais da inteligência de máquina. Mas a panela de pressão do aumento exponencial de computação, dados de treinamento e milhares de gênios trabalhando em novos algoritmos parece levar eventualmente à inteligência avançada. E se quisermos acertar nisso, é melhor focarmos nisso, em vez de resultados que apenas correlacionam com isso. Faz sentido colocar muito esforço e pensamento nos resultados onde realmente obtemos IA transformadora rapidamente. Mas não escolha colinas irrelevantes para morrer [ Falando nisso, o que acontece se a bolha estourar? A Anthropic falha, junto com outros laboratórios de IA que não têm uma renda mais diversificada como o Google DeepMind ou o Meta? Para onde vão os funcionários da XAI se houver uma grande saída? Pelo menos alguns dos laboratórios de fronteira seriam capazes de continuar empurrando a fronteira, mesmo que grande parte das startups menores e investimentos quebrem? É melhor tentarmos descobrir isso, assim como tentamos descobrir o que fazer assumindo que as tendências continuam. Se você tiver ideias, minhas DMs estão abertas.