Estaba escribiendo algo sobre esto, pero veo @anton_d_leicht me adelantó (¡e hice un trabajo mucho mejor en eso!). Así que solo agregaré mis pensamientos incompletos, algunos superpuestos con los suyos: ----- He escrito una cantidad decente sobre la llegada de una IA más avanzada. Pero aunque sigo pensando que es probable que obtengamos algo como "AGI" en las próximas dos décadas, también creo que es probable que obtengamos algo como un "invierno de IA" en el medio. Entonces, ¿por qué no escribir sobre eso también? Creo que es importante, por lo siguiente: – Un invierno de IA puede NO ser muy informativo sobre si, a largo plazo (décadas en lugar de años), nos dirigimos a algo como AGI. – La mayoría de la gente percibirá un invierno de IA como muy informativo sobre la viabilidad de AGI. – El resultado que importa es AGI, no si hay o no un invierno de IA antes de él. Las percepciones de la mayoría de las personas (y de los legisladores) importan. Un invierno de IA (y el estallido de la burbuja de inversión resultante) podría crear un período de tiempo en el que cualquier conversación sobre los riesgos y beneficios de la futura IA avanzada se vuelva completamente radiactiva. Si la tendencia central hacia la inteligencia general continúa mientras no avanzamos en la política, tendremos menos tiempo para dar forma positiva al desarrollo de la IA [ Imagínese este escenario pesimista: el año es 2028. Las cosas que solían funcionar ya no funcionan. El preentrenamiento de escalado comenzó a dar rendimientos muy decrecientes en 2025. La inferencia de escala siguió su ejemplo. Los datos sintéticos funcionaron durante un tiempo, pero solo hicieron que los modelos convergieran cerca de un nuevo techo. Se produjeron algunas innovaciones adicionales, lo que hizo que los LLM fueran más inteligentes y útiles. Pero siguen siendo solo LLM, bastante frágiles y no del todo buenos para automatizar trabajos, incluso si están bien para automatizar tareas de escritura. Los agentes están progresando más lentamente de lo previsto. Resulta que el aprendizaje autosupervisado a partir del texto fue una señal de entrenamiento particularmente fácil de generar. El aprendizaje autosupervisado en el uso de la computadora y RL son mucho más difíciles de configurar correctamente. La gente está haciendo grandes simulaciones y entrenando agentes en ellas, pero estas generalizan relativamente mal. La gente señala cosas como AI 2027 y ve tal brecha entre la "expectativa" y la realidad, que dicen que todo fue una exageración. Los laboratorios de IA ya no pueden justificar grandes carreras de entrenamiento; el cómputo se desperdiciará por mejoras marginales cada vez más pequeñas. Tal vez tuvimos algunos avances en la duración del contexto y el aprendizaje continuo, pero no son suficientes. La inversión en IA se desploma. Así que la investigación y el desarrollo también caen. Hablar sobre el futuro de la IA se vuelve radiactivo. Cualquier especulación sobre las capacidades futuras es ahogada por los "realistas" que señalan los últimos años de progreso decepcionante. En este escenario, en 2028, esto parecería a muchos (¿la mayoría?) el final de la historia. La IA es buena, pero solo iba a ser tan buena. Y eso es todo. Esto significa que no hay AGI, ni impactos transformadores, ni edad de oro del progreso y, por supuesto, no hay riesgos peores que los deepfakes. Pero, ¿cuánto duraría un invierno de IA? Es posible que dure para siempre, o al menos que tarde algunas décadas. Contra las probabilidades derivadas de las tendencias de principios del siglo XX, podemos llegar a un límite fundamental. Los expertos terminan informándonos que la analogía cerebro-GPU era demasiado tosca, lo que todos ya sabíamos, pero resulta que las diferencias son importantes para pasar de predictor de texto a agente general. O necesitábamos procesos cuánticos en el cerebro para generar un locus consciente de atención, que resultó ser necesario para obtener el funcionamiento de más alto orden. O no fueron los procesos cuánticos per se, sino el "hardware" altamente interconectado que proporciona el cerebro, que se puede simular en el procesamiento en su mayoría paralelo que llevan a cabo las GPU. Pero, de nuevo, resulta que estas simulaciones no son suficientes y que en realidad necesitamos chips neuromórficos para crear agentes capaces, y no estarán disponibles hasta dentro de cinco décadas. No es necesario pensar que ninguna de estas historias de fracaso en particular es plausible para pensar que podríamos estar perdiendo algún ingrediente en la receta de AGI, y el ingrediente puede ser difícil o imposible de conseguir en este siglo, al igual que lo fue todos los siglos anteriores a este. Sin embargo, el invierno de la IA también puede ser corto. Ya estamos acostumbrados a un aumento de las capacidades de la función escalonada, donde obtenemos algunas actualizaciones impresionantes entre grandes carreras de entrenamiento. Si algunas carreras de entrenamiento no resultan como se esperaba, esto solo significa que estaremos atrapados en una meseta mucho más larga, mientras los ingredientes para el siguiente cambio de paso se ensamblan y se acumulan hasta el umbral necesario. Aún así, un período más largo de lo esperado de progreso decepcionante podría desencadenar muchos de los mismos procesos de un invierno más largo. Las "leyes de escala" son una observación empírica, no un hecho inherente sobre el mundo. Las tendencias pueden terminar o ralentizarse significativamente. Debido a que la mayoría de las personas, y especialmente la mayoría de los "extraños" que no siguen el progreso de la IA, tienden a subestimar la importancia de estas tendencias, las personas que trabajan en IA a veces se polarizan negativamente y se vuelven demasiado absolutistas (aquí satíricamente) [sobre el poder predictivo de las leyes de escala. Sí, podríamos estar en otra situación de la Ley de Moore con capacidades de IA. Pero muchas tendencias aparentemente estables se detienen con el tiempo: recordamos la Ley de Moore precisamente porque es excepcional. Finalmente, es posible que no llegue [un invierno de IA en absoluto. Es posible que obtengamos una frontera de IA en constante mejora a pesar de los "sustos" regulares cada vez que la IA parece estar golpeando una pared justo antes de atravesarla. O podemos obtener una frontera de mejora a medida que estalla gran parte de la "burbuja" para las empresas de envoltura y las nuevas empresas de IA menores. El resultado es: hay una tendencia central subyacente hacia una inteligencia cada vez más general. Y es esa tendencia la que importa. No si los LLM nos llevarán allí, o si llegaremos allí con o sin un invierno temporal de IA en el medio. Nuestros cerebros son la prueba de que los razonadores generales son alcanzables, y los sistemas de IA actuales son la prueba de que nuestro razonamiento se puede aproximar de manera útil (sea o no "razonamiento real") en dominios altamente complejos. Es posible que algunas de las predicciones más pesimistas que describí anteriormente sean correctas, como alcanzar los límites fundamentales de la inteligencia artificial. Pero la olla a presión de aumentar exponencialmente la computación, los datos de entrenamiento y los miles de genios que trabajan en nuevos algoritmos parece conducir eventualmente a una inteligencia avanzada. Y si queremos hacerlo bien, es mejor que nos centremos en eso, en lugar de en los resultados que simplemente se correlacionan con él. Tiene sentido poner mucho esfuerzo y pensamiento en los resultados en los que obtenemos IA transformadora rápidamente. Pero no elijas colinas irrelevantes para morir [ Hablando de eso, ¿qué sucede si la burbuja estalla? ¿Fracasa Anthropic, junto con otros laboratorios de IA que no tienen ingresos más diversificados como Google DeepMind o Meta? ¿A dónde van los empleados de XAI si hay un gran éxodo? ¿Podrían al menos algunos de los laboratorios de frontera continuar empujando la frontera, incluso si gran parte de las nuevas empresas e inversiones más pequeñas quiebran? Será mejor que intentemos resolverlo, al igual que tratamos de averiguar qué hacer suponiendo que las tendencias continúen. Si tienes ideas, mis DM están abiertos.