Estaba escribiendo algo sobre esto, pero veo que @anton_d_leicht me ganó (¡y lo hizo mucho mejor!). Así que solo agregaré mis pensamientos incompletos, algunos se superponen con los de él: ----- He escrito una cantidad decente sobre la llegada de una IA más avanzada. Pero aunque todavía creo que es probable que obtengamos algo como "AGI" en las próximas dos décadas, también creo que es probable que tengamos algo como un "invierno de IA" en el medio. Entonces, ¿por qué no escribir sobre eso también? Creo que es importante, por las siguientes razones: – Un invierno de IA puede NO ser muy informativo sobre si, a largo plazo (décadas en lugar de años), nos dirigimos hacia algo como AGI. – La mayoría de las personas PERCEBIRÁN un invierno de IA como muy informativo sobre la viabilidad de AGI. – El resultado que importa es AGI, no si hay o no un invierno de IA antes de ello. Las percepciones de la mayoría de las personas (y de los responsables de políticas) importan. Un invierno de IA (y la consiguiente explosión de la burbuja de inversión) podría crear un período de tiempo en el que cualquier conversación sobre los riesgos y beneficios de la futura IA avanzada se vuelva absolutamente radiactiva. Si la tendencia central hacia la inteligencia general continúa mientras no hacemos progresos en políticas, tendremos menos tiempo para dar forma positivamente al desarrollo de la IA [ Imagina este escenario pesimista: El año es 2028. Las cosas que solían funcionar ya no funcionan. La escalabilidad del preentrenamiento comenzó a dar rendimientos fuertemente decrecientes en 2025. La escalabilidad de la inferencia siguió el mismo camino. Los datos sintéticos funcionaron por un tiempo, pero solo hicieron que los modelos convergieran cerca de un nuevo techo. Algunas innovaciones adicionales ocurrieron, haciendo que los LLMs fueran más inteligentes y útiles. Pero siguen siendo solo LLMs, bastante frágiles y no del todo buenos para automatizar trabajos, incluso si son aceptables para automatizar tareas de escritura. Los agentes están progresando más lentamente de lo anticipado. Resulta que el aprendizaje auto-supervisado a partir de texto era una señal de entrenamiento particularmente fácil de generar. El aprendizaje auto-supervisado en el uso de computadoras y el RL son mucho más difíciles de configurar adecuadamente. La gente está haciendo enormes simulaciones y entrenando agentes en ellas, pero estos generalizan relativamente mal. La gente señala cosas como AI 2027 y ve tal brecha entre "expectativa" y realidad, que dicen que todo fue un hype. Los laboratorios de IA ya no pueden justificar enormes ejecuciones de entrenamiento; el cómputo simplemente se desperdicia para mejoras marginales cada vez más pequeñas. Tal vez tuvimos algunos avances en la longitud de contexto y el aprendizaje continuo, pero no son suficientes. La inversión en IA se desploma. Así que la I+D también cae. Hablar sobre el futuro de la IA se vuelve radiactivo. Cualquier especulación sobre capacidades futuras se ahoga por "realistas" que señalan los últimos años de progreso decepcionante. En este escenario, en 2028, esto parecería para muchos (¿la mayoría?) como el final de la historia. La IA es buena, pero siempre iba a ser así de buena. Y eso es todo. Esto significa que no hay AGI, no hay impactos transformadores, no hay edad dorada de progreso, y, por supuesto, no hay riesgos peores que los deepfakes. Pero, ¿cuánto tiempo duraría un invierno de IA? Es posible que dure para siempre, o al menos tome unas pocas décadas. Contra las probabilidades derivadas de las tendencias del siglo XX, podríamos alcanzar un límite fundamental. Los expertos terminan informándonos que la analogía cerebro-GPU era demasiado burda —lo que todos sabíamos ya— pero resulta que las diferencias importan para pasar de un predictor de texto a un agente general. O necesitábamos procesos cuánticos en el cerebro para generar un locus de atención consciente, que —resulta— era necesario para obtener el funcionamiento de más alto orden. O no eran procesos cuánticos per se, sino el "hardware" altamente interconectado que proporciona el cerebro, que puede ser simulado en el procesamiento mayormente paralelo que llevan a cabo las GPUs. Pero, de nuevo, resulta que estas simulaciones no son suficientes y realmente necesitamos chips neuromórficos para crear agentes capaces, y esos no estarán disponibles durante otras cinco décadas. No necesitas pensar que cualquiera de estas historias de fracaso particulares son plausibles para pensar que podríamos estar perdiendo algún ingrediente en la receta de AGI, y el ingrediente puede ser difícil o imposible de obtener este siglo, igual que lo fue en cada uno de los siglos anteriores a este. El invierno de IA también podría ser corto, sin embargo. Ya estamos acostumbrados a un aumento de capacidades en función de pasos, donde obtenemos pocas actualizaciones impresionantes entre grandes ejecuciones de entrenamiento. Si algunas ejecuciones de entrenamiento no resultan como se esperaba, esto solo significa que estaremos atrapados en una meseta mucho más larga, mientras los ingredientes para el próximo cambio de paso se ensamblan y acumulan hasta el umbral necesario. Aún así, un período de progreso decepcionante más largo de lo esperado podría desencadenar muchos de los mismos procesos de un invierno más largo. Las "leyes de escalado" son una observación empírica, no un hecho inherente sobre el mundo. Las tendencias pueden terminar o desacelerarse significativamente. Porque la mayoría de las personas —y especialmente la mayoría de los "forasteros" que no siguen el progreso de la IA— tienden a subestimar la importancia de estas tendencias, las personas que trabajan en IA a veces se polarizan negativamente y se vuelven demasiado absolutistas (aquí satíricamente) [sobre el poder predictivo de las leyes de escalado. Sí, podríamos estar en otra situación de Ley de Moore [con las capacidades de IA. Pero muchas tendencias aparentemente estables se detienen con el tiempo —recordamos la Ley de Moore precisamente porque es excepcional. Finalmente, puede que no venga [un invierno de IA en absoluto. Podríamos obtener una frontera de IA en constante mejora a pesar de los "sustos" regulares cada vez que la IA parece estar chocando contra una pared justo antes de romperla. O podríamos obtener una frontera en mejora a medida que gran parte de la "burbuja" de las empresas envolventes y las startups de IA menores estalla. La conclusión es: hay una tendencia central subyacente [hacia una inteligencia cada vez más general. Y es esa tendencia la que importa. No si los LLMs nos llevarán allí, o si llegaremos allí con o sin un invierno temporal de IA en el medio. Nuestros cerebros son prueba de que los razonadores generales son alcanzables, y los sistemas de IA de hoy son prueba de que nuestro razonamiento puede ser aproximado de manera útil (ya sea que sea "razonamiento real" o no) en dominios altamente complejos. Es posible que algunas de las predicciones más pesimistas que esbozé anteriormente sean correctas, como alcanzar límites fundamentales de la inteligencia de las máquinas. Pero la olla a presión de un cómputo exponencialmente creciente, datos de entrenamiento y miles de genios trabajando en nuevos algoritmos parece llevar eventualmente a una inteligencia avanzada. Y si queremos hacerlo bien, mejor que nos enfoquemos en eso, en lugar de en resultados que simplemente correlacionan con ello. Tiene sentido poner mucho esfuerzo y pensamiento en los resultados donde realmente obtenemos IA transformadora rápidamente. Pero no elijas colinas irrelevantes para morir en ellas [ Hablando de eso, ¿qué pasa si la burbuja estalla? ¿Falla Anthropic, junto con otros laboratorios de IA que no tienen ingresos más diversificados como Google DeepMind o Meta? ¿A dónde van los empleados de XAI si hay una gran éxodo? ¿Podrían al menos algunos de los laboratorios de frontera continuar empujando la frontera, incluso si gran parte de las startups más pequeñas y las inversiones quiebran? Mejor que intentemos averiguarlo, igual que intentamos averiguar qué hacer asumiendo que las tendencias continúan. Si tienes ideas, mis DMs están abiertos.