Andrew Ng acaba de revelar por qué las empresas de IA que están invirtiendo más potencia de cálculo en el problema van a perder. El ganador de la carrera por la inteligencia no usará la mayor potencia de cálculo. Desperdiciará lo menos posible. Ng: “La mayor parte de tus datos de alta dimensión se encuentra en un subespacio de menor dimensión. Es un hecho de la vida.” Esto es lo que significa en la práctica. Tienes un conjunto de datos de 10,000 dimensiones. Cada dimensión arrastrada a través de cada cálculo. Cada ciclo de entrenamiento cargando peso muerto que el modelo nunca usará. Ng: “Estás cargando estos ejemplos de 10,000 dimensiones durante todo tu proceso de entrenamiento.” Ese exceso no solo es ineficiente. Es un impuesto sobre cada cálculo que realizas. Ancho de banda de memoria. Ancho de banda de red. Velocidad computacional. Todo ello consumido por dimensiones que no contribuyen en nada a la inteligencia. Contribuyen ruido. La idea que separa a los arquitectos de la carrera armamentista: ese conjunto de datos de 10,000 dimensiones está casi completamente capturado por un subespacio mucho más pequeño. ...