Andrew Ng acabou de revelar por que as empresas de IA que mais dedicam computação ao problema vão perder. O vencedor da corrida de inteligência não usará mais computação. Eles vão desperdiçar menos. Ng: "A maior parte dos seus dados de alta dimensão está em um subespaço de dimensão inferior. É apenas um fato da vida." Veja o que isso significa na prática. Você tem um conjunto de dados de 10.000 dimensões. Cada dimensão arrastava por cada cálculo. Todo ciclo de treinamento carregando peso morto que o modelo nunca vai usar. Ng: "Você carrega esses exemplos de 10.000 dimensões durante todo o seu processo de treinamento." Esse inchaço não é só ineficiente. É um imposto sobre cada cálculo que você executa. Largura de banda da memória. Largura de banda de rede. Velocidade computacional. Tudo isso é consumido por dimensões que não contribuem em nada para a inteligência. Eles contribuem com barulho. A percepção que separa os arquitetos da corrida armamentista: esse conjunto de dados de 10.000 dimensões é quase totalmente capturado por um subespaço muito menor. ...