Andrew Ng vient de révéler pourquoi les entreprises d'IA qui investissent le plus de puissance de calcul dans le problème vont perdre. Le gagnant de la course à l'intelligence n'utilisera pas le plus de puissance de calcul. Ils gaspilleront le moins. Ng : « La plupart de vos données à haute dimension se trouvent sur un sous-espace de dimension inférieure. C'est juste un fait de la vie. » Voici ce que cela signifie en pratique. Vous avez un ensemble de données de 10 000 dimensions. Chaque dimension traînée à travers chaque calcul. Chaque cycle d'entraînement traînant un poids mort que le modèle n'utilisera jamais. Ng : « Vous transportez ces exemples de 10 000 dimensions tout au long de votre processus d'entraînement. » Cette surcharge n'est pas seulement inefficace. C'est une taxe sur chaque calcul que vous effectuez. Bande passante mémoire. Bande passante réseau. Vitesse de calcul. Tout cela est consommé par des dimensions qui n'apportent rien à l'intelligence. Elles contribuent au bruit. L'idée qui sépare les architectes de la course aux armements : cet ensemble de données de 10 000 dimensions est presque entièrement capturé par un sous-espace beaucoup plus petit. ...