Andrew Ng ha appena rivelato perché le aziende di AI che investono di più nel problema perderanno. Il vincitore della corsa all'intelligenza non utilizzerà il maggior numero di risorse computazionali. Sprecherà il meno possibile. Ng: “La maggior parte dei tuoi dati ad alta dimensione si trova su uno spazio a bassa dimensione. È semplicemente un dato di fatto.” Ecco cosa significa in pratica. Hai un dataset a 10.000 dimensioni. Ogni dimensione trascinata attraverso ogni calcolo. Ogni ciclo di addestramento che trasporta peso morto che il modello non utilizzerà mai. Ng: “Stai portando in giro questi esempi a 10.000 dimensioni durante tutto il tuo processo di addestramento.” Quella bloat non è solo inefficiente. È una tassa su ogni calcolo che esegui. Larghezza di banda della memoria. Larghezza di banda della rete. Velocità computazionale. Tutto ciò viene consumato da dimensioni che non contribuiscono affatto all'intelligenza. Contribuiscono solo al rumore. L'intuizione che separa gli architetti dalla corsa agli armamenti: quel dataset a 10.000 dimensioni è quasi interamente catturato da uno spazio molto più piccolo. ...