RT @markchen90: Alinierea este, fără îndoială, cea mai importantă frontieră de cercetare AI. Pe măsură ce scalăm raționamentul, modelele capătă conștientizare a situației și ...

Săptămâna trecută, modelele noastre de raționament au participat la Concursul Internațional de Programare Colegială (ICPC) 2025, cea mai importantă competiție de programare la nivel universitar din lume. Sistemul nostru a rezolvat toate cele 12 din 12 probleme, o performanță care ar fi fost pe primul loc în lume (cea mai bună echipă umană a rezolvat 11 probleme). Această piatră de hotar încheie 2 luni intense de performanțe în competiție ale modelelor noastre: - Un loc doi în finala mondială AtCoder Heuristics - Medalie de aur la Olimpiada Internațională de Matematică - Medalie de aur la Olimpiada Internațională de Informatică - Și acum, o medalie de aur, primul loc la Finala Mondială ICPC. Cred că aceste rezultate, provenite dintr-o familie de modele de raționament general înrădăcinate în programul nostru principal de cercetare, sunt probabil cel mai clar punct de referință al progresului din acest an. Aceste competiții sunt teste grozave de sine stătătoare, limitate în timp, pentru capacitatea de a descoperi idei noi. Chiar înainte ca modelele noastre să fie competente în aritmetică simplă, am privit aceste concursuri ca repere ale progresului către inteligența artificială transformatoare. Modelele noastre se clasează acum printre cei mai buni oameni din aceste domenii, atunci când sunt puse cu întrebări bine specificate și limitate la ~ 5 ore. Provocarea acum este trecerea la probleme mai deschise și la orizonturi de timp mult mai lungi. Acest nivel de raționament, aplicat de-a lungul lunilor și anilor problemelor care contează cu adevărat, este ceea ce căutăm - automatizarea descoperirilor științifice. Acest progres rapid subliniază, de asemenea, importanța cercetării privind siguranța și alinierea. Încă avem nevoie de o mai bună înțelegere a proprietăților de aliniere ale modelelor de raționament de lungă durată; în special, vă recomand să treceți în revistă descoperirile fascinante din studiul schemei în modelele de raționament pe care l-am lansat astăzi ( Felicitări colegilor mei de echipă care și-au turnat inima pentru a obține aceste rezultate ale competiției și tuturor celor care contribuie la cercetarea fundamentală care le permite!

Sunt extrem de entuziasmat de potențialul fidelității și interpretabilității lanțului de gândire. A influențat semnificativ designul modelelor noastre de raționament, începând cu o1-preview. Deoarece sistemele AI cheltuiesc mai mult calcul lucrând, de exemplu la probleme de cercetare pe termen lung, este esențial să avem o modalitate de a le monitoriza procesul intern. Proprietatea minunată a CoT-urilor ascunse este că, deși încep bazate pe un limbaj pe care îl putem interpreta, procedura de optimizare scalabilă nu este în contradicție cu capacitatea observatorului de a verifica intenția modelului - spre deosebire de supravegherea directă cu un model de recompensă. Tensiunea aici este că, dacă CoT-urile nu ar fi ascunse în mod implicit și vedem procesul ca parte a rezultatului AI, există o mulțime de stimulente (și, în unele cazuri, necesitate) pentru a-l supraveghea. Cred că putem lucra pentru ce este mai bun din ambele lumi aici - ne antrenăm modelele să fie grozave în a-și explica raționamentul intern, dar în același timp să păstreze capacitatea de a-l verifica ocazional. Fidelitatea CoT face parte dintr-o direcție mai largă de cercetare, care este antrenarea pentru interpretabilitate: stabilirea obiectivelor într-un mod care antrenează cel puțin o parte a sistemului să rămână onest și monitorizabil la scară. Continuăm să ne creștem investițiile în această cercetare la OpenAI.