Arhitectura Transformer este fundamental un procesor paralel al contextului, dar raționamentul este un proces secvențial, iterativ. Pentru a rezolva probleme complexe, un model are nevoie de un "scratchpad" nu doar în CoT-ul său de ieșire, ci și în starea sa internă. O metodă diferențiabilă de a face buclă, ramificare și backtracking până când modelul găsește o soluție care să funcționeze.