Osoby zajmujące się głębokim uczeniem mają tendencję do wierzenia, że gdy gradienty (pierwszego rzędu) utkną, to z pewnością krzywizna (drugiego rzędu/Hessian) jest odpowiedzią. Może się okazać, że lepszym ruchem jest kierunek przeciwny: metody zerowego rzędu.