Lineární rovnici
řešíme například minimalizací
funkce
.
V každém kroku takové, aby
bylo minimální. Tedy
Pro řídké matice se složitost násobení vektoru maticí
snižuje z počtu operací na počet operací .
Pozn. Existuje řada moderních často používaných gradientních metod.