前節で見たように陰的ガウス法は A-安定であり、基本的にはこれを使えば方 程式が硬いということによる問題は起きないといっていい。が、実用上は、こ の方法にはあまり嬉しくない特性、つまり、大規模な非線形代数方程式を解か なければいけないという特性がある。
もちろん、線形多段階法のところで考えたような逐次（直接）代入法で答が収束すれば、 これはたいした問題ではない。しかし、実はこれはうまくいかない。つまり、 前に見たように陰的ルンゲ・クッタに対する逐次代入が収束する条件は リプシッツ連続条件
が成り立っている時に、
( C は公式によって決まる定数だが、1 に
近い)で与えられた。ところが、 L は定義から固有値の絶対値の最大値に等
しいので、結局陽的な公式と同じように最大固有値でタイムステップが決まっ
てしまい、逐次代入法ではA-安定性が失われてしまうのである。
それではいったいどうすればいいかということだが、要するに逐次代入なんて いう手抜きな方法を使わないで、もうちょっとまっとうな方法を使えばいいの である。通常使われるのはニュートン法による反復、つまり、方程式を局所的に線形化し、 その線形方程式の解を新しい近似解にする方法である。
原理を後退オイラー法の場合について説明しよう。もちろん、高次の陰的ルン ゲクッタやあとに述べる陰的線形多段階法でも理屈は同じである。後退オイラー 法の場合、解くべき方程式は
である。ニュートン法による i 回目の近似値を
と書くことにすると、
が 
の回りで
と線形化されるから、 
を求めるには以下の方程式
を解けばいいわけである。
すぐにわかるように、ニュートン法は方程式が線形であれば硬さに無関係に一 回で収束する。つまり、逐次代入法とは違ってA-安定性を保てる。
方程式が非線形の場合にうまくいくか、また、どれくらいの反復回 数でうまくいくかというのはなかなか難しい問題である。良く知られているよ うに、ニュートン法は二次収束する、つまり、初期推定が十分に良ければ誤差 が一回反復するとまえの誤差の2乗程度まで小さくなるという性質（これは、2 次の項の大きさからすぐに証明できる）があるので、うまい初期値が得られれ ば反復回数は少ない。
が、うまい初期値をとる一般的な方法はない。例えば陽的ルンゲクッタや陽的
な線形多段階法で初期値を作ることも考えられるが、これは系が硬い時には悪
い推定値を出す可能性もあるからである。比較的うまくいくのは、なにも考え
ないで
とする、また陰的ガウス公式であれば途中の
値についてもそうする方法である。
なお、もともとのニュートン法ではヤコビアンを反復毎に計算し直すが、これ らの方法を実装する時には、「収束しているうちはヤコビアンをそのまま使う」 という方法で計算量を減らすのが普通である。