ここで述べる手法は、とりえあえず定義域があまり変な形をしていなくて（と いうのをちゃんと定義することはできるが、やると話が長くなるので省略）、 関数はその定義域のなかで連続で極小値を1つだけ持つという場合のためのも のである。
この場合、目的関数fが2階微分を持てば、原理的には話は極めて簡単になっ
て、
という方程式をニュートン法で解けばいい。が、多くの場
合にこれはあんまりうまくいかない。というのは、変数の数 n が多くなる
と計算しないといけない2階微分の数は 
に比例して増えるわけで、計算
量が増えるだけでなく書かないといけないプログラムの量が増えるという問題
があるからである。
微分を数値的にやればいいのではとも考えられるが、これも丸め誤差等の影響 があって難しい場合が多い。
もっとも、微分を数値的にやるのではなく、数式的にやる、つまり、もとの関 数の数式から数式処理プログラムに生成させたり、あるいはプログラム自体を 「微分」する、つまり、目的関数を計算するプログラムから微分を計算するプ ログラムを自動生成するといった研究もかなり進んではいる。実際に問題を解 こうという時には、こういった手法が使えないかどうかも考えてはみるべきで あろう。
というわけで、以下はニュートン法とかではない方法。まず1変数、それから 多変数にいく。
まあ、1変数ならニュートン法でいいのではないかとも思うわけだが、多変数 の場合のための準備ということで一応説明しておく。実際には、多変数の問題 を解く時に形式的には1変数の問題の繰り返しになって、そこでは簡単には2階 微分が計算できなくてニュートン法というわけにはいかないので、それ以外の 方法がいるわけである。
良く本に載っているのは、黄金分割法というものである。これは、以下のよう
な方法である。区間
のなかに関数 
の最小値があることはわかっ
ているとする。
, 
を、
をそれぞれ 
およびその逆に
内分する点とする。
, 
を計算する。
なら最小値は 
にあるので、 a を 
で置
き換え、1に戻る。細かいことをいえば 
が 次の 
になるので、使
い回せる。
で置き換え、同様に 1に戻る。
なお、一般には別に黄金分割でなくても、区間内に適当に2点とってその大き い方を新しい区間の端にするというので構わない。黄金分割のミソは上の説明 の「細かいこと」、つまり、分割点の一方を使い回せるので反復一度について 関数計算が1度ですむということである。
一度ですむのはいいが、収束は遅い。一度反復した時に区間の幅が 
にしかならないからである。これはつまり一次収束で、反復毎に定数分の1に
なるものである。
もうちょっと賢い方法としては、疑似ニュートン法的なものがある。要するに 3点あれば2次関数で近似できるので、その極値を求めようというものである。 最適化問題ではない非線形方程式では Secant 法と呼ばれているものの拡張で ある。 Secant 法程速くはないが、 一次よりも速い収束をすることが知られ ている。
多変数の場合にも、黄金分割にあたるような直接探索法というのはあることは あるが、あんまり使えないので省く。大抵の本で最初に出ているのは最急降下 法というものである。とりあえず、関数fがN次元ユークリッド空間全体で定 義されているとする。この方法の原理は、「ちょっと動いた時にもっとも関数 値が減る方向に動く」というのを繰り返すことである。もっとも減る方向は、
とテイラー展開の1次までとって、 
が一定の時に
を最大にすればよく、もちろん 
、つまり一階
導関数自体が方向ということになる。 これで、あとは前節で述べた適当な方
法を使ってその方向での1次元最適化を適当にやり、あとはまたそこで新しく
勾配を求めて同じことを繰り返す。
最急降下法のよいところは、いつかは収束することであり、よくないところは 収束が必ずしも速くないことである。これは、2変数で目的関数が2次形式の場 合についていろいろ実験したり考えてみたりすればわかるが、結局直交する2 方向の繰り返しに陥ってしまうからである。この事情は多変数の場合でも同じ で、結局2方向になっていくということが証明されている。
というわけで、速く答を出そうとするなら、やはり疑似ニュートン法的なもの を考えたくなる。1変数の時のように簡単に2次形式の近似式が構成できるわけ ではないが、その辺をなんとかうまくやろうというわけでいろんな方法が提案 されている。
多分良くつかわれているのは DFP（Davidon-Fletcher-Powell）法や BFGS(Broyden-Fletcher-Goldfarb-Shanno)法で、どちらも考案者の名前である。 時々 Variable Metric method（可変計量法） と呼ばれることもある。
以下、基本的な考え方を説明する。
目的関数が、以下の2次形式
であるとする。 x は n 次元実ベクトル、 Q は n次元正方行列で、 対称にとって良いので正定値である。
ニュートン法では、f を2次形式で近似してそれの極値を求める。形式的に
は、近似値 
の回りでのテイラー展開
の極値を求めるわけである。ここで H はヘッシアンで、2階偏導関数を要素 とする正方行列である。つまり
で、極値を与える点は、 
として、
である。
目的関数が上の2次形式なら、これはもちろん 
で、正しい答が求まる。
そういうわけで、考え方としては、ヘッシアンなり Q の近似値を作ってい こうというのが基本になる。
ここで、ちょっと定義を続ける。まず、共役という概念を定義する。2つのベ クトル u, v が Q について共役であるとは
であることである。
さらに、互いに共役なk 個のベクトル 
を考え
、これら
に対して、
を考えると、明らかに
である。
これは、 
が 
が張る部分空間では 
みた
いなものであるということを意味している。したがって、
を順番に発生
させる方法がなにかあれば、それを使って、
で 
を計算していけばよい。
ここでの実際的な問題は、互いに共役な 
を作るよい方法があるかどうかよく
わからないことである。一つの考え方は、反復による修正量 
を使うことである。 
は共役ではないが、それでもなんと
か
が成り立つように、式(9)を適当に変更する。
変更のために右辺に 
という項を追加することにすると、 これの満たす
べき式は
ここで 
は
である。
このように 
をとる一つの方法(DFP法）は、
とするものである。
まあ、自分でプログラムを書くならこれをつかうので OK であろう。ライブラ リとかだと BFGS のほうが少しよいようである。
さて、さっき共役な 
を作る方法はよくわからないと書いたが、これは
実はこれらの公式が作られた時に、作った人が知らなかったというだけの話で
実は別のところでは既に知られていた。それの応用が共役勾配法、すなわち
CG(Conjugate gradient)法である。これは形式的には簡単である。いま、
と書くことにして、
というベクトル列を考える。ここで 
は
である。
f が2次関数の時には、これで求まる 
は互いに共役であることを証明
できる。さらに、ちょっと変形すると、
となって、これは簡単に計算できる。
なお、疑似ニュートン法、CG法のどちらの場合でも、方向は決まるが1次元問 題を繰り返し毎に解く必要はある。これは黄金分割なり疑似ニュートン法なり を使うことになる。多次元の反復では勾配を求めないといけないので少なくと もn個の関数を計算することになるが、1次元問題では反復毎に1度 f を計 算するだけなのでここではそれほど効率に気を使う必要はないことに注意。
CG 法は現在最適化よりも大規模な線型方程式を解くのに広く使われている。 今、
という線型連立方程式を考える。で、A は対称行列であるとする。この時、上 の方程式は、以下の2次形式
を最小化するものと考えることができる。ここで CG 法を使うというのが基本 的な考え方である。CG法なので1次元方向の最小化がいるが、これは線型問題 なので答がわかっている。
何故こんなややこしいことをするのかと思うかもしれない。理由はちゃんとあっ て、一つはこの方法は反復法であるにもかかわらず原理的には有限回で収束す ること、もう一つはいろいろ工夫することで収束を非常に速くできることが多 いということである。
収束を速くするための工夫は色々な「前処理」と言われるもので、それだけを扱った本 がいっぱいあるのでここではこれ以上は扱わない。
