大抵の問題では、目的関数の定義域が実数全体ということはない。例えば、銀 河の回転曲線から質量分布を求めようというときには、質量はどこでも正でな ければならない。
このような制約にはいろんな場合があるが、制約が等式の場合はラグランジュ の未定乗数法が使えるのでこれは省略する。不等式の場合は話が難しくなる。
問題によっては厳密にできる場合もあるが、ここではペナルティ法というもの を紹介しておく。これは、
という制約のもとで 
を最小化せよという問題を、 f と 
を適
当に組み合わせて作った関数を制約なしで最小化せよという問題に置き換える。
具体的には、
を、
つまり、制約条件を満たせば 0 、そうでなければ 0 でないような関数として
を最小化する。で、答が求まる度にパラメータ p の値を適当に大きくして いって、こちらの条件に見合う解になったら止める。
この方法では、制約条件のところに解があるとそれに境界の外側から近付く。 このために外点法と呼ばれる。内点法というのもあって、これは F を
とする。こちらでは、 p を小さくするにしたがって領域の内側から真の解に近付く。