ハミルトン系については別に扱うとして、安定平衡点を持たないような非線形 の連立常微分方程式系はどのように振舞うのであろうか?非常に大雑把にいう と、2つのケースに分かれる。
van der Pol 方程式などが良い例であろう。平衡点はあり、局所的には不安定 である。が、これは局所的に負性抵抗があることによっていて、大域的には抵 抗は正になっている。従って、平衡点の近くでは回りながら遠ざかり、遠くで は回るのは同じだが逆に平衡点に近付く。どこか途中に、それ以上平衡点から 遠ざかりも近付きもしない極限解(極限周期軌道、 limit cycle)があり、す べての解がいつかはそこにいく。多変数の場合には2重周期とかで単純な一本 の軌道ではないが、とにかく可能な位相空間の、次元が下がった部分空間のな かだけを運動する。
3変数以上の場合でないと起こらないが、上のようなリミットサイクルを持た ず、なんだかよくわからない動きをする。解が動く空間の次元がもとの可能な 範囲に比べて下がらない(が、エルゴード的になるとは限らない)。
非線形方程式の場合、上のような周期軌道についてそれが安定かどうかという ことを問題にすることができる。つまり、少し軌道からそらしてやって、だん だんもとの軌道にもどれば安定、はなれていけば不安定ということになるので ある。これはリヤプノフ指数というものを考えることで判定できる。これにつ いては詳しくは触れないが、要するに軌道にそって線形化して、その解の固有値を調べるということに相当 する。
系がカオス的になるためには最大リヤプノフ指数が正である必要がある。これ が十分条件かどうかはわかっていない。