55. T2K (2008/1/5)
53 で東大、筑波、京都の T2K システムについて書きま
したが、昨年 12/25 に落札結果がアナウンスされました。東大が日立、京都
が富士通なのは予想通りですが、日立と富士通の闘いになると思われていた筑
波大学ではなんと Cray Japan が落札するという意外な結果になりました。
詳しい話を筑波大学の朴さんとかに聞いてしまうとあまり勝手なことが書けな
くなるので、ここではとりあえず詳しい話を聞く前に想像で色々書きます。
Cray 本体は仕様を満たす製品をもっていないので、 Appro のクラスタシステ
ムを CJ が運用するとなる模様です。Appro はそれなりに実績のある会社で、
最近では
Tri-Lab Linux Capacity Cluster の契約をとったことでニュースになりました。
Tri-Lab システムの仕様は基本的には T2K と大して変わらない 4ソケット
Opteron サーバですが、ネットワークで無理をしないで 288ポートの
スイッチでつなげられる範囲 (144ノード)を SU という名前の単位にして、
それを複数納入、という仕様です。T2K はその辺、ノード当りでのネットワー
クバンド幅の要求が妙に高いもので、 IB ポートを沢山つけないといけないと
ころが少し大変です。
4ソケットのラックマウントサーバやブレードサーバーはもちろん Sun, IBM,
HP といったところも製品をもっているわけですが、特にブレードサーバーで
は IB ポートを増やすためには再設計が必要なので、 T2K のためだけに開発
するというのは確実に注文をとれるわけでなければやりにくいところです。し
かし、噂では Sun も筑波には応札した模様です。Sun の 8000シリーズ(いわ
ゆる Andoromeda) ブレードサーバーの仕様を良くみてみると、これは
4ソケットのブレードから x8 が4本、 x4 が2本でています。なので、ブレー
ド自体ではなくネットワークモジュールだけを作れば、結構コンパクトなもの
が作れる計算です。
Appro の場合、
2U サー バーで PCI-Express 16 レーン 2 スロットをサポートするので、16レー
ンスロットを 8レーン2スロットに変換した上で Mellanox の 4x DDR IB カー
ドをつけるようなことをすればネットワークの速度は十分です。チップセット
が nForce4 Professional 2200/2050 なのがなんだか時代遅れな感じもありま
すが、 Opteron の場合はチップセットはネットワークとか I/O の速度にしか
関係しないのであまり問題はなさそうです。チップセットが古いのは Sun の
Andoromeda も同じです。
ということで、私が 53 で書いたことはそんなに正しく
なくて、新しくマザーボードから作らなくても T2K 仕様に対応することは可
能だったようです。その割には東大、京大を国内メーカーが落札できたことが
むしろ不思議、ということかもしれません。3大学共通仕様なら、 Tri-Lab の
ように1メーカーが全部落とせそうなものですから。
ここで興味深いのは Cray Japan の落札価格でしょう。筑波大学は現行の
VPP5000/80 のレンタル料金は月4000万程度で、東大がおそらく月額1億以上を
もってきているのに比べると数字が小さく、京都も6000万程度のはずです。
T2K では東大 150TF、 筑波 95 TF、京都 66TF ですから筑波は7-8000万は必要
になり、計算があいません。学長がどこかから予算配分したのかもしれないで
す。しかし、 Cray や Sun の応札価格はそんなに高くないはずです。Sun の場
合には TACC、Cray では他に沢山あるXT4 の価格から極端に外れた価格にする
のは問題があるからです。(2008/3/8 追記: 59 に更新した情報を書きました )
Cray にとっては T2K はなかなか難しい話で、本来ならば単純に XT4/5 を入
れたかったところでしょう。実際に大規模計算を多数ノードでやるという観
点からは XT4 に比べて Appro のシステムに何かメリットがあるわけではあり
ません。4ソケットで共有メモリの範囲が広いので、4ソケットまでで計算する
ならプログラムが楽だ、というくらいです。
とはいえ、日本の大学計算センター及び国内計算機メーカーにとっては、
今回の T2K で1箇所には Cray がはいったというのは実は良いことであるよう
に思います。チューニングや運用に関して、 Cray ではこうやっているという
のがわかるからです。別に Cray が圧倒的に進んでいる、というわけではあり
ませんが、Red Strom, や XT3 は大規模システムでちゃんと性能を出している
ものであり、現在の国内メーカーで同等のことができているかというと少し難
しいでしょう。もちろん、実際に大規模なシステムを納入し、チューニングす
ればできるようになる話ですが、まあ、既にやったところがあるならそこから
学べることは学んだほうが得です。