Previous ToC Next

53. 次世代、ペタスケール、T2K (2007/8/12)

次世代スーパーコンピューターは、 CSTP 評価専門調査会には 報 告原案がでたとのことで、まあ承認されたものと思われます。文部科学 省の評価なんとかではゴタゴタした割にはこちらはすんなりいったようです。 まあ、委員の面子を見るとそんなものかなという気もします 昨 年10月のレポートの「フォローアップ検討会名簿」と比べると、土居さ んと小柳さんが外れて、その代わりに中辻さんという人がはいっています。つ まり、計算機ハードウェアや HPC の専門家はいなくなった委員会で評価を行っ たわけです。

まあ、土居さんと小柳さんは文部科学省のほうの委員会に入ってたからこっち は外れたのか、と思ったら VDEC の浅田さんははいったままですね。なんか そんなのでいいのかという気がします。

そんな委員会ならシャンシャンで終わったのか、と思うとどうもそうでもない ようで、 上のレポートの「補足3 評価コメント」とかを見ると 

      提案する概念設計は当初の速度性能目標達成可能性において「あり得る
      一つの形態」と判断され妥当は範囲と考えられる。代替案に比較して性
      能上大きな差は見られないものの、(以下略)
とか他にも結構凄いことが色々書いてあって、CSTP としてはこれが上手くい かなかった時に「だからいったじゃないか」と責任のがれができるような方向 にまとめているように思います。(評価報告としてはこれは当然のことで別に責 任のがれが悪いとは私は思いません)

が、そんなこんなで日本のプロジェクトが足踏みしている間にアメリカでも 同じような話が進むわけで、 NSF のペタスケールの話がリリースされました。 HPC wire の報道によ ると

とのこと。これは、 CMU-Intel の 40Pflops、 UCSD-IBM(BG/Q) 20Pflops、 U Tennessee/ONRL-Cray 20Pflops を押しのけて採択されたものだそうです。 で、「何故こんな選択を」とか「決定プロセスが不透明すぎ」みたいな 声がでてるとか。どっかで聞いたような話です。一つのポイントは、 しかし、このペタスケールの話は「わずか」 2.08億ドルの話だということで、 日本の次世代とは速度が同じで値段が 1/5 なわけです。もちろん、これは DARPA がお金を出した HPCS の成果をそのまま買ってくるから、という面もあ りますが、HPCS 自体もそれほど巨額ではないので、何故日本ではそんなにお 金がかかるんだ？という点はやはり問題です。

さて、次世代スーパーコンピューターへの対抗、という意味合いもあって日本 の大学の計算センターは色々やっているわけですが、その中でも大きなものが T2K、あるいは「オープンスパコン」の名で知られるプロジェクトです。 これは、今年度終わりから来年度初めにかけての時期に、筑波大学、東大、京 大の3大学でほぼ共通仕様のスパコンを入れる、というものです。

スーパーコンピューターの導入というのはなんだかとても面倒で手数のかかる ものです。今年度国立天文台でも導入しますが、入札公告に ある通り

で、実際の納入、運用開始は年度末あたりを予定しています。 実はその前にさらにステップがあって

というようなことをしないといけません。スーパーコンピューターの定義は、 少なくとも天文台で検討を始めた昨年度は 1.5Tflops 以上、というもので、 GPU なんかどうするんだろうと思いますがまあそれはそれとして、クラスタと か買う時には結構面倒です。

T2K では「資料等の提供招請」はこんな感じで す。(2008/1/4 注記:左のリンクは現在見えなくなってます。 ここから 「資料等の提供招請」、「スーパーコンピューター」、「東京大学」、 「2006/1/1-2007/1/1」を選択して下さい」)「要求要件」が問題ですが、以下の通りです。(どうでもよいところは省略してます) 

 　(6) 調達に必要とされる基本的な要求要件

 　　Ａ　今回導入するスーパーコンピュータシステムは、超並列型スー
 　　　パーコンピュータシステムである。超並列型スーパーコンピュー
 　　　タシステムは複数ノードで構成される高並列型計算機であること。
 　　　ここで、ノードとは、主記憶を共有する１台以上のCPUから構成さ
 　　　れるコンピュータシステムであると定義する。ノード単体あたりの
 　　　理論ピーク演算性能が160 GFLOPS以上（倍精度浮動小数点演算）で
 　　　あり、かつ理論ピーク演算性能の総和が150 TFLOPS以上（倍精度浮
 　　　動小数点演算）であること。実効演算性能については、ベンチマーク
 　　　により評価する。
 　　Ｂ　ノード単体あたりの主記憶容量は32 GByte以上であり、かつ総主記憶
 　　　容量は30 TByte以上であること。全ノードの内、16ノード以上は128
 　　　GByte以上の主記憶容量を有すること。
 　　Ｃ　CPUは64ビット拡張されたIA32アーキテクチャに基づくものであるこ
 　　　と。 
 　　Ｄ　各ノードが備えるノード間接続のためのネットワークリンクのデー
 　　　タ転送速度の理論ピーク値が、１ノードあたり５ GByte/秒以上である
 　　　こと。 
 　　Ｅ　ノード毎に総計250 GByte以上の物理容量を有する磁気ディスクドラ
 　　　イブ群を備えること。当該の磁気ディスクドライブ群はRAID-１による
 　　　運用が可能であること。 
 　　Ｌ　全ノードのうち半数以上のノードがフルバイセクションバンド幅で
 　　　接続されること。残りのノードにおいては、多数のノードでフルバイ
 　　　セクションバンド幅が確保されることが望ましい。
これは「資料提供招請」であって仕様書ではないもの ですが、文章の最初に 

    次のとおり物品の導入を予定していますので、
とあり、この段階で書いた要求要件と最終仕様が大きく違うようでは 資料提供招請の意味がないので、あまり変えることはできません。 つまり、

というあたりはほぼ固定されたものです。ノードは、今年から来年にかけてで るものでの選択肢は

で、クロック 2.5 GHz 以上必要、となります。消費電力の観点ではメモリ回 りで滅茶苦茶電気を食う FB-DIMM を使う7300 チップセットは避けたいところ ですから、普通は AMD を使うことになります。メモリバンド幅やレイテンシ でもかなり大きな差があります。が、AMD は 2.5 GHz の出荷が一応年内となっ てますが数はそろうんだろうか？みたいな情勢です。そうすると、システムが 納入可能かどうか難しいところになります。

で、少なくとも公開資料からは何がどうなってるかわからないのですが、T2K システムについて仕様書案に対する意見招請もまだでていない段階のようです。 普通に考えると年度内の納入はありえない、というところです。まあ、事務処 理には色々ワザがあるんでしょうから、なんとかなるのかもしれません。

この情報提供招請のもうひとつの特徴は 

   既存の製品を排除する要求要件になっている
ことです。まず、 4 ソケットということで Cray は入りません。次に、 ネットワークが 5GB/s 以上、というところでほぼ自動的に各社が持っている ブレードや高密度サーバは仕様を満たすものではなくなり、新規にマザーボー ドや場合によってはスイッチも開発が必要になります。まあ、スイッチは Sun の Magnum スイッチでもいいのですが、とにかくこのプロジェクト用に色々新 規開発してくれるところでないと入らないわけです。

ノード当り 5GB/s もの速度がどういうアプリケーションで必要なのかどれほ ど検討したのか知りませんが、オープンスパコンといいながら既存製品では駄 目、という仕様を書くのはちょっといってることとやってることに差があるよ うな気がしなくもありません。

と、人のところの調達に勝手なことを書いてますが、実際、国立天文台の仕様 書はこういう細かい指定はなしで、適当にある機械をもってくればいい、でも ベンチマークで性能はもってきてね、というものにしています。で、とりあえ ず入札とかのプロセスはスケジュール通り進んでいます。

おそらく、「オープンスパコン」という言葉の意味は、計算センタースタッフ が設計した機械をどこかのメーカーに作らせる、でも、チップとかの新規開発 はなしで出来合いの部品を使う、というものなのでしょう。これはこれで 悪い方針ではないと思うのですが、設計は悪いと思います。まず、4ソケット を必要条件としているところで恐ろしく高価なものになります。Intel の現在/将来 の価格は、そこそこクロックの高いモデルで大雑把にいって 

  1ソケット用(Core 2 Quad) 5万円
  2ソケット用(Xeon 5000)  10万円
  4ソケット用(Xeon 7000)  20万円
といったところで、4ソケットのノード1つには CPU だけで 80万円ですが、 1ソケット4ノードなら 20万円ですむわけです。もちろんネットワークとかが あるのでこれだけで価格が決まるわけではないですが、1ノードの中で収まる ような計算しかしないのならともかく、 4000ソケットも導入するなら 全部 4 ソケットノード、というのは価格性能比的にどんなものかと思います。 もちろん、 TSUBAME のようにどういうわけか知らないけど恐ろしく安い、と いうものならその限りではないのですが、T2K は現在のレンタル料金(東大の 場合月額1億以上)から見るとそれほど安くはならないと思われます。単純に5 年レンタル、60億、4000ソケットとすると1ソケット 150万円になるからです。 この150万円の中で CPU を買ってくる値段が 1/8 以上を占めるわけで、全体 価格を引き上げることにかなり貢献していると思われます。

が、単に4ソケット、というだけなら高いにしても各社製品をもっているので、 価格競争が成り立ちます。しかし、さらにネットワークで独自仕様とかにする と作ってくれるところが限られ、さらに初めからそういう、作ってくれるといっ たところがいってきた価格を想定したような資料提供招請の要件になっている わけです。

こういうのは結果が問題でプロセスは本質的ではないのですが、プロセスを始 める時点で結果がそこそこでしかないとわかり、しかもそのそこそこの結果も 予定通りにはいかない、というのはちょっとどんなものかと思います。
Previous ToC Next