未来前へ 先頭 次へ過去

地球シュミレータの見学 地図

地球シュミレータの模型

全景 2003年10月28日。 地球シュミレータ、現在、世界最速のコンピュータです。 世界のコンピュータの計算速度ランキング1位を2002年6月から3回連続で取っています(半年毎に行われている)。 計算能力はピーク性能(論理的な最大性能)が40.96テラFLOPS、 達成性能35.86テラFLOPS(ピーク性能の88%)・・・といってもピンとこないですけどね。 ピーク性能の88%を出すということ自体もかなりすごいことで、 調べたところ、トップ30内にこれほど数値のマシンはありませんでした。ピーク性能の半分も出ないマシンもあります。

前から興味をもっていて4月の一般公開を逃してしまい残念に思っていたのですが、 ひょんなことで、地球シュミレータを見学する機会がありました。 地球シュミレータは横浜市金沢区にあります。 根岸線の新杉田駅か、京急線杉田駅から歩いて10分か15分ぐらいの、神奈川県の工業試験場の跡にあります。 出来て2年ぐらいでしょうか。 地球シュミレータを収めた建物は、大きな体育館ぐらいの建物です。 周りには研究者が実験の準備や結果の解析をするための施設があります。 地球シュミレータは、温暖化の影響を調べるなど、文字通り地球のシュミレーションを目的にしています。 従来のシュミレータでは、地球を100kmセルに区切って計算していましたが、 これでは台風(数10kmぐらいの大きさ)を見ることができませんでした。 地球シュミレータは従来の1000倍以上の計算能力により、地球を10kmのセルに区切って計算しており、 シュミレータ上に台風の発生を見ることが出来ます。 シュミレーション実験テーマは公募で5割から6割が海水の循環や大気の循環や地震の振動など、 地球関連のシュミレートですが、分子のシュミレーションなどその他のシュミレーションも行っています。 国の施設で、実験テーマが認められれば利用無料らしいです。 実験は結果はすべて公開されています。

ケーブル 上の写真の青いラックは計算ノード、緑のラックは交換ノード、白いラックは制御装置や周辺機器などです。 地球シュミレータは640個の計算ノードからなります。 1つのラックに2つのノードが入っていて、計算中のノードは上でランプが点滅していました。 それぞれのノードは8個の計算プロセッサを持ち、従来のスーパーコンピュータ並みの性能を持っています。 計算ノードはそれぞれ独立して動けるので、実際にあるシュミレーションを行う場合、 全部の計算ノードを使用する事はほとんどなく、10個とか160個とか、必要な数の計算ノードを占有して行っているそうです。 つまり、必要な同時に複数のシュミレーションの計算を行う事も出来ます。

地球シュミレータの性能の高さは、計算プロセッサの能力だけで発揮されているのではありません。 多数の計算プロセッサからなるシステムの計算速度は、計算プロセッサの速度に加えて、 メモリから計算プロセッサに早く計算すべきデータを渡す、計算プロセッサ間で早くデータを交換する、 計算結果を素早くディスクに記録するなど、周辺機能の能力も一緒に高めなけれればなりません。 これがとても大変らしいです。 地球シュミレータでは640個のノード間を1段の電子的クロスバスイッチで結んでいます。 ノードとスイッチかんは130本(制御2本データ128本)のケーブルで結ばれています。 だから、写真の様に、床下はケーブルの束です。 光ファイバを使用しないのは、電気と光の変換遅延が長くて計算時間にロスが発生するからだそうです。

16ノードを制御する装置 制御装置を制御する装置 地球シュミレータの動作を制御するために、制御用の装置が端のほうにおいてありました。『98』とラベルに書いてあったので、 これはNECのパソコンみたいです(地球シュミレータはNEC製です)。 制御装置は1台で、16ノードの制御を行っています。 そしてこの制御装置全体を制御する装置も置いてあります。 これも大きめのパソコンのようでした。 但し、心臓部なので、4台のパソコンで、4重化していました。

これらのパソコンやハードディスクは巨大な無停電電源設備(UPS)でバックアップしていて、 停電しても5分程度は持ちこたえるそうです(その間に安全にシャットダウンするということらしい)。 しかし、計算ノードや交換ノードなど本体の電力消費は6000kwとあまりに大きすぎて無停電電源はないそうです。 つまり、停電すると本体はダウンします。 しかし、コンデンサーが大きいためか、経験上、瞬間停電に対してはとまらなかったそうです。 ちなみに年間の電気代は10億円になるそうです。

外から室内を照らすライト 避雷針 地球シュミレータは電子機器なので、電波に気を使っていました。 近くの道路を走る大出力の違法無線のは、そのままでは電子機器を誤作動させてしまいます。 そこで、まず建物全体をシールドしています。 外観の金属の壁はこのシールドです。 建物自体は耐震設計で、積層ゴムの上にあります。 結果的に大地との絶縁をしています。 建物とは独立に避雷針を設置し、雷が建物に流れ込まないようにしています。 建物内部は、空調のある下部と、計算ノードの置いてある上部に分かれます。 上部の部屋は部屋全体をシールドしています。これで空調などのノイズを防ぎます。 上部の部屋はライトの発生するノイズを防ぐために、明かりも部屋の外から照らしています。 室内は光を漏らすパイプを通し、外側から光を当てています。 さらに、ケーブル類は微笑電流で動作しており、ノイズに特に弱いので、シールドされたダクトに入れています。 このようにして50db(つまり10万分の1)に電波を遮断しています。

空調 地球シュミレータの内部は、かなりの騒音です。 特に空調機の出す音は話がまったく出来なくなるほどの騒音で、短時間で耳がおかしくなります。 空調の空気は下部にたまり、その空気圧で上部に吹き出し、上部ある電子機器を冷却し、天井から空調機に戻ってきます。 空調機の音が上まで響いているのか、電子機器のファンの音でうるさいのかはわかりませんが、 上の部屋の騒音もかなりすごいです。 故障や工事以外で、ここにくる必要はないのでしょうが、作業時には耳栓が必要でしょう。

地球シュミレータの開発は1997年に始まり、2002年まで5年間かかりました。 開発コストは400億円、建物代70億円。 システムの起動時間は1時間ぐらい。 停止は法廷点検と、システムダウンの場合ぐらいで、365日24時間稼動。 システムダウンはこれまでに4回。 ノード障害は月に20件ほど(片系障害など軽微なものは含まない)。 故障修理にかかる時間は2時間ぐらい。 ノード障害があると実行中のタスクは失敗するが、自動で再スケジューリングするそうです。

結合ネットワーク12.3GB/s
共有メモリ16GB




















・・・









計算ノード#0
共有メモリ16GB




















・・・









計算ノード#1
・・・
共有メモリ16GB




















・・・









計算ノード#639

仕様
計算プロセッサのピーク性能 8GFLOPS
計算ノードのピーク性能 64GFLOPS
計算ノードの主記憶容量 16GB
総プロセッサ数 5120
計算ノード数 640
ピーク性能 40TFLOPS
主記憶容量 10TB

関連リンク



未来前へ 先頭 次へ過去
Presented by Ishida So