BioSupercomputing Newsletter Vol.7

Home -> Newsletter -> Vol.7

研究報告
大規模並列計算用流体・構造連成解析プログラムの開発

杉山 和靖

理化学研究所 情報基盤センター
東京大学 大学院工学系研究科(9月30日まで)
杉山 和靖
(臓器全身スケールWG)

 血流は、健康な状態を維持する機能 (止血、物質輸送、異物除去、体温調整) を担っています。例えば、血管壁が傷つくと、血小板の付着がきっかけとなって血栓が形成し、血管が修復されます。一方、何らかの要因で血栓が過度に成長し、血管が閉塞すると、後遺症や死に至る危険性の高い心疾患、脳血管疾患が引き起こされます。論理的根拠がしっかりとした計算物理の方法論によって血液の正常・異常を正しく予測できれば、治療や創薬の進歩に活かせるでしょう。我々の研究グループでは、連続体レベルでの血流現象に注目して、流体・構造の力学的作用を結びつける連成解析プログラム (ZZ- EFSI コード) を開発しています。
 血液には、柔軟に変形する血球が大量に存在します。径が数百μm以下の細い血管内では、赤血球の変形能や、高濃度の粒子流れとしての性質が、血流の機能に大きく影響します。血液・血球の動力学を記述する原理原則 (保存則、粘性・弾性を記述する構成式)は単純です。ただし、系には多様な時空間スケールの現象が内包されるため、複雑な挙動を示します。ZZ-EFSIコード開発の狙いは、単純な原理原則に基づいて、大規模計算を実現することです。その方策として、「京」の性能を引き出すことを念頭に置き、通常の連成解析コードをチューニングするのではなく、新たに実装すべき式を定め、計算スキーム、アルゴリズムを見直してきました [1, 2]。
 「京」を始めとする近年のスカラー型スーパーコンピュータの特徴として、並列処理の階層性 (計算機どうしの通信を伴うMPI並列、計算ノード内のコア間のスレッド並列、コア内の多重演算) が挙げられます。我々は、メッシュの生成・再構成を必要としないオイラー型 (空間的に固定した点で全ての物理量を更新) の計算手法を開発しました。計算プログラムでは、矩形の計算領域をx, y, z方向に賽の目状の格子に分割することによって、式の記述やMPI領域分割を行なっています。これは、どの階層のハードウェア構成とも相性が良く、計算規模を拡張するのに優れています。一般的な流体のアプリケーションは、演算量に対するメモリアクセス頻度が高い傾向にあります。演算処理に比べてメモリの読み書きの遅いスカラー機では、そのため、演算待ちの状態が頻発し、「京」での実行効率 (理論ピーク性能に対する実効計算速度) は、せいぜい10%程度に留まります。我々は、メモリアクセス頻度の低く済むアルゴリズムを開発して、計算の高速化をはかりました。「京」で実施した流体・構造連成計算の性能を図1に示します。単体ノードでの実行効率は46.6%であり、スカラー機での連続体力学計算としては、十分に高いと言えます。また、並列台数の増加に伴う効率の変化が小さいことから、線形拡張性が高いと言えます。82,944ノードを用いて、6.96 × 1011格子点数で約500万個の分散体を含む系を計算したところ、実効計算速度4.54PetaFlopsの性能を達成しました。

「京」でのZZ-EFSIコードのウィークスケーリング並列性能


図1: 「京」でのZZ-EFSIコードのウィークスケーリング並列性能 (左軸 : 実効計算速度. 右軸 : 実行効率)。計算ノードあたりの格子点数は512×128×128。

 これまで、赤血球、血小板を含む脳細動脈内流れを模擬した計算を実施しました (図2(a))。いくつかの血小板の軌跡を図2(b),( c)に示します. 赤血球のない条件( 図2(b)) では、各々の血小板の半径座標の変化が小さく、血小板は管軸に沿ってほぼ真っすぐに進むのに対して、赤血球のある条件(図2(c))では、半径座標の変化が大きく、分散しやすいことが確認できます。この結果は、赤血球群が流体を撹乱すると、血小板が大きく揺らぎ、その血管壁へ近づく機会が増えることを表します。血小板血栓形成に対する赤血球の撹拌効果の重要性を示唆する実験と辻褄が合っています。
 現在、損傷血管壁への血小板接着のモデル [2] を導入しており、血小板血栓形成に関する実験的知見の実証を目指しています。将来的な展開について、患者個別の情報に基づく薬効評価が可能となれば、魅力的な医療の創出につながるでしょう。その実現のため、物性値の変化、凝固・溶解過程、生化学反応などのモデル化を今後の課題と考えています。

【参考文献】
[1] BioSupercomputing Newsletter, Vol. 2, p. 11.
[2] BioSupercomputing Newsletter, Vol. 6, p. 2-3.

径約100μmの血管内における多数の分散体の計算結果

図2: 径約100μmの血管内における多数の分散体の計算結果。 (a) : 血球分布のスナップショット (赤 : 赤血球.白 : 血小板)。 流れは、左から右。(b), (c) : 血小板の半径座標 (血管中心軸からの距離)の時間変化。赤血球の有無による血小板の軌跡の違い。

BioSupercomputing Newsletter Vol.7

SPECIAL INTERVIEW
「京」開発担当者に聞く今後のスパコン戦略とエクサスケールに向けた取り組み
富士通株式会社 テクニカルコンピューティングソリューション事業本部
エグゼクティブ・アーキテクト 奥田 基
「京」への展開で、実利用に向けた最適化とさらなる規模の拡張を進める大規模仮想ライブラリ
東京大学大学院工学系研究科 化学システム工学専攻 教授 船津 公人
研究報告
水の誘電率計算から得られる古くて新しい問題
大阪大学蛋白質研究所 中村 春木(分子スケールWG)
大規模並列計算用流体・構造連成解析プログラムの開発
理化学研究所 情報基盤センター 杉山 和靖(臓器全身スケールWG)
スーパーコンピュータを用いた大規模遺伝子ネットワーク推定ソフトウェア SiGN
東京大学大学院情報理工学系研究科 玉田 嘉紀(データ解析融合WG)
ISLiM研究開発ソフトウェアのソース・コード公開に向けた活動
理化学研究所 次世代計算科学研究開発プログラム 田村 栄悦
SPECIAL INTERVIEW
「京」を用いた大規模シミュレーションによって細胞内分子ダイナミクスの理解と予測を実現する
理化学研究所 基幹研究所 杉田理論分子科学研究室 主任研究員 杉田 有治(課題1 代表)
日本の優れたコンピュータ技術を活かして革新的な分子動力学創薬に挑戦
東京大学 先端科学技術研究センター 特任教授 藤谷 秀章(課題2 代表)
報告
大学の新入生に行った計算生命科学の講義
理化学研究所 HPCI計算生命科学推進プログラム 鎌田 知佐
体制
計算科学技術推進体制
イベント情報