HPCチャレンジベンチマーク

HPCチャレンジベンチマーク
作者 テネシー大学 ICL (Innovative Computing Laboratory)
最新版
1.4.3
プラットフォーム クロスプラットフォーム
サポート状況 開発中
ライセンス BSD
公式サイト http://icl.cs.utk.edu/hpcc/
テンプレートを表示

HPCチャレンジベンチマーク（英語: HPC Challenge Benchmark、HPCC）は、HPCシステムのより現実的な性能を測定するための、複数の特性を評価するベンチマークのセットである[1]。

DARPAのHPCS計画や、アメリカ合衆国エネルギー省、アメリカ国立科学財団の共同出資による[2]。

2005年から2016年（ただし、2015年は除く）のSupercomputing Conference(SC)において、HPCチャレンジベンチマークの一部を評価基準としたHPCチャレンジ賞が発表されている[3]。

概要

HPCチャレンジベンチマークは、HPL、DGEMM、STREAM、PTRANS、RandomAccess、FFT、Latency/Bandwidthの7つのベンチマークより構成される。

  • HPLは連立一次方程式の求解、線形代数における逆行列を求めるLINPACK TPPベンチマークで、システムの浮動小数点演算性能の負荷テストである。
  • DGEMMは倍精度実数の行列の積を求め、浮動小数点演算性能を測定するものである。
  • STREAMはプロセッサのキャッシュの効果を反映させないように、非常に大きな配列間のロード/ストアの性能を測定するもので、持続可能なメモリーの帯域幅を測定する試験である。
  • PTRANSはCPU間での1対1同時通信により転置行列を計算し、ネットワークの総データ通信容量を測定するものである。
  • RandomAccessはメモリーのランダム更新速度を測定する。
  • FFTは高速フーリエ変換 (Fast Fourier Transform) の処理能力を測定する試験である。
  • Latency/Bandwidthは多数のノード間など複雑性の高い通信パターンでの通信の遅延と帯域を測定する

[4] [5]

HPCチャレンジ賞

HPCチャレンジ賞競技会（英語: HPC Challenge Award Competition）は、毎年のスーパーコンピューティング・カンファレンスで実施され、結果が発表される。

HPCチャレンジ賞には以下の2クラスがある[6]。

  • クラス1: HPCチャレンジのウェブサイトに提出された中から、稼動時の最高性能を評価する。
  • クラス2: HPL、STREAM、RandomAccess、FFTの中から3〜4個を選択し、さらにHPCチャレンジベンチマーク以外の任意のベンチマークを0〜2個選択し、合計4〜5個のベンチマークを実装する[注 1]。それらのプログラム実装の洗練さと性能の総合評価を行う。

上記のクラス1では、HPCシステムの総合性能を評価するために、多くの科学技術計算で用いられる以下の4つのベンチマーク指標を使用して、それぞれの順位が発表される[7] 。

  • Global HPL (G-HPL) - 巨大な連立1次方程式の算出における演算速度。LINPACK TPP。
  • Global RandomAccess (G-RandomAccess) - 並列プロセス間におけるメモリーのランダム更新速度。
  • Global FFT (G-FFT) - 高速なフーリエ変換における浮動小数点演算速度。
  • EP STREAM Triad (per system) - システム単位の多重負荷時におけるメモリ更新速度。

クラス1のHPCチャレンジ賞の歴代受賞システム（全4部門における各1位のみ）は以下の通り。

クラス1のHPCチャレンジ賞 受賞システム（全4部門、各1位のみ）
年 G-HPL G-RandomAccess G-FFT EP STREAM Triad (per system) 出典
2016 理研 京 理研 京 理研 京 理研 京 [8]
2014 理研 京 IBM Power 775 ANL Mira 理研 京 [9][10]
2013 理研 京 IBM Power 775 理研 京 理研 京 [11][12]
2012 理研 京 IBM Power 775 理研 京 理研 京 [13] [14]
2011 理研 京 理研 京 理研 京 理研 京 [15][16][17]
2010 ORNL Cray XT5 LLNL BlueGene/P JAMSTEC SX-9 ORNL Cray XT5 [18][19]
2009 ORNL Cray XT5 LLNL BlueGene/P ORNL Cray XT5 ORNL Cray XT5 [20][21]
2008 ORNL Cray XT5 ANL BlueGene/P ANL BlueGene/P ORNL Cray XT5 [22][23]
2007 LLNL BlueGene/L LLNL BlueGene/L SNL Cray XT3 LLNL BlueGene/L [24]
2006 LLNL BlueGene/L LLNL BlueGene/L LLNL BlueGene/L LLNL BlueGene/L [25][26]
2005 LLNL BlueGene/L LLNL BlueGene/L LLNL BlueGene/L LLNL BlueGene/L [27][28]

クラス2のHPCチャレンジ賞の歴代受賞言語は以下の通り。賞の名前は年ごとに異なる。

クラス2のHPCチャレンジ賞 受賞言語
年 賞 言語 所属 出典
2014 Best Performance XcalableMP & XcalableACC 理化学研究所計算科学研究機構、筑波大学計算科学研究センター [10]
Most Elegant Language PCJ ワルシャワ大学
2013 Winner XcalableMP 筑波大学計算科学研究センター、理化学研究所計算科学研究機構 [12]
2012 Best Performance X10 IBM [14]
Most Elegant Language Chapel Cray
2011 Best Performance Charm++ イリノイ大学 [15]
Most Elegant Language Chapel Cray
2010 Most Productive System Unified Parallel C & X10 IBM [18]
Most Productive Language Coarray Fortran 2.0 ライス大学
2009 Best Performance Unified Parallel C & X10 IBM [20]
Most Elegant Implementation Chapel Cray
2008 Best Performance Unified Parallel C & X10 IBM [22]
Most Elegant Implementation Chapel Cray
Unified Parallel C & X10 IBM
Parallel MATLAB MathWorks
2007 Most Productive Research Implementation X10 IBM [24]
Most Productive Commercial Implementation Python/Star-P Interactive Supercomputing
2006 Best Overall Productivity Cilk MIT CSAIL [25]
Best Productivity in Performance Unified Parallel C IBM
Best Productivity and Elegance Parallel MATLAB MathWorks
2005 Class 2 Award was shared by 2 Unified Parallel C IBM [27]
Cray MTA/C Cray

脚注

  1. ^ HPCC
  2. ^ Cray X1 Supercomputer Has Highest Reported Scores on Government-Sponsored HPC Challenge Benchmark Tests
  3. ^ 2005 HPCC Awards
  4. ^ HPCC FAQ
  5. ^ 滝沢寛之, 小久保達信, 片海健亮, 小林広明「HPC Challenge ベンチマークを用いたSX-7 システムの性能評価」『情報処理学会論文誌コンピューティングシステム（ACS）』第46巻SIG12(ACS11)、情報処理学会、2005年8月、37-45頁、CRID 1050001337893180032、hdl:10097/53065、ISSN 1882-7829。 
  6. ^ HPC Challenge Award Competition
  7. ^ 「地球シミュレータ」がHPCチャレンジアワードの2指標で第3位を受賞 　－Global FFT及びEP STREAM(Triad) per systemで各第3位－
  8. ^ 「京」でHPCチャレンジ賞 4部門で第1位 – SC16（米・ソルトレイクシティ） | 理化学研究所 計算科学研究機構(AICS)
  9. ^ スーパーコンピュータ「京」でHPCチャレンジ賞クラス１、２を受賞 | 理化学研究所
  10. ^ a b 2014 HPCC Awards
  11. ^ スーパーコンピュータ「京」でHPCチャレンジ賞クラス1、2（初）を受賞 | 理化学研究所
  12. ^ a b 2013 HPCC Awards
  13. ^ スーパーコンピュータ「京」でHPCチャレンジ賞 3部門の第1位を獲得 - SC12（米・ソルトレイクシティ） | 理化学研究所
  14. ^ a b 2012 HPCC Awards
  15. ^ a b 2011 HPCC Awards
  16. ^ 京速コンピュータ「京」がHPCチャレンジ賞 4部門すべてで第1位を獲得 - 理科学研究所
  17. ^ Fujitsu : "K computer" No. 1 in Four Benchmarks at HPC Challenge Awards - 4-Traders
  18. ^ a b 2010 HPCC Awards
  19. ^ Jaguar and Kraken Shine in Supercomputing Challenge - HPC wire
  20. ^ a b 2009 HPCC Awards
  21. ^ Tennessee Supercomputing Titans Triumph at HPC Challenge - HPC wire
  22. ^ a b 2008 HPCC Awards
  23. ^ Oak Ridge Supercomputer Wins Big at HPC Challenge - HPC wire
  24. ^ a b 2007 HPCC Awards
  25. ^ a b 2006 HPCC Awards
  26. ^ HPC Challenge Benchmark at SC06 - HPC wire
  27. ^ a b 2005 HPCC Awards
  28. ^ IBM Wins Big in HPC Challenge Competition - HPC wire

注釈

  1. ^ HPL、STREAM、RandomAccess、FFTの中から3つのみを選択した場合、任意のベンチマークを最低1つは追加する必要がある。HPL、STREAM、RandomAccess、FFTのすべてを選択した場合は、任意のベンチマークは必要ではないが、1つのみ追加してもよい

関連項目

外部リンク