スーパーコンピュータ「京」の概要

Size: px

Start display at page:

Download "スーパーコンピュータ「京」の概要"

けいしょうちとく
5 years ago
Views:

1 Overview of the K computer System 宮崎博行草野義博新庄直樹庄司文由横川三津夫渡邊貞あらまし HPCI CPUOS LINPACK 10 PFLOPSCPU 8 Abstract RIKEN and Fujitsu have been working together to develop the K computer, with the aim of beginning shared use by November 2012, as a part of the High-Performance Computing Infrastructure (HPCI) initiative led by Japan s Ministry of Education, Culture, Sports, Science and Technology (MEXT). Since the K computer involves over compute nodes, building it with lower power consumption and high reliability was important from the availability point of view. This paper describes the K computer system and the measures taken for reducing power consumption and achieving high reliability and high availability. It also presents the results of implementing those measures. FUJITSU. 63, 3, p ,

まえがき 1977 FACOM230-75 APU30 図 -1 11 10 PFLOPS

computer タス VPP5000 SPARC Enterprise FX1

Cluster node PRIMERGY BX900 Cluster node x86

2 まえがき 1977 FACOM APU30 図 PFLOPS CPU CPU 23 京の計算ノード構成 CPU K computer タス VPP5000 SPARC Enterprise FX1 FACOM APU VP Series VPP500 VPP300/700 ス MPP AP1000 PRIMEPOWER HPC2500 AP3000 PRIMEQUEST ス PRIMERGY RX200 Cluster node HX600 Cluster node PRIMERGY BX900 Cluster node x86 スタ FUJITSU. 63, 3 05, 2012

1 CPU CPU128 GFLOPS 8CPU SPARC64 VIIIfx 図 -2 4 SPARC64

2 GFLOPS/W HPC-ACE L2 6 M/12way FX1VISIMPACT HPC High

Memory Module PC 1 70 DDR3 ンタース 5 4 1 0 スス IF L2 ュータ

5 TofuCPU 6 / 図 -3Tofu 1 3 CPU CPU 1 3 CPU CPU/ ICC-LSI

3 1 CPU CPU128 GFLOPS 8CPU SPARC64 VIIIfx 図 -2 4 SPARC64 VIIIfx 45 nm 2.2 GFLOPS/W HPC-ACE L2 6 M/12way FX1VISIMPACT HPC High Performance Computing LSI CPU 2 DDR3-SDRAM- Dual Inline Memory Module PC 1 70 DDR3 ンターススス IF L2 ュータ L2 ュコン L2 ュータ DDR3 ンタース 1CPU8 64 G / 3 8 Tofu 5 TofuCPU 6 / 図 -3Tofu 1 3 CPU CPU 1 3 CPU CPU/ ICC-LSI Inter- Connect Controller-LSITofu ICC 図 -4 6 ュ / ス -2 SPARC64 VIIIfx -3 Tofu FUJITSU. 63, 3 05,

-4/ ICC- LSI 京のラック構成 SB 図 -524 IOIO IOSB6102 1 IOCPU/ ICC SB/IOSB SB/IOSB CPU ス -5IO SB SB

4 スーパーコンピュータ京の概要ータ CPU L2 ュコンスス IF ICC スス IF TNI TNI TNI L2 ュータ PCIe PCIe ココ TNI PCIe Tofu ンターコ Memory Access Controller ICC InterConnect Controller TNI Tofu Network Interface -4/ ICC- LSI 京のラック構成 SB 図 -524 IOIO IOSB IOCPU/ ICC SB/IOSB SB/IOSB CPU ス -5IO SB SB 図 -6 ICC 6IO 3 Boot-IO BIO2 Local-IO 3 Global-IO GIO1 CPU IO ス PCIe 240 FUJITSU. 63, 3 05, 2012

IOSB SB ン IOSB のの B B 12 IOSB 6 スス SB A SB

PSU SP 京のシステム全体構成 864 図 -7 2 Z IO 174 1Y 45

5 IOSB SB ン IOSB のの B B 12 IOSB 6 スス SB A SB 12 ン SB のの A -6 BIO ETERNUS 8G- BIO 100 Tofu 6 BIO BIO ETERNUS GIOInfiniBand-QDR 1 FEFS Fujitsu Exabyte File System 7 GIO /GIO PSU SP 京のシステム全体構成 864 図 -7 2 Z IO 174 1Y X X 2 FUJITSU. 63, 3 05,

6 24スーパーコンピュータ京の概要 X ス 36 9 ス 2 IO Y X SB 12 Z IOSB 6 SB 12 IOSB 6 スススススス Y スス SB 12 スス SB 12 スススススス -7 8 図 -8 システムレベルの省電力施策 CPU/ICC High-Vth 2.0 GHz LSI POL point of load SB48 VSB 48 V POL 242 FUJITSU. 63, 3 05, 2012

システムレベルの高信頼性高可用性施策 SOC System-on-a-ChipLSI LSI LSI LSI 高信頼性施策表 -1 ス 57.6 TB 432 864 82 944 5184 IO 11.280 PFLOPS216 ス 11 PB : InfiniBand IB PQ : PRIMEQUEST 12 TFLOPS 12 TFLOPS 1 Y 18 36 9ス 2 37.

7 システムレベルの高信頼性高可用性施策 SOC System-on-a-ChipLSI LSI LSI LSI 高信頼性施策表 -1 ス 57.6 TB IO PFLOPS216 ス 11 PB : InfiniBand IB PQ : PRIMEQUEST 12 TFLOPS 12 TFLOPS 1 Y ス m GigabitEther : Management LAN : OS LAN : OS LAN : OS LANの : 10 GigabitEther : FibreChannel PG : PRIMERGY M3000 : SPARC Enterprise M3000 : ETRNUS 1IO 41スュパーン 2 FS FS MDS MDS 2CPU X5680 2CPU X GB MEM 4.25 TB 72 GB MEM x4 x4 24 GB MEM 24 GB MEM 14.4 TB x4 x4 x4 x x5184 ス PG RX GB MEM X m x864 2CPU X5680 2CPU X GB MEM 96 GB MEM 118 TB x4 x4 x4 x4 x8 PG ー RX300 12GB MEM 12 GB MEM 12.8 TB 12.8 TB x6 x4 ス A IA ン 192 GB MEM TB SPARC ン M3000 1CPU 2.75 GHz 16 GB MEM TB FS MDS PQ 1800E 8CPU E GB MEM ス 48 GB MEM 39.5 TB SAS ータ InfiniBand QDR x8 10.8TB 10.8TB 4.25TB 4.25 TB x12 FS MDS PQ 1800E 8CPU E GB MEM x8 x16 ススタ 12 GB MEM PG ー RX300 PG RX300 72GB MEM 72 GB MEM x5 ススタ 12 GB MEM x4 x4 GigabitEthernet GigabitEthernet ュパーン GigabitEthernet x4 x4 PG RX200 PG RX200 2CPU X5680 2CPU X GB 24 GB 1.02 TB ン 72 GB MEM x72 x144 PG RX200 ー PG ー RX200 PG RX200 PG RX200 12GB MEM 12GB MEM 12 GB MEM 12 GB MEM x36 x4 x6 x8 x4 x4 Pre/Post PQ 1800E PQ 1800E PG RX200 PQ 1800E 8CPU X7560 8CPU X7560 8CPU X GB MEM 64 GB MEM 48 GB MEM 1 TB MEM 1.02 TB 6.52 TB 0 x10 0 x4 x4 ン PG ン RX300 ー PG RX300 72GB MEM 72 GB MEM 12 GB MEM 12 GB MEM x10 x10 x10 x10 L2ス L2ス x16 x52 x16 x8 x8 x8 x8 FS FS MDS MDS PQ 1800E PQ 1800E 8CPU E7540 8CPU E GB MEM 512 GB MEM x48 x TB TB TB 15 TB TB TB TB x4 60 TB /data /home x180 x1620 x180 FS FS OSS OSS 2CPU X5680 2CPU X GB MEM 192 GB MEM x8 x8 SN200 M600 SN200 M600 x16 x TB 43TB 43TB 43TB 43TB 43TB x16 ンン BIG-IP 8900 BIG-IP 8900 ンン GigabitEthernet x TB x45 FS OSS 31 PB ス NAS ス NAS -8-1/ Yes Yes Yes Yes SP Yes Yes SB/IOSB No B Yes CPU/ICC No ECC SB POL No SB Yes SB No ECC SB Yes HDD RAID5 Yes FUJITSU. 63, 3 05,

8 11CPU ECC Error Correcting Code LSI POL Tofu 高可用性施策 6 / SB SB1 4 SB Tofu 図 -9 SB4Y B SBAC B SB IO3 IO IO IO IO TofuIO 図 -10BIO2 Y A C B Y C A B -9 Tofu ス BIO GIO BIO IB ススススススススススス IB BIO GIO BIO -10 IO 244 FUJITSU. 63, 3 05, 2012

9 2011 6TOP500 1Green500 6 CPU TOP5001 LINPACK10 PFLOPS 参考文献 1 M. Yokokawa et al. The K computer: Japanese next-generation supercomputer development project ISLPED p CPU SPARC64 VIIIfx FUJITSU Vol.63 No.3 p Tofu FUJITSU Vol.63 No.3 p T. Maruyama et al. SPARC64 VIIIfx: A New- Generation Octocore Processor For PETASCALE Computing IEEE Micro Vol.30 Issue2 p Y. Ajima et al. Tofu: A 6D Mesh/Torus Interconnect for Exascale Computers Computer Vol.42 No.11 p FUJITSU Vol.63 No.3 p FUJITSU Vol.63 No.3 p FUJITSU Vol.63 No.3 p H. Okano et al. Fine Grained Power Analysis and Low-Power Techniques of a 128GFLOPS/58W SPARC64 VIIIfx Processor for Peta-scale Computing Proc. VLSI Circuits Symposium'00-2 TOP500/Green /6 2011/11 TOP Rmax TFLOPS Power kw Green MFLOPS/W / 3 GIO1 GIO ベンチマーク結果 HPC- LINPACK TOP PFLOPS 10 LINPACK 表 -2 HPC HPC 1 4 Global HPL Global RandomAccess EP STREAM Triad per system Global FFT LINPACK むすび HPC FUJITSU. 63, 3 05,

10 p TOP500 Supercomputing Sites 著者紹介宮崎博行 ( みやざきひろゆき ) HPC LSI 庄司文由 ( しょうじふみよし ) 草野義博 ( くさのよしひろ ) HPC 横川三津夫 ( よこかわみつお ) 新庄直樹 ( しんじょうなおき ) HPC 渡邊貞 ( わたなべただし ) 246 FUJITSU. 63, 3 05, 2012

23 Fig. 2: hwmodulev2 3. Reconfigurable HPC 3.1 hw/sw hw/sw hw/sw FPGA PC FPGA PC FPGA HPC FPGA FPGA hw/sw hw/sw hw- Module FPGA hwmodule hw/sw FPGA h

23 Fig. 2: hwmodulev2 3. Reconfigurable HPC 3.1 hw/sw hw/sw hw/sw FPGA PC FPGA PC FPGA HPC FPGA FPGA hw/sw hw/sw hw- Module FPGA hwmodule hw/sw FPGA h 23 FPGA CUDA Performance Comparison of FPGA Array with CUDA on Poisson Equation (lijiang@sekine-lab.ei.tuat.ac.jp), (kazuki@sekine-lab.ei.tuat.ac.jp), (takahashi@sekine-lab.ei.tuat.ac.jp), (tamukoh@cc.tuat.ac.jp),