天河二号
天河二号(Tianhe-2)是由国防科学技术大学研制的超级计算机系统,以峰值计算速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿次双精度浮点运算的优异性能位居榜首,成为2013年全球最快超级计算机1。
天河二号的型号为TH-IVB-FEP,有16,000个运算节点,每节点使用两个中央处理器Intel Exon E5和三个协处理器Xeon Phi的运算架构,累计32,000颗主处理器和48,000个协处理器,共312万个计算核心,产生峰值性能为1.003TFLOPS。整体总计内存1.408PB,12.4PB容量的硬盘阵列,主板、机架与机柜均由浪潮集团制造,共有125个机柜,整机功耗17,808千瓦,搭载水冷散热系统后达到24兆瓦2。
天河二号使用麒麟操作系统,基于SLURM(Simple Linux Utility for Resource Management)的全局资源管理。使用光电混合传输技术(Optoelectronics Hybrid Transport Technology),使用自制的TH Express-2主干拓扑结构网络连接2。综合技术处于国际领先水平,有高性能,低能耗,应用广,易使用,性价比高的特点1。
天河二号超级计算机还可以在气候问题、生物信息、地震监测、公共健康、地球科学、交通工具制造、天体物理、材料科学、人类/组织系统研究等方面发挥巨大作用3。
基本信息
- 中文名
天河二号、TH-2
- 外文名
Tianhe-2、Milkyway-2
- 属性
超级计算机
- 开发国家
中国
- 开发机构
中国国防科技大学
组成结构
天河2号由16000个节点组成,每个节点有2颗基于Ivy Bridge-E Xeon E5 2692处理器和3个Xeon Phi,累计共有32000颗Ivy Bridge处理器和48000个Xeon Phi,总计有312万个计算核心。
每个Xeon Phi使用其中的57个核心,而不是使用全部的61个,因为使用61个在运算周期协调方面会有问题,而使用57个核心能够加速4个执行线程,并且在每个线程单周期可以达成4flops的运算量,运行在1.1GHz的Xeon Phi可以生产1003 Tflops的双精度运算能力。如果考虑CPU,2 Ivy Bridge * 0.2112 Tflop/s + 3 Xeon Phi * 1.003 Tflop/s=3.431 Tflops,2个Ivy Bridge+3个Xeon Phi单个节点可以有3.431 Tflops运算能力,16000个节点总计可达54.9PFlops性能。每个运算节点有64GB主存、而每个Xeon Phi板载8GB内存,因此每个节点共有88GB内存,总计16000个节点一共有1.404 PB内存,而外部存储器容量方面更是高达12.4PB.
在每个主板上有2个计算节点,而每个框架则有16个主板,4个框架组成一个机柜,整个系统由125个机柜组成。每个计算节点主板分为两块,一块CPM一块APU,CPM上有4核Ivy Bridge、内存和一个Xeon Phi,而APU基板上则承载着5个Xeon Phi.CPM和APU之间有5个水平插入的链接口,由Ivy Bridge内置的PCI-E 2.0进行连接,虽然Ivy Bridge内置为PCI Express 3.0接口,但Xeon Phi仅支持2.0,单个通路为10Gbps带宽。计算节点的前端处理器为4096个FT-1500处理器, FT-1500处理器是由国防科技大学为天河1研发,其可以说是天河1项目的最大收获,其为16核心的Sparc V9架构处理器,在40nm工艺情况下运行频率为1.8Ghz,峰值性能为144 Fflops/s,功耗为65W,但相比英特尔22nm 12核 2.2GHz 211Gflops/s性能的Ivy Bridge还是有明显差距。
天河2互联方面采用自主研发的 Express-2 内部互联网络,其为有13个交换机,而每个交换机有576个端口。连接介质为光电混合。具体控制器是名为NRC的ASIC专用目的集成电路,其采用90nm工艺,封装尺寸为17.16x17.16 mm,共有2577引脚。单个NRC的吞吐能力为2.56Tbps.而在终端方面网络接口也采用类似结构的NIC,但规模稍小,为10.76x10.76 mm, 675 pin,其采用PCIE 2.0方式连接,传输速率为6.36GB/s.并且在在12000节点的情况下延迟也很低,仅为85us.
而在计算能力方面,使用14336个节点 总计50GB内存进行LINPACK测试,理论性能为49.19Pflops,而实际测试性能为30.65Pflops,效率为62.3%.这个效率并不算高,还有很大优化提升潜力。当然也可能是被Xeon phi仅支持PCI Express 2.0带宽不足限制。
上面测试使用了16000个节点中的14336个,运用了90%的规模,基本可以代表天河2的整体性能表现。天河2的性能部件(处理器、内存、互联)整体功耗为17.6MW,而整体的运算能力为30.65PFlops,这样计算每瓦的性能为1.935Gflops,这个性能/功耗比可以拍在超算TOP500的前五,其整体性能/功耗比十分出色。
系统的整体功耗为17.6 MW,并且这个功耗还不包括水冷这样的散热系统,如果考虑上整体功耗将高达24MW,广州国家超算中心将采用城市供水系统构建高散热效能的冷却系统,有能力可以提供80KW系统的散热能力。
天河二号超级计算机系统由170个机柜组成,包括125个计算机柜、8个服务机柜、13个通信机柜和24个存储机柜,占地面积720平方米,内存总容量1400万亿字节,存储总容量12400万亿字节,最大运行功耗17.8兆瓦。天河二号运算1小时,相当于13亿人同时用计算器计算一千年,其存储总容量相当于存储每册10万字的图书600亿册。相比此前排名世界第一的美国“泰坦”超级计算机,天河二号计算速度是“泰坦”的2倍,计算密度是“泰坦”的2.5倍,能效比相当。与该校此前研制的天河一号相比,二者占地面积相当,天河二号计算性能和计算密度均提升了10倍以上,能效比提升了2倍,执行相同计算任务的耗电量只有天河一号的三分之一。
研究历程
2009年,中国首台千万亿次计算机“天河一号”研制成功,运行“核高基”专项支持研制的银河麒麟操作系统,名列当年的国际超级计算机TOP 500排行榜世界第五位、亚洲第一位的排名,并使中国成为继美国之后世界上第二个能够研制千万亿次超级计算机的国家。
2010年时,中国研制的首台千万亿次超级计算机“天河一号”曾在全球TOP 500超级大型计算机排行榜中排名第一,但在2011年时被日本最新研发的超级计算机“京”超越了。到了2012年,美国的“泰坦”又超越了日本的“京”。
“天河二号”由280人历时两年多研制完成,耗资约1亿美元。研发耗资约1亿美元,由国家科技部、广东省人民政府、广州市人民政府共同出资建设。
2013年下半年,它将在广州超级计算中心投入运行,为120多家用户提供了300多项典型应用计算。同时,为用户培训了一批超算应用技术人才。其先导系统已开始为生物医药、新材料等领域用户提供服务。
从2010年11月14日天河一号排名世界第一到2013年6月17日天河二号再登世界超算之巅,从天河一号4.7千万亿次到天河二号5.49亿亿次,从超级计算机由千万亿次级(1015)迈入亿亿次级(1016)计算速度,这是国防科技大学天河团队再次创造的“中国速度”。