阿呆总是听人家讲超级计算机，搞不明白超级计算机到底和普通电脑有什么区别。
普通青年心中的超级计算机：
文艺青年心中的超级计算机：
二逼青年心中的超级（炒鸡）计算机：
今天咱们来看看天河2号超级计算机怎么搭出来的。
天河二号由国防科技大学和浪潮合作研制，2013年至2014年蝉联全球超级计算机第一名。不过性能是拿钱堆出来的，造价25亿人民币，一天满负荷运转要耗电费40万元。看看下面的配置就知道为什么花这么多钱了。从这么多CPU看得出来，CPU厂商是多么喜欢超级计算机。不过美国政府对中国禁运高端CPU之后，Intel的销售估计都要哭死了。
怎么从一个个芯片组装成一台超级计算机？看下图。16000个计算节点，其实就是主板，汇集成32个Frame，再组成4个Rack，最后组成了超算系统。
超级计算机的基础节点包括三种：16000个计算节点，4096个管理节点，256个IO节点和64个存储服务器。
先看看最小的组件：计算节点。2 个Intel Ivy Bridge CPU + 3个 Intel Xeon Phi 。CPU之间用QPI总线互联，一般NUMA架构是这么做的。每个CPU有自己的DIMM内存，一共64GB。还通过PCIex16连到内部高速互联网络，GDDR5内存。GDDR5内存有一个专门的CPU管理。两个万兆网卡估计是管理用的。这样一个节点计算性能最高可以到3.432Tflops，
计算节点物理上坐落于计算刀片服务器。如下图，蓝色的是Xeon Phi处理器，黑色的估计就是Ivy Bridge CPU，所以一个刀片服务器包含了两个节点。
再来看看用国产飞腾CPU搭建的管理节点，性能是144GFlops。飞腾CPU是国防科大研制的，目前有几种型号，天河2号采用的FT-1500基于 Sparc V9架构。为了便于商业化推广，飞腾还推出了兼容ARM64位指令集的FT-1500A系列。FT-1500A目前包括4核和16核两款产品。其中4核处理器芯片主要面向桌面终端和轻量级服务器应用领域，面向服务器应用领域的是16核处理器芯片。据称，FT-1500A系列处理器与Intel 2010年的处理器性能相当 。
来看看这颗基于Sparc架构的FT-1500架构。采用40nm工艺，1.8GHz，16核，功耗约65瓦。计算架构采用了SIMD（Single Instruction Multiple Data），一条指令可以同步让多组数据执行。如下图，一个CPU有四个DDR3接口，IO带宽很高。
天河2号有256个IO节点和64个存储服务器，总共存储容量12.4PB。既然是超级计算机，自然要使用高性能的固态硬盘SSD，每个IO节点有2TB的SSD，IO带宽达到5GB/s，从下图可以看出1个2TB SSD由5个400GB 小SSD组成，那估计每个的带宽是1GB/s。IO节点对外有两种接口：高速互联接口和Infiniband QDR存储网络接口。阿呆猜想高速互联网络是用来输出数据给计算节点，IB接口是IO节点之间数据共享用的。采用了Hybrid hierarchy file system，H2FS，数据保存在每个节点本地，但是相互之间也能共享。
这么多节点怎么组成超级计算机呢？下面就是组网图。关键的设备是中间的13个交换机，每个交换机有576个端口！
更加难能可贵的是，高速互联芯片都是纯国产。包括网络路由芯片NRC和网络接口芯片NIC。
- NRC采用90nm工艺，大小为17.16mm*17.16mm，2577个管脚，带宽为2.56 Tbps。这么多管脚估计也是为了增加端口数。
- NIC也是90nm工艺，大小10.75mm*10.76mm，675个管脚。
说到超算，就不得不提制冷系统，这么一台庞大的机器，没有有效的制冷，估计就着火了。天河2号采用了紧耦合水冷系统，整台机器功耗17.6MW，加上制冷系统就是24MW。制冷用了27%的电。
天河有自己的软件架构，如下图。对用户来说，最重要的是用户的编程接口，有些用户为了搞个研究，写这个程序就得花上几年。很多时候政府推动的项目硬件给很多经费，设备都很不错，但是领导舍不得给软件投钱，毕竟展示效果没那么壮观，所以软件往往是短板，用户使用不便，先进设备的利用率就不高。
天河支持下列编程语言。值得一提的是OpenMC语言，比CUDA和OpenCL的抽象级别更高，在CPU等各种资源之上有一个统一的逻辑层。各种计算任务异步执行，同时分配到不同的设备上。
对管理者来说，这么多节点的资源调度和监控也是很重要的。如下图，每台机器安装了国产麒麟Linux操作系统，其实也是国防科大主导的。
我们搞存储的最关心的就是存储软件架构了。数据分为本地存储和共享存储，共享存储使用了超算流行的Lustre分布式文件系统，这种文件系统对于大文件访问性能不错。用户使用POSIX接口读写文件。不过数据密集型应用用Layout接口和Policy接口访问数据。
总结一下，一台超级计算机其实就是很多小计算机的集合，当然难点在大家的高速互联和同步。
