日本联合研究团队发布 Fugaku-LLM——证明大型纯 CPU 超算也可用于大模型训练

相关：

https://mbd.baidu.com/newspage/data/landingsuper?context={“nid”%3A”news_10139665591063236146”}

研究团队表示其充分挖掘了富岳超算的性能，将矩阵乘法的计算速度提高了 6 倍，通信速度也提升了 3 倍，证明大型纯 CPU 超算也可用于大模型训练。

Fugaku-LLM 模型参数规模为 13B，是日本国内最大的大型语言模型。
其使用了 13824 个富岳超算节点在 3800 亿个 Token 上进行训练，其训练资料中 60% 为日语，其他 40% 包括英语、数学、代码等部分。

该模型的研究团队宣称 Fugaku-LLM 模型可在交流中自然使用日语敬语等特殊表达。
具体到测试成绩上，该模型在日语 MT-Bench 模型基准测试上的平均得分为 5.5，排在基于日本语料资源的开放模型首位，并在人文社科类别中得到了 9.18 的高分。
目前 Fugaku-LLM 模型已在 GitHub 和 Hugging Face 平台公开，外部研究人员和工程师可在遵守许可协议的前提下将该模型用于学术和商业目的。

个人观点：

这是一个有意义的尝试，要知道我们国家是没有国产的顶尖的成型的显卡及其配套软件的，虽然目前国产了一些软硬件，但是效果也是一直有限，但是我国在CPU领域的积累还是可以的，虽然在家用领域打不过英特尔和AMD，但是服务器领域也是够用的了，而且我国的CPU硬件的现有库存也是足够用的。如果使用大规模的CPU运算可以和显卡运算取得相似的运算结果和性能表现，那么这对于我们国家来说是多了一个战略储备，如果美国真的完全切断我国的高性能计算显卡的供货我们或许也可以选择CPU方式运行。

CPU方式运行最大的问题就是空间占地和耗能，如果真的到了被美国完全切断显卡供应，我们真的可以为每个超算中心单独配一个发电厂，至于场地嘛，东部沿海地区确实不好弄，不过搞到中西部地区却是没啥问题的，而且这样弄还可能带动当地经济发展呢。

其实，在我看来，最大的问题是造价、耗电、运算性能的扩张规律是否可以满足，可以这么理解这个scale规则，如果美国人用100个显卡干的事情我们可以用10000个CPU同样完成，那么这个事情我们是可以干的，但是如果美国的显卡的性能和运算需求是平方级别的增长呢，比如下一代的运算用新的显卡同样需要100个显卡，但是用旧型号的需要10000个显卡，那么我们用CPU是不是就要10000 * 10000个CPU了呢，可以这个问题主要还是看这个scale规则。不过不管怎么说，在万级的运算节点上进行运算还是我们国家能承受的，而且我也不认为显卡的发展会有这么大的速度，因此目前来看使用CPU运算替代显卡计算是可以作为战略储备的，这就和几十年前美国人用计算机算核物理和导弹弹道，但是我们国家依然使用手动的纸笔计算造出了核武器、导弹和人造卫星，当然这个过程是极为痛苦的，但是作为战略储备这条路是可以考虑的。