计算能力用于训练和运行人工神经网络,为理解自然和人工系统的智能基础方面,提供重要推动。肯普纳人工智能集群(Kempner’s AI cluster)是为支持肯普纳自然与人工智能研究所和哈佛大学(Harvard University )的前沿研究而建造的超级计算机。
肯普纳人工智能集群在Green500(业界首屈一指的全球最节能超级计算机独立排名)中,被评为全球速度最快的“绿色”超级计算机。除了跻身绿色超级计算机前50名之外,该集群还被认证为TOP500中总体速度第85快的超级计算机,成为全球速度最快、最环保的超级计算机之一。
肯普纳人工智能集群于2023年春季开始试运行,目前已成为哈佛大学先进计算资源的最前沿。该集群由528个被称为图形处理器(GPU)的专用计算机处理器组成,这些处理器通过 “交换机”并行联网,可同时进行快速计算。该集群位于马萨诸塞州绿色高性能计算机中心,采用各种最先进的技术,最大限度地减少能源使用。
凭借强大的计算能力,研究人员能够快速高效地训练最先进的人工智能系统,如大型语言模型(LLM),其中最著名的是ChatGPT。肯普纳人工智能集群可以在一周和两个月内分别训练Meta Llama 3.1 8B和Meta Llama 3.1 70B语言模型。而在该集群建立投入使用前,在哈佛大学的计算机系统上训练Llama模型需要数年时间才能完成。
除了利用集群创建更快的模型,研究人员还利用集群更好地了解模型的工作原理。还能让科学家并行比较大量的模型架构和学习算法,从医学到神经科学等领域都有重要应用。
近期发表在《自然医学》(Nature Medicine)的研究中,哈佛医学院教授Marinka Zitnik及其同事利用该集群,开发并训练TxGNN。这是一种将大量医学数据提炼成知识图谱的人工智能系统,可利用图谱预测治疗罕见病药物的有效性。
肯普纳人工智能集群实现最佳能耗,同时也为“绿色”超级计算机设定了标准。现代机器学习为人工智能带来了前所未有的进步,但这种方法却越来越耗能。因此,降低人工智能的碳排放至关重要。该集群采用各种最先进的技术,最大限度地减少能源消耗,使每兆瓦电力都发挥作用。
在TOP500/Green500榜单上名列前茅固然是一项不小的成就,但更重要的是利用计算资源来促进突破性研究。为此,肯普纳自然与人工智能研究所组建了一支由专业研究工程师和研究科学家组成的团队,包含从分布式计算、到数据架构,再到计算神经科学的各种专业人员。对哈佛大学研究人员,利用绿色超级计算能力的技术潜力提升至关重要。
欢迎阅读我最新分享的欧美教育、科研、科技资讯: