英伟达在推出新款芯片后，宣布将发布全新的开源软件TensorRT LLM，这一软件将极大提升英伟达GPU在运行大型语言模型时的速度。英伟达表示，新款开源软件将显著提升旗舰产品H100的性能。
同时，为了扩大销售，他们还将这款软件集成到英伟达NeMo LLM框架中，使其成为英伟达人工智能企业软件套件的一个组成部分。 TensorRT LLM不仅支持H100，还支持A100，以及L4、L40、L40S和即将推出的Grace Hopper超级芯片。Grace Hopper是H100 GPU与其72核Grace CPU的结合体，这一创新性的结合无疑将为英伟达的市场竞争力注入新的活力。
为了保持其在市场上的领先地位，英伟达与美国主要的科技公司加强了联系T。ensorRT LLM可以支持最新版本的LLM，例如GPT-3、Llama、Falcon 180B和BLOOM等大型语言模型。
TensorRT LLM通过软件库中的程序，可以与多个GPU或服务器进行独立式运行。 TensorRT LLM还配备了一种新的调度器，这种调度器能够让系统派发更多的工作给GPU，从而增加GPU的利用率。由于软件的控制，系统可以让GPU不间断地接受工作，确保其达到100%的工作负荷。
为了展示TensorRT LLM的优势，英伟达公布了一系列测试数据。在测试GPT-J 6B LLM时，使用TensorRT LLM的H100比常规的H100快两倍，比上一代旗舰产品A100快八倍。在测试Meta的Llama2 LLM时，经过优化后的H100速度提升了77%，比A100快4.6倍。
然而，尽管英伟达推出的开源软件TensorRT LLM对于我们来说无疑是一大福音，但由于受到美国的限制，我们无法获得非常先进的GPU，因此TensorRT LLM对于我们的帮助可能会存在限制。要突破这种限制，我们需要自主研发出自己的GPU和软件，这将为我们的人工智能技术发展铺平道路。
yq
还是很先进