英伟达预告新版TensorRT-LLM:推理能力飙升5倍,支持OpenAI的ChatAPI
币界网报道:据 IT 之家 11 月 16 日报道,英伟达在今天 Ignite 2023 大会上,宣布更新 TensorRT-LLM,添加 OpenAI 的 Chat API 支持,并增强 DirectML 功能,改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。TensorRT-LLM 可以通过英伟达的 AI Workbench 在本地完成,开发者可以使用这个统一、易用的工具包,在 PC 或工作站上快速创建、测试和定制预训练的生成式 AI 模型和 LLM。英伟达将于本月晚些时候发布 TensorRT-LLM 0.6.0 版本更新,推理性能提高 5 倍,并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。
推荐专栏
热门币种
更多
币种
美元价格
24H涨跌幅
热搜币种
更多
币种
美元价格
24H涨跌幅
最新快讯
更多
2024-04-27 15:59:18
2024-04-27 15:52:46
2024-04-27 15:47:43
2024-04-27 15:45:57
2024-04-27 15:41:40
2024-04-27 15:37:03
2024-04-27 15:34:54