TensorRT LLM 1.0 正式上線，全新易用的 Python 式運行

TensorRT LLM 作為 NVIDIA 為大規模 LLM 推理打造的推理框架，核心目標是突破 NVIDIA 平臺上的推理性能瓶頸。為實現這一目標，其構建了多維度的核心實現路徑：一方面，針對需部署熱門開源模型的應用場景，框架已支持 GPT-OSS、DeepSeek、Llama 2 及 Llama 3 等主流模型的端到端部署；另一方面，框架將部署功能封裝為可擴展的 Python 框架；同時，TensorRT LLM 還承擔著推理領域新技術載體的角色，通過將前沿創新引入 LLM 推理生態，持續提升整個生態系統合作伙伴的技術能力。

• TensorRT LLM 1.0 易用性優化與實現方式：TensorRT LLM 1.0 版本的核心升級聚焦于易用性提升，且針對不同角色的用戶需求進行了差異化設計。為實現這些易用性目標，框架在技術層面做了多重優化：首先，支持將現有 PyTorch 模型（如 Hugging Face 生態中的建模代碼）遷移至 TensorRT LLM，且優化過程可分步實施；其次，框架完全兼容 PyTorch 與 Python 生態中的調試工具，開發者可直接使用 PDB 調試或打印張量中間值等熟悉的方式排查問題；此外，新運行時采用模塊化 Python 構建塊設計，為核心組件定義清晰接口并提供 Python 實現；同時，框架無需提前編譯或構建顯式引擎，支持快速迭代參數與跨硬件切換；最后，所有功能均開源在 GitHub，開發者可直接與 NVIDIA 團隊協作，通過貢獻代碼推動框架路線圖演進。

• TensorRT LLM 性能突破：評估 TensorRT LLM 的核心價值，需重點關注其在推理性能極限上的突破能力，而這一突破依賴于對全堆棧優化機會的精準把握與軟硬件協同優化。從 Hopper 架構到最新的 Blackwell 架構，NVIDIA 借助大型 NVLink 域、FP4 Tensor Cores 等硬件新技術，結合框架層面的模型分解服務，實現了軟硬件能力的深度協同。

針對 NVIDIA 平臺的優化過程中，這種協同設計讓 Hopper 到 Blackwell 兩代硬件的性能實現 8 倍提升。在分析性能前沿時，需重點關注兩個關鍵維度：一是交互性（即用戶體驗），具體表現為 token 在終端用戶屏幕上的傳播速度，直接影響用戶使用時的流暢感；二是系統產能，即單位時間內系統的 token 輸出量，決定了系統的服務效率。通過軟硬件協同優化，TensorRT LLM 可同時改善這兩個維度的表現，真正突破 LLM 推理的性能極限，推動領域發展邊界。

• 支撐易部署易擴展的三大核心特征：TensorRT LLM 之所以能實現易部署、易擴展的特性，并持續突破性能邊界，核心依賴于三類關鍵技術特征的支撐。

第一類特征是針對 LLM 推理中最常見操作的優化內核，包括快速注意力內核、GEMM 內核、通信內核等，這些內核以 Torch 自定義操作的形式實現模塊化封裝，可直接在模型前向傳遞過程中調用，保核心計算環節的高效性。

第二類核心特征是提供高效運行時支持。該運行時集成了動態批處理、高級 KV Cache 重用、預測性解碼、高級并行化等關鍵技術，能夠從系統層面優化整體性能，而非局限于模型單一計算環節的提升。

第三類核心特征則是將所有技術能力封裝至 Pythonic 框架中，開發者可直接在 PyTorch 環境中編寫模型代碼，同時通過 Python 運行時模塊靈活自定義系統行為，既降低了使用門檻，又保留了足夠的擴展靈活性，讓不同技術背景的開發者都能高效利用框架能力。

• 快速啟動并使用 TensorRT LLM：為幫助開發者快速啟動并使用 TensorRT LLM，框架提供了三種核心交互方式。首先，通過 TRT LLM serve CLI 工具，開發者可僅用一行代碼啟動服務器。對于更大規模的部署場景，尤其是需要多實例編排的需求，開發者可借助 Dynamo 等工具實現高級數據中心規模優化。若開發者需要更靈活、穩定的 API 支持，框架推薦使用 LLM API。該 API 在 1.x 版本中保持接口穩定，能確保部署過程的穩定性與無縫性，同時支持各類自定義場景，無論是調整運行時參數還是集成自定義模塊，都能通過 API 便捷實現，兼顧穩定性與靈活性。

以上為摘要內容，點擊鏈接閱讀完整內容：

輕松部署、加速推理：TensorRT LLM 1.0 正式上線，全新易用的 Python 式運行 - NVIDIA 技術博客