借助 NVIDIA Isaac for Healthcare 遠程手術工作流進行開發

遠程手術不再是未來的概念，它在醫療服務領域扮演著越來越重要的角色。到 2030 年，全球外科醫生缺口將達 450 萬人，偏遠地區醫院更是難以吸引專家。在此背景下，由專家通過遠程方式開展手術的技術，正從實驗性探索逐步成為必然趨勢。其主要有以下三個變化：

1. 網絡發展成熟：5G 和低延遲主干網絡使跨洲的實時視頻協作成為可能

1. AI 和仿真技術成熟：外科醫生現在可以在高度逼真的虛擬環境中訓練和驗證系統，然后再進入手術室

1. 標準化平臺已經就緒：開發者無需再為傳感器、視頻和機器人技術整合定制化流程，而是可以基于共享基礎設施進行開發，從而加速研發進程。

同時，遠程手術也面臨以下主要技術挑戰：

1. 手術精度要求超低延遲視頻
2. 可靠的具有觸覺反饋的遠程機器人控制
3. 多樣化解決方案的無縫硬件集成

這正是NVIDIA Isaac for Healthcare的價值所在。它為開發者提供了一套可直接用于開發的模塊化遠程手術工作流，涵蓋視頻與傳感器流傳輸、機器人控制、觸覺反饋及仿真功能。開發者可對其進行適配、擴展，并部署于培訓與臨床兩種場景。

在本文中，將介紹遠程手術工作流的運行原理、入門方法，以及為何它是構建新一代手術機器人最快捷的方式。

什么是 NVIDIA Isaac for Healthcare？

NVIDIA Isaac for Healthcare 將功能強大的三臺計算機（NVIDIA DGX、NVIDIA OVX、NVIDIA IGX 或 NVIDIA AGX）引入醫療健康機器人領域，并整合了完整的開發技術棧。它提供了一整套工具和基礎構建模塊，包括：

• 端到端樣本工作流（手術和影像）

• 高保真醫療傳感器仿真

• 仿真可用資產目錄（機器人、工具、解剖結構）

• 預訓練 AI 模型和策略基線

• 合成數據生成工作流

基于此架構，可以從仿真直接無縫銜接到臨床部署，而無需更換基礎設施。

遠程手術工作流的原理

遠程手術工作流通過高速網絡將外科醫生的控制站與患者側的手術機器人連接起來。

• 外科醫生側：通過多路攝像頭（整體視角和機器人視角）觀察手術，并通過 Xbox 或觸覺反饋控制器下達命令。

• 患者側：攝像頭捕獲手術現場，機器人根據外科醫生的指令執行精確操作。

• 仿真模式：NVIDIA Isaac Sim中復刻相同設置，可實現安全的訓練和技能遷移。

臨床醫生能夠在危機情況下、偏遠地區的醫院中或跨洲進行手術，且不會影響響應速度。

圖 1. 遠程手術工作流程圖

系統架構

接下來，我們將深入探尋具體細節，了解該解決方案背后的架構。

1.GPUDirect 傳感器 IO：

系統使用NVIDIA Holoscan Sensor Bridge（HSB）將視頻直接傳輸到 GPU，實現實時處理。HSB 基于 FPGA 的接口，通過以太網連接高速傳感器，實現低延遲數據傳輸。這簡化了邊緣 AI 醫療應用中傳感器和執行器的集成。

2.視頻流傳輸：

系統同時捕捉兩路攝像頭畫面：房間整體和詳細的機器人視角。視頻編碼使用 NVIDIA 硬件加速，以保證畫質并最小化延遲。可以在 H.264（兼容性佳）或 NVJPEG（延遲最低）之間進行選擇。

• 多攝像頭支持：可同時采集來自安裝在機器人上的攝像頭和房間概覽攝像頭（兼容 RealSense 或 CV2）的視頻

• 硬件加速編碼：

• • NVIDIA Video Codec（NVC）支持 H.264 或 H.265，適合帶寬受限場景
  • NVJPEG 編碼：超低延遲選項，質量可調節（1-100）

3.通信層：

RTI Connect 數據分布式服務（DDS）負責站點間的所有數據傳輸，確保醫療級可靠性、低延遲和數據完整性。視頻流、控制命令和機器人反饋在不同的通道上傳輸，每個通道都通過服務質量控制進行優化，以滿足其特定需求。

• RTI Connect DDS 基礎設施：安全的醫療級可靠性，消息傳輸有保證

• 域隔離：用于視頻流、控制命令和遙測數據各自獨立 DDS 域

• 時間同步：可選的網絡時間協議（NTP）服務器集成，確保在所有系統中實現完美的時間對齊

• 網絡優化：根據手術需求定制的自動節點發現和服務質量配置文件

4.控制界面：

外科醫生可以使用 Xbox 控制器進行基本操作，或使用 Haply Inverse3 設備在 3D 空間中直觀控制機器人。控制系統與患者側機器人協同工作，將外科醫生的指令轉化為精確的機器人動作。

• 雙控制模式:
• • Cartesian 模式：直接進行 X-Y-Z 定位，實現直觀控制
  • Polar 模式：關節空間控制，適合復雜動作

• 輸入設備:

• Xbox 控制器：雙搖桿同時控制兩只 MIRA 手臂

• Haply Inverse 3：強制反饋高達 3.3N，可真實模擬組織交互

• 安全功能：自動姿態重置、工具追蹤序列和可配置盲區。

圖 2. 遠程手術系統架構圖

術前驗證：延遲基準

低延遲對于遠程手術至關重要，以下基準測試結果表明，該工作流符合臨床要求。

• 配備 IMX274 攝像頭的 HSB

使用 NVIDIA HSB board 和 IMX274 MIPI 攝像頭，實現超低延遲工作流。

• 采用 YUAN HSB board 的 HDMI 攝像頭

現有醫療機構通常配備具有 HDMI 或 SDI 輸出的攝像頭。在這種情況下，YUAN HSB board 是很好的解決方案。它可以從 HDMI 或 SDI 中拍攝視頻，并將數據直接傳輸到 GPU。此基準測試中使用的 HDMI 攝像頭是富士 X-T4 攝像頭。

顯示器基準測試采用支持 G-Sync 的顯示器，以 240Hz 刷新率在 Vulkan 獨占全屏模式下進行。延遲測量數據由 NVIDIA 延遲和顯示分析工具（LDAT）捕獲。

配備 IMX274 攝像頭的 HSB

• 1080p@60fps（H.264，碼率為 10 Mbps）

• 光子到屏幕延遲：35.2+/-4.77 毫秒
• 編碼和解碼：10.58+/-0.64 毫秒

• 4k@60fps（H.265，碼率為 30 Mbps)

• 光子到屏幕延遲：44.2+/-4.38 毫秒
• 編碼和解碼：14.99+/-0.69 毫秒

可通過生態系統中的 FPGA 合作伙伴 Lattice 和 Microchip 購買 Holoscan Sensor Bridge。

需要強調的是，兩種設置均實現了約 50 毫秒的延遲，速度足夠快，能夠支持安全的遠程操作。

部署靈活性

由于該工作流采用容器化技術，因此可在不同環境中保持一致運行：

• 實際的手術室：連接真實的攝像頭和機器人進行真實的手術。
• • 即插即用地集成現有的手術基礎設施
  • 支持多種攝像頭類型：Intel RealSense、標準 USB 攝像頭、帶 HSB board 的 MIPI 攝像頭以及帶 YUAN HSB board 的 HDMI 或 SDI 攝像頭
  • 可用游戲控制器或 Haply Inverse3 設備直接控制 MIRA 機器人
  • 通過隔離遠程操作者，實現與現場的無菌操作。

• 仿真環境：使用 NVIDIA Isaac Sim 進行訓練，而不會給患者帶來風險。
• • NVIDIA Isaac Sim 集成可提供逼真的手術場景
  • 通過準確的物理和組織建模，實現無風險訓練
  • 技能評估工具可跟蹤精度、速度和技術
  • 現場錄制和回放，可用于復盤與改進

兩種部署模式采用相同的控制方案和網絡協議，確保在仿真環境中開發的技能可直接遷移至實際應用。平臺的模塊化設計使機構能夠從基于仿真的訓練起步，并在準備就緒后無縫遷移到現場手術。

臨床影響

早期試點部署已顯示出積極的成效：

• 急診手術患者轉診時間減少了 50%
• 偏遠地區獲得專業手術護理的機會增加了 3 倍
• 通過仿真訓練，手術培訓效率提高 40%
• 超過 1,000 例手術中，無因設備延遲引發的并發癥。

構建下一代外科手術

遠程手術并非僅是一套工作流，更是構建醫療新模式的基石；它也不僅關乎架構設計，而是通過工程技術手段，為解決全球醫療領域各類缺口提供的解決方案。

• 無論身處何地，專家可為患者進行手術
• 受訓者在接觸患者之前可先在仿真環境進行練習
• 醫院可擴展稀缺的專科資源，而無需進行高成本轉診

借助為開發者打造的、可連接仿真環境與手術室的可靠低延遲工作流，NVIDIA Isaac for Healthcare 讓這一切成為可能。

構建遠程手術工作流程

git clone https://github.com/isaac-for-healthcare/i4h-workflows.gitcd i4h-workflowsworkflows/telesurgery/docker/real.sh build

之后，可以連接攝像頭，配置 DDS，并開始嘗試機器人控制。

即刻開始開發工作。您可以復刻代碼倉庫、嘗試適配新的控制設備、集成新成像系統或自行測試延遲基準。每一份貢獻，都在推動遠程手術離日常應用更近一步。

文檔與代碼

• Isaac for Healthcare 相關文檔：
• https://isaac-for-healthcare.github.io/i4h-docs/

• Isaac for Healthcare 工作流 – 示例工作流和應用：
• https://github.com/isaac-for-healthcare/i4h-workflows

• Isaac for Healthcare傳感器仿真 – 基于物理傳感器：
• https://github.com/isaac-for-healthcare/i4h-sensor-simulation

• Isaac for Healthcare 資產目錄 – 醫療資產：
• https://github.com/isaac-for-healthcare/i4h-asset-catalog

相關項目

• Isaac Sim – 機器人仿真平臺：
• https://github.com/isaac-sim

• Holoscan SDK – 邊緣 AI 平臺：
• https://github.com/nvidia-holoscan

• MONAI – 醫學影像 AI：
• https://github.com/Project-MONAI

社區

• Omniverse Discord – 加入 #isaac-for-healthcare 頻道：
• https://discord.gg/nvidiaomniverse

• GitHub Issues – 提交錯誤報告和功能請求：
• https://github.com/isaac-for-healthcare