MIT的41000個視頻正在喂養能CAD建模的AI智能體

本文閱讀導圖

AM易道分享

在AI努力提高生產力的時候，一直存在一個很大的問題。

研究員們始終無法讓AI學會如何操作復雜的工業軟件。

因為CAD軟件始終是一種高度抽象思維的工具。

比如一位設計師在SolidWorks或Fusion 360中反復點擊、拉伸、旋轉時，他們實際上是在執行一種高度結構化的空間推理過程。

這種知識我們很難用文字形象的教給AI，我們只能說點哪里，然后點哪里，然后放大一點點。

上個月的公開信息值得分享，麻省理工學院研究團隊正泰試圖解決這個核心問題，讓AI學會如何使用復雜的CAD工具。

超越指令集：讓AI理解建模的語境

傳統CAD自動化方案通常依賴于預設參數或模板，而MIT團隊的VideoCAD項目選擇了截然不同的路徑。

他們構建了一個包含41000個建模視頻的數據集。

該項目首席研究員Ghadi Nehme解釋道：關鍵在于將高級設計指令轉化為像素級的界面操作。

當人類工程師說繪制直線，AI需要理解這意味著一系列具體動作：

定位起點坐標、保持工具選中狀態、拖動至終點位置。

這種轉化過程的技術實現極具創新性。

研究團隊開發了規則驅動的UI機器人，在Onshape平臺上自動執行從JSON指令到界面操作的全流程。

每個操作步驟都被解構為鼠標軌跡、按鍵序列和視覺反饋的多元組合。

例如，一次簡單的拉伸操作可能涉及17個離散動作：

從工具欄選擇拉伸工具、點擊草圖輪廓、輸入數值參數到確認執行。

這種精細化解構讓AI能夠學習到人類設計師的隱性知識,如何通過界面交互實現三維構思。

數據驅動的建模邏輯學習

VideoCAD數據集的真正價值在于其多模態特性。

它不僅記錄了最終的三維模型，更捕捉了整個創作過程中的每一個決策節點。

數據集統計分析揭示了專業設計師的操作模式：

快捷鍵使用頻率占主導（特別是Shift鍵的組合應用），鼠標移動軌跡呈現特定模式，多拉伸任務的操作序列長度達到單拉伸任務的近三倍。

MIT機械工程副教授Faez Ahmed指出：

我們訓練的不是簡單的形狀生成器，而是具備界面交互能力的智能體。它學會的不僅是如何創建三維模型，更是如何在CAD環境中像人類一樣思考和工作。

行業影響：設計新范式

我們認為，這項工作奠定了CAD-AI的技術基礎。

未來我們可以期待AI不僅自動完成重復性建模任務，還能在設計的早期階段提供智能建議。

這種技術突破將深刻改變設計工作流程。AI將利用這個數據集學會如何使用CAD工具。

未來這種技術可能催生全新的設計交互模式，設計師通過草圖表達意圖，AI負責技術實現，從此實現建模自由，AI操作CAD進行精準的建模。

結語

當前系統仍面臨諸多挑戰，研究團隊提到處理復雜的裝配體結構和工程約束仍是待攻克的難題。

未來的研究方向包括擴展數據集覆蓋更多CAD軟件平臺，增強對參數化設計和設計意圖的理解能力，以及開發支持實時協作的智能設計環境。

隨著這項技術的成熟，未來的工程設計可能不再是人機分離的線性流程，而是真正意義上的智能共生系統。

當AI補齊了精準建模這一關鍵環節，從人類的創意草圖到3D打印機上的實體構件，整個轉化過程將變得前所未有的順滑與高效。

我們將持續關注這個技術的發展。