國(guó)內(nèi)首次！真實(shí)場(chǎng)景靈巧操作真機(jī)數(shù)據(jù)開(kāi)源，拿來(lái)即用

機(jī)器人前瞻（公眾號(hào)：robot_pro）
作者 許麗思
編輯 漠影

具身智能要想從能跑能跳走向能干活的真實(shí)場(chǎng)景，除了身體的運(yùn)動(dòng)能力外，雙手還必須能在復(fù)雜物理世界里穩(wěn)定、可控地完成精細(xì)操作。

從家庭場(chǎng)景中的整理收納，到物流倉(cāng)庫(kù)分揀形狀各異的包裹，再到日化車間進(jìn)行生產(chǎn)作業(yè)等等，這些看似簡(jiǎn)單的動(dòng)作，背后都需要機(jī)器人的雙手對(duì)力度、材質(zhì)、接觸狀態(tài)的精準(zhǔn)感知與判斷。

機(jī)器人前瞻1月8日?qǐng)?bào)道，近日，樂(lè)聚機(jī)器人正式開(kāi)源首批 800 條高質(zhì)量靈巧操作數(shù)據(jù)，這是國(guó)內(nèi)首次面向真實(shí)作業(yè)場(chǎng)景的人形機(jī)器人靈巧操作真機(jī)數(shù)據(jù)，填補(bǔ)了國(guó)內(nèi)填補(bǔ)高質(zhì)量靈巧操作數(shù)據(jù)空白，已在樂(lè)聚OpenLET 社區(qū)上線。

▲靈巧手指尖觸覺(jué)&腕部六維力矩

樂(lè)聚OpenLET社區(qū)是樂(lè)聚機(jī)器人在開(kāi)放原子開(kāi)源基金會(huì)平臺(tái)發(fā)起建立的開(kāi)源社區(qū)，以“LET人形機(jī)器人真機(jī)數(shù)據(jù)集”為核心資產(chǎn)，聚焦人形機(jī)器人領(lǐng)域的真實(shí)數(shù)據(jù)開(kāi)源與生態(tài)共建，為全球開(kāi)發(fā)者、科研團(tuán)隊(duì)及企業(yè)搭建協(xié)作橋梁，加速具身智能技術(shù)的研發(fā)與產(chǎn)業(yè)落地。

值得一提的是，后續(xù)樂(lè)聚還將開(kāi)放工業(yè)場(chǎng)景的靈巧操作數(shù)據(jù)，相關(guān)動(dòng)態(tài)可通過(guò)樂(lè)聚 OpenLET 社區(qū)持續(xù)關(guān)注。

這一數(shù)據(jù)集的開(kāi)源，填補(bǔ)了具身智能領(lǐng)域高質(zhì)量靈巧操作數(shù)據(jù)的迫切需求，將為行業(yè)技術(shù)創(chuàng)新提供關(guān)鍵數(shù)據(jù)支撐。

一、高質(zhì)量物理交互數(shù)據(jù)缺失，機(jī)器人“看得見(jiàn)摸不準(zhǔn)”

大模型與多模態(tài)融合技術(shù)為具身智能產(chǎn)業(yè)帶來(lái)了巨大的發(fā)展機(jī)會(huì)，機(jī)器人不再局限于預(yù)設(shè)程序的機(jī)械執(zhí)行，而是具備了更強(qiáng)的環(huán)境適應(yīng)性，能夠在復(fù)雜多變的環(huán)境中完成任務(wù)，讓行業(yè)看到了規(guī)模化落地的曙光。

大模型帶來(lái)了強(qiáng)烈的機(jī)器人能力躍遷的觀感，但聚焦到操作現(xiàn)場(chǎng)，我們會(huì)發(fā)現(xiàn)，機(jī)器人雖然擁有了更聰明的大腦，知道要干什么，但常常“控制不住手”。

高質(zhì)量物理交互數(shù)據(jù)的缺失，正是制約具身智能技術(shù)落地的核心一環(huán)。在真實(shí)場(chǎng)景中采集數(shù)據(jù)時(shí)，受到環(huán)境復(fù)雜性、數(shù)據(jù)采集設(shè)備限制等因素的影響，數(shù)據(jù)質(zhì)量參差不齊，遠(yuǎn)遠(yuǎn)無(wú)法滿足模型訓(xùn)練的需求。

同時(shí)，行業(yè)長(zhǎng)期高度依賴視覺(jué)方案，機(jī)器人在面對(duì)抓取、裝配等精細(xì)操作時(shí)，力度、材質(zhì)、摩擦這些關(guān)鍵信息很難被準(zhǔn)確捕捉，自然容易陷入“看得見(jiàn)摸不準(zhǔn)”的窘境。

高質(zhì)量物理交互數(shù)據(jù)的缺失，還意味著行業(yè)容易陷入的“重復(fù)造輪子”的情況。不少企業(yè)、科研團(tuán)隊(duì)都需要從零開(kāi)始搭建采集系統(tǒng)、積累數(shù)據(jù)，不僅造成了大量的資源浪費(fèi)，更延緩了整個(gè)行業(yè)的技術(shù)迭代速度。

正是洞察到行業(yè)這些痛點(diǎn)，樂(lè)聚機(jī)器人選擇開(kāi)源靈巧操作數(shù)據(jù)集，打破了單一視覺(jué)數(shù)據(jù)的局限，為機(jī)器人模型訓(xùn)練提供了更多維、精細(xì)的多模態(tài)數(shù)據(jù)來(lái)源。

二、以真實(shí)場(chǎng)景為核心，數(shù)據(jù)維度更豐富

樂(lè)聚此次開(kāi)源的靈巧操作數(shù)據(jù)集，聚焦于真實(shí)作業(yè)場(chǎng)景，覆蓋家庭、物流、日化三大具身智能落地的關(guān)鍵領(lǐng)域，包含 800 條高質(zhì)量真機(jī)操作數(shù)據(jù)，并且數(shù)據(jù)維度更加豐富。

該數(shù)據(jù)集最核心的升級(jí)，在于新增兩類關(guān)鍵數(shù)據(jù)維度：觸覺(jué)數(shù)據(jù)與六維力數(shù)據(jù)，這也是靈巧操作里最關(guān)鍵、卻最難從視覺(jué)里獲取的訓(xùn)練信號(hào)。

觸覺(jué)陣列數(shù)據(jù)：6×12×5指尖觸覺(jué)傳感器采集的時(shí)序壓力數(shù)據(jù)，能讓靈巧像人手一樣，在觸摸到物體的時(shí)候就能感知到材質(zhì)、形狀和接觸狀態(tài)；

六維力數(shù)據(jù)：記錄抓取、放置等動(dòng)作的三維力和力矩信息，精度達(dá)±0.5%。

這兩類數(shù)據(jù)，能夠讓機(jī)器人在物理交互時(shí)理解該怎么接觸、該用多大力、力要往哪使，從而顯著提升精細(xì)操作的穩(wěn)定性、魯棒性。

該數(shù)據(jù)集還包含了另外三大維度：

RGB-D視覺(jué)數(shù)據(jù)：提供高分辨率彩色圖與稠密深度圖，精準(zhǔn)還原場(chǎng)景完整外觀與三維空間信息，為機(jī)器人定位物體提供基礎(chǔ)；

同步動(dòng)作信息：配套手部關(guān)節(jié)角度、速度等實(shí)時(shí)數(shù)據(jù)，實(shí)現(xiàn) “視覺(jué) – 力觸 – 動(dòng)作” 的全鏈路對(duì)齊，讓模型清晰理解感知與動(dòng)作的關(guān)聯(lián)邏輯；

多場(chǎng)景標(biāo)注：涵蓋快遞分揀、快消上料、家庭物品抓取等典型任務(wù)，每條數(shù)據(jù)均附帶場(chǎng)景類型、物體材質(zhì)、操作目標(biāo)等多維度語(yǔ)義標(biāo)簽，支持自然語(yǔ)言與動(dòng)作對(duì)齊建模。

為確保數(shù)據(jù)的可用性與一致性，避免因設(shè)備差異導(dǎo)致的數(shù)據(jù)偏差，統(tǒng)一采集本體至關(guān)重要。該數(shù)據(jù)集基于樂(lè)聚新一代靈巧手完成統(tǒng)一采集，這款靈巧手以 “全感知升級(jí)” 為核心，還融合了實(shí)時(shí)力覺(jué)反饋與指尖觸覺(jué)感知技術(shù)。

這款靈巧手160–185°/s 的關(guān)節(jié)速度確保操作高效響應(yīng)，0.35 秒的開(kāi)合響應(yīng)時(shí)間能夠適配物流分揀等高速作業(yè)場(chǎng)景，±0.2 毫米的定位精度實(shí)現(xiàn)毫米級(jí)精準(zhǔn)控制，滿足日化抓放、工業(yè)裝配等精細(xì)操作需求。

從家庭場(chǎng)景穩(wěn)定抓取水果、快消場(chǎng)景無(wú)損抓放物料到快遞場(chǎng)景高效分揀，它都能精準(zhǔn)地完成。

▲家庭場(chǎng)景穩(wěn)定抓取水果

▲快消場(chǎng)景無(wú)損放料

▲快遞場(chǎng)景高效分揀

三、從數(shù)據(jù)集到產(chǎn)業(yè)飛輪

相較于仿真數(shù)據(jù)在模型訓(xùn)練存在的Sim2real鴻溝，真實(shí)數(shù)據(jù)源自真實(shí)環(huán)境中的物理交互，能精準(zhǔn)還原力覺(jué)反饋、環(huán)境干擾等仿真數(shù)據(jù)難以模擬的細(xì)節(jié)，同步采集多維度數(shù)據(jù)，優(yōu)勢(shì)顯著。

對(duì)模型訓(xùn)練而言，優(yōu)質(zhì)的真實(shí)靈巧操作數(shù)據(jù)能夠提升訓(xùn)練效能與實(shí)用性，推動(dòng)機(jī)器人從“看得見(jiàn)”向“操作得準(zhǔn)”跨越，把演示成功率變成持續(xù)可復(fù)現(xiàn)的真實(shí)作業(yè)能力，其核心價(jià)值已在多個(gè)真實(shí)場(chǎng)景中得到驗(yàn)證。

該數(shù)據(jù)集多模態(tài)的觸覺(jué)-視覺(jué)融合、力控策略的不斷優(yōu)化，打破了純視覺(jué)方案的局限，賦予靈巧手像人手一樣的環(huán)境感知能力，構(gòu)建的穩(wěn)定物理交互閉環(huán)，提升復(fù)雜環(huán)境下的操作穩(wěn)定性。

模型的泛化能力在數(shù)據(jù)集的賦能下大幅增強(qiáng)，數(shù)據(jù)集覆蓋不同材質(zhì)、不同形態(tài)、不同場(chǎng)景的多樣化操作樣本，使得模型能夠靈活應(yīng)對(duì)各類物體的操作需求，跨場(chǎng)景適配能力顯著提升。

高質(zhì)量的物理交互數(shù)據(jù)能夠顯著提升任務(wù)成功率，這一點(diǎn)已在紙箱拆垛、順豐快遞分揀等場(chǎng)景得到驗(yàn)證，機(jī)器人能實(shí)時(shí)感知物體狀態(tài)和力度，就算遇到條碼遮擋、物品破損、表面濕滑等復(fù)雜情況，也能通過(guò)觸覺(jué)補(bǔ)償快速調(diào)整操作策略，精準(zhǔn)完成任務(wù)。

▲紙箱拆垛

▲快遞分揀

除此之外，該數(shù)據(jù)集還有望降低了行業(yè)研發(fā)落地門(mén)檻，配套的數(shù)據(jù)工具包和示例代碼開(kāi)箱即用，能夠快速將數(shù)據(jù)應(yīng)用于模型訓(xùn)練，大幅縮短研發(fā)周期。

靈巧操作數(shù)據(jù)集的價(jià)值遠(yuǎn)不止于單一技術(shù)優(yōu)化，還打通了“算法研究 — 模型訓(xùn)練 — 場(chǎng)景測(cè)試 — 產(chǎn)業(yè)驗(yàn)證”的全鏈路環(huán)節(jié)。它既能夠支撐觸覺(jué)識(shí)別模型的訓(xùn)練評(píng)估，又能為抓取策略、力控算法提供真實(shí)驗(yàn)證環(huán)境，更深度賦能多模態(tài)融合、具身推理等前沿方向研究，推動(dòng)具身智能技術(shù)的快速迭代與規(guī)模化落地。

結(jié)語(yǔ)：高質(zhì)量物理交互數(shù)據(jù)，加快機(jī)器人進(jìn)化與落地

當(dāng)各大機(jī)器人廠商加速把機(jī)器人推向工業(yè)、商業(yè)與家庭等更復(fù)雜的真實(shí)場(chǎng)景，行業(yè)對(duì)高質(zhì)量物理交互數(shù)據(jù)的需求水漲船高，這是從展臺(tái)演示跨越到長(zhǎng)期穩(wěn)定運(yùn)行的關(guān)鍵一環(huán)。

在這樣的背景下，樂(lè)聚選擇開(kāi)源靈巧操作真機(jī)數(shù)據(jù)，不只是一次資源共享，也是向行業(yè)輸出了標(biāo)準(zhǔn)化數(shù)據(jù)建設(shè)的實(shí)踐經(jīng)驗(yàn)。這有望幫助機(jī)器人提升動(dòng)作精度與環(huán)境適應(yīng)能力，增強(qiáng)跨場(chǎng)景泛化能力，縮短從算法研究到場(chǎng)景驗(yàn)證、再到規(guī)模化部署的鏈路，加快更多應(yīng)用落地，讓真正的商業(yè)化更早發(fā)生。