為了讓你過上甩手不洗碗的日子，他和團隊正在教機器人彈鋼琴、敲架子鼓

如果你在宋偉面前吐槽，人類期待機器人可以掃地、洗碗、疊衣服，可它們偏偏在寫詩、畫畫、跳舞，他會笑著讓你再等等，心煩的話可以聽一聽由他組建的機器人樂隊的表演。

彈鋼琴、敲架子鼓、演奏揚琴……一個月前，這支名為“和璇”的樂隊在杭州西站完成了一場大秀，已經(jīng)收到來自四面八方，包括人類樂隊的邀請。它們會的曲目也越來越多，從《歌唱祖國》到《滄海一聲笑》《青花瓷》《孤勇者》……

宋偉為那場表演打了“優(yōu)秀”：“機器人的完成度很高，就是選曲、編排等有些難為我們這一幫工科直男了。”

這位浙江大學(xué)研究員，和云深處創(chuàng)始人朱秋國是本科同班同學(xué)，算是國內(nèi)最早一批在人形機器人領(lǐng)域的拓荒者，而且選擇了一個頗為浪漫的切入口：彈鋼琴。

當然彈琴不僅是為了彈琴，而是讓機器人有個能不斷升級的復(fù)雜場景。就像宋偉本人，除了浙大老師的身份，還兼任浙江大學(xué)機器人研究院研究員、杭州海創(chuàng)人形機器人產(chǎn)業(yè)創(chuàng)新中心副主任、浙江省機器人產(chǎn)業(yè)發(fā)展協(xié)會秘書長……

出現(xiàn)在數(shù)貿(mào)會的宋偉和他的鋼琴機器人 攝影 韓丹

出道數(shù)月的和璇樂隊

一臺開了側(cè)蓋的電腦主機靜置在地，墻角放著一張單人折疊床；帶魚 屏 顯示器上，是一份未完成的PPT，求職簡歷和博士、碩士畢業(yè)論文整齊地摞在一旁；玻璃窗上貼著兩個透明掛鉤，外套和雙肩背包往那一掛，人便可轉(zhuǎn)身扎進代碼與算法的世界。

走進宋偉的辦公室，一眼就能看出他多個身份。

這里是位于浙江大學(xué)校友企業(yè)總部經(jīng)濟園的浙大機器人研究院，也是杭州海創(chuàng)人形機器人產(chǎn)業(yè)創(chuàng)新中心所在地。后者是去年8月，浙大與余杭區(qū)政府合作共建的重大科創(chuàng)平臺，由浙大原黨委副書記、機器人研究院院長朱世強擔(dān)任主任。

他也是宋偉求學(xué)以及職業(yè)生涯非常重要的導(dǎo)師。

約到這次采訪并不太容易。宋偉太忙了：技術(shù)研發(fā)、團隊管理、訪客接待、宣傳推廣……

這個團隊眼下最亮眼的成果之一是“和璇樂隊”，從鋼琴、揚琴、架子鼓，到訓(xùn)練中的吹管、無弦吉他等，“技能樹”正在不斷點亮。

攝影 韓丹

和人一樣，鋼琴機器 人 左右“手”各有五根“手指”，可精準敲擊黑白鍵，且能較快 速 切換，“腳”還會隨著節(jié)奏輕踩踏板。

攝影 韓丹

再加上揚琴機器人和架子鼓機器人，和璇樂隊已“出道”數(shù)月，在各大科技展館、社區(qū)和商場完成了幾十場演出。它們不會搶拍，也不會彈錯音符，儼然是訓(xùn)練有素的“樂手”。

機器人與人類彈奏仍有本質(zhì)區(qū)別。現(xiàn)階段，機器人靠的是靈巧手與機械臂的精密配合。人類為它預(yù)設(shè)程序、導(dǎo)入樂譜，再通過曲譜解析算法、運動控制算法，將每一個音符轉(zhuǎn)化為精準的指法動作。

換句話說，機器人們還做不到實時響應(yīng)、即興發(fā)揮，每一次登臺，背后是機器人在數(shù)字空間的仿真模擬與動作迭代。

彈鋼琴是為了更好地洗碗？

讓機器 人彈 琴這件事，人類已經(jīng)認真研發(fā)了好久。2017年，一臺名為Arpeggio的鋼琴機器人面世。它擁有夸張的88根“手指”，可以精準控制256種踏板和1000 多種 琴鍵。只要提前編程設(shè)置好，無論是哪一首名曲，難度有多高，都可以信手拈來。

但如果把“手指”縮減到跟人一樣的數(shù)量，機器人還能那么從容嗎？這是擺在宋偉他們面前的一道難題。

對于為什么要做彈琴機器人，宋偉團隊有著清晰的認知。首先，相比讓機器人倒杯水，音樂演奏是一個復(fù)雜的場景，而且考驗的是“雙手”能力。其次，像倒水這件事，只是讓機器人關(guān)注東西在哪里，更多考驗的是視覺捕捉能力。

“但彈琴是有節(jié)拍概念的，你既要在這一時刻找對位置，又要注意下一步怎么彈。這就是前瞻性。它在時序上就比倒水更復(fù)雜。”宋偉表示， 另外 彈琴考驗的不僅是手，還有手臂的協(xié)同，需要機器人在演奏時身體各部位和人一樣保持和諧。

和人類學(xué)琴有考級一樣，隨著演奏曲目難度的增加，對機器人的考驗也越來越大。目前，宋偉和團隊以演奏技巧、可演奏曲目的復(fù)雜程度，來 為 機器人演奏水平進行評級。這些指標都可轉(zhuǎn)化為對手指跨度、移動速度等手臂能力的量化目標。

“隨著演奏等級的提升，手和臂的智能化也在進步，技術(shù)方案由此實現(xiàn)持續(xù)迭代。”而當這些技術(shù)打磨成熟后，再讓機器人做一些掃地、洗碗、疊衣服之類相對簡單的事就屬于“降維打擊”。

因此，在真正進入家庭前，機器人需要一個高精度、高復(fù)雜度的“訓(xùn)練場”。彈鋼琴恰好提供了這一切。

當然，文化娛樂也是宋偉眼中當前技術(shù)最能支撐、也最容易落地的場景，“組建機器人樂隊，通過演出和機器人售賣，就能反哺研發(fā)投入，形成商業(yè)閉環(huán)。”

來自浙大的技術(shù)基因

“從技術(shù)的視角來看，僅去年到今年，人形機器人在運動控制方面的突破，可能已經(jīng)超越過去20年的總和。”談及近幾年技術(shù)的飛躍，宋偉的語氣中流露出些許感慨。

他與機器人的故事，開始于22年前。

2003年，宋偉從山東考入浙江大學(xué)。“男生嘛，都差不多，從小愛看機甲動畫片，對機器人有發(fā)自內(nèi)心的熱愛。”他笑著回憶，“所以就報考了機械電子工程專業(yè)。”他的同班同學(xué)中，就有后來創(chuàng)辦云深處科技的朱秋國。宋偉辦公室的小圓桌上，剛好還放著朱秋國最近贈送的《智能四足機器人Lite3 實訓(xùn)案例集》簽名本。

此后，兩人都選擇留校深造。宋偉進入流體動力與機電系統(tǒng)國家重點實驗室攻讀博士，朱秋國則進入控制科學(xué)與工程學(xué)院師從 褚健 和熊蓉教授。

彼時，機器人研究的火種已開始在浙大校園里播撒，如今開枝散葉、星火燎原。除了宋偉、朱秋國，還有熊蓉教授和寧波市政府共建的浙江人形機器人創(chuàng)新中心、王宏濤教授的鏡識科技、王酉副教授的邏騰科技……這些帶著浙 大師 生基因的創(chuàng)新力量，正在機器人領(lǐng)域的不同賽道探索前行。

早些年，宋偉的研究聚焦于特種作業(yè)機器人，例如無人自主爬壁機器人和深水軟體作業(yè)機器人，“看似領(lǐng)域不同，但底層技術(shù)其實是相通的。”直到2017年，新型研發(fā)機構(gòu)之江實驗室成立，讓他有機會成為國內(nèi)人形機器人拓荒者里的一員。

攝影 韓丹

浙江的機器人產(chǎn)業(yè)鏈非常完整

2018年，之江實驗室智能機器人研究中心機器人中心掛牌運行。在制定研究方向時，當時的核心團隊達成高度共識：要做“有顯示度、代表未來，并能牽引產(chǎn)業(yè)”的研究。這一理念，最終指向了人形機器人。

與如今海創(chuàng)創(chuàng)新中心以產(chǎn)業(yè)化為核心不同，當時他們選擇以人形機器人這一終極形態(tài)，反向牽引關(guān)鍵技術(shù)攻堅，“人形機器人幾乎融合了所有形態(tài)機器人的共性核心技術(shù)”。

2021年左右，宋偉帶領(lǐng)團隊開始嘗試將大模型技術(shù)用于機器人的自主決策，但“當時還非常不好用”。

他還曾與群核科技創(chuàng)始人陳航多次交流，一方擁有豐富的家用場景數(shù)據(jù)資源，一方具備機器人全鏈條技術(shù)，本想著合作構(gòu)建家庭場景的機器人虛擬訓(xùn)練平臺，卻因種種原因未能如愿推進。4年后，就在今年8月，群核科技發(fā)布空間大模型，做成了兩人當初設(shè)想的事，也算是“念念不忘，必有回響”。

也是在那個時期，宋偉開始深入思考：機器人的“手”和“臂”，該如何融入現(xiàn)實生活的場景？“其實倒水這樣的任務(wù)，我們在2020年就已完成。”后來團隊里一位95后姑娘鐘靈提出一個想法——她從小練琴，大家一拍即合：就是彈鋼琴了。

隨著去年杭州海創(chuàng)人形機器人創(chuàng)新中心正式成立，宋偉組建起和璇機器人樂隊。

宋偉（右二）和團隊部分成員 攝影 韓丹

實際上，無論是2018年還是2024年，幫助宋偉他們將研究落地的，是浙江高度發(fā)達的機器人產(chǎn)業(yè)鏈。

“硬件方面，能夠?qū)崿F(xiàn)規(guī)模化量產(chǎn)和精密制造，傳動、電機等核心部件一應(yīng)俱全；軟件算法方面，也有來自互聯(lián)網(wǎng)大廠培養(yǎng)的大量優(yōu)秀工程師。”從2018年至今，宋偉團隊的每個硬件需求都能受到產(chǎn)業(yè)鏈上企業(yè)的“關(guān)注”，“大家一起攻克難題，尋找比較好的解決方案，推動行業(yè)的發(fā)展。”

要做有市場買單的機器人產(chǎn)品

除了音樂演奏機器人，海創(chuàng)創(chuàng)新中心的第二個方向，是家庭陪伴機器人。

在宋 偉 辦公室外，十幾個年輕人正在埋頭工作：外觀設(shè)計、結(jié)構(gòu)工程、運動控制、軟硬件開發(fā)……他們都是“胖達”項目組成員。這個項目負責(zé)人謝安桓研究員，也是宋偉的同班同學(xué)。

這是一款毛茸茸、憨態(tài)可掬的熊貓機器人。它依托多模態(tài)感知和交互系統(tǒng)，結(jié)合情感計算引擎和大模型的理解與決策能力，能實現(xiàn)自主識別、自主決策，甚至自主“成長”等智能 體 能力，目標是真正成為家庭的一員。

目前，這款機器人主要面向兒童，但相關(guān)技術(shù)正同步延伸至養(yǎng)老場景。9月，由海創(chuàng)創(chuàng)新中心牽頭的“智能情感陪護機器人”，成功入圍 工信部 與民政部的“智能養(yǎng)老服務(wù)機器人 結(jié)隊 攻關(guān)與場景試點項目”。

而團隊的第三個方向，是將機器人技術(shù)深度融合進傳統(tǒng)工業(yè)，與產(chǎn)業(yè)龍頭企業(yè)合作，在細分場景中推進人工替代。“例如與諾力股份共建‘具身智能機器人聯(lián)合實驗室’，研發(fā)化工采樣機器人，實現(xiàn)化工廠危化場景的無人自主采樣。”

但無論是哪個方向，宋偉一直堅持產(chǎn)品要有市場來買單，“早年做研發(fā)可以不那么考慮成本，現(xiàn)在需要充分考慮市場的接受程度。”

“一臺電機，進口的和國產(chǎn)的價格相差很多，能不能用性能稍遜的國產(chǎn)電機再搭配改良的算法，實現(xiàn)對進口電機的大部分替代？”宋偉說自己經(jīng)常會給團隊出類似難題，為的就是讓機器人首先在價格上沒那么“高不可攀”，有了落地才能不斷積累數(shù)據(jù)，快速迭代。

錯過這個風(fēng)口要再等20年

在音樂演奏機器人研發(fā)的道路上，宋偉為團隊勾勒出更富挑戰(zhàn)性的新目標：持續(xù)增強表現(xiàn)力與智能水平。新開發(fā)的機械臂演奏能力更強、也更靈活，“外觀還會繼續(xù)打磨，加入肢體動作。接下來還會引入AI技術(shù)，先實現(xiàn)人機交互，再讓AI生成曲譜，曲庫與動作已經(jīng)打通。一旦AI能夠?qū)懜瑁嬲慕换バ泽w驗就會實現(xiàn)。”

“目前算法其實是跑在硬件前面。仿真系統(tǒng)里可以實現(xiàn)的演奏動作，但現(xiàn)實是有時硬件的性能與可靠性還不夠。”團隊只能在算法上找補，同時自主研發(fā)高性能關(guān)節(jié)。

攝影 韓丹

眼下，機器人樂隊學(xué)會一首新曲需要多久？

答案是一天左右。為什么不是半小時、十分鐘？“還是硬件問題，性能沒跟上。”

回想起8月在杭州西站辦的那場“機器人夢想之夜”音樂會，宋偉語氣中透著自豪。長達兩小時的演出，有機器人樂隊獨奏，也有人機協(xié)作環(huán)節(jié)，很大程度上依賴于高精度的程序控制，他認為團隊完成得“非常出色”。“當機器人與竹笛演奏者合作《青城山下白素貞》，那種默契與氛圍呈現(xiàn)的最終效果，還是挺打動人的。”

在宋偉的設(shè)想中，機器人樂隊更可以成為人類音樂人的創(chuàng)作伙伴。當然，“硬件需要更穩(wěn)定，算法也要更智能”。人類一個眼神，機器人就明白要彈什么；曲風(fēng)驟變，它也能即刻跟上，這是他心中理想的協(xié)作狀態(tài)。

生活中的宋偉喜歡晨跑，常常在六七點出發(fā)。最近一次跑完，他發(fā)了條朋友圈：照片里是一人一狗散步的背影，配文寫道：“似乎看到了自己未來的老年生活。”

不過顯然，當下的他根本無暇考慮退休。就像他和團隊成員說的：“如果抓不住這次人形機器人的技術(shù)風(fēng)口，也許就要再等20年。一旦抓住，一切都會迎來飛躍。”

文 | 童蔚 梁應(yīng)杰

VIEW MORE

@時隔8年，又一位未來“預(yù)言家”來杭州開講 >>

@獨家對話螞蟻靈波科技CEO陶齋 >>

@他們做出了全球跑得最快的機器狗 >>

@ 杭州這個創(chuàng)業(yè)社區(qū)，專門孵化“一人公司”>>