跨維（深圳）智能數(shù)字科技有限公司創(chuàng)始人賈奎（博士）

自成立以來，跨維智能致力于將先進的三維幾何深度學習技術賦能機械臂柔性操作等垂直領域，為客戶提供AI視覺算法镰钦、3D智能相機及高性價比的軟硬件一體化三維視覺解決方案，讓機器人以靈活主動的方式完成復雜環(huán)境下基于三維視覺的定位晦哺、識別箫驻、引導等任務。

近日贩挨，記者有幸邀請到跨維（深圳）智能數(shù)字科技有限公司創(chuàng)始人賈奎（博士）做客《機器視覺》雜志绍挤，深入了解到跨維智能3D視覺解決方案區(qū)別與傳統(tǒng)AI+3D視覺解決方案的優(yōu)勢所在。

M：MACHINE VISION

J：賈奎

M： 賈博士您好尤桃，AI技術可賦能的領域眾多籽榕，為什么您會帶領跨維選擇了“以AI技術助力3D視覺賦能機械臂完成柔性操作感知”這一細分領域？

J：AI領域涵蓋面非常廣闊甘桑，從計算機視覺拍皮、自然語言處理、語音識別等都屬于AI領域扇住，我從2000年開始就深耕于計算機視覺這個細分領域春缕，在多年的研究中，也積累了相當?shù)难芯砍晒６?D視覺因為有著模仿人眼锄贼、在物理空間形成立體視覺的優(yōu)勢票灰，成為了計算機視覺中最底層的訴求。從2015年開始宅荤，我主要專注于3D視覺領域屑迂，將AI技術結合到3D視覺中的應用當中。這項研究放眼當時的整個國際學術圈冯键，都是較為領先的存在惹盼。

在AI技術助力3D視覺的眾多分支應用中，經過綜合考量惫确，賦能機械臂完成相關柔性操作感知是可落地性與商業(yè)變現(xiàn)周期較短的诅鹰。而且工業(yè)智能制造的大多場景都是半開放的環(huán)境，通過AI技術助力3D視覺流沦，可以從根本上改變以往機械臂柔性操作在傳統(tǒng)方案中的固有缺陷笋骡。從長遠出發(fā)，這樣的產品形式能夠改變當前自動化產線的設計思路邢窜，以搭積木方式實現(xiàn)整個產業(yè)線的自動化叮盲，也能夠把自動化推向智能制造的新階段。

M： 在跨維智能成立的有限時間里丘隙，卻迸發(fā)出了無限的潛力只忿，可以分享一下貴司核心技術嗎？

J：從底層出發(fā)伶离，跨維智能核心技術是Sim2Real AI云中臺DexVerse禾膀。行業(yè)中絕大部分的AI技術，還是傳統(tǒng)意義上的圖像的識別汉疮、理解棍详、語義分割等圖像層面上的。而3D技術本身解決的是三維物理空間中的問題丛剿，對物體的空間位置進行感知定位，并完成相關操作臊岸。而跨維的云中臺DexVerse是一款新型的AI平臺橙数，它可以通過打通物理仿真、數(shù)據合成帅戒、AI 設計與訓練灯帮、模型軟硬件部署的閉環(huán)，建立 Sim2Real 虛擬空間與現(xiàn)實空間的映射關聯(lián)逻住，實現(xiàn)對機械臂柔性操作钟哥、機器人感知與控制等任務的AI賦能。

例如，機械臂如何將桌面上的水杯拿起這樣的操作腻贰，在人類的感知中似乎是非常輕而易舉的吁恍，但在機器的眼中，這是一個相當復雜的過程播演。首先需要解讀的是杯子放在桌面上冀瓦，距離機械臂的距離是多少？高度是多少写烤？其次世界上杯子千變萬化秘舅，杯子形態(tài)變換后，機器是否還能認出這是一個杯子培车？機器如何去應對形態(tài)猩烘、顏色、大小均各異的“杯子”割钧？

機械臂在跨維云中臺DexVerse的助力下假祝，通過物理仿真與數(shù)據合成，可以訓練出機械臂拿起水杯所需要的各種數(shù)據尼削，去支持機械臂實現(xiàn)對目標物體后續(xù)的抓取虎内、定位、上下料静瞄、拆垛等操作诅挖。通過仿真空間中模擬物體之間的相互作用、運動和變形蓄惫，以預測真實世界中的物理行為虚烂，并合成虛擬數(shù)據用于深度學習模型訓練。

M：為何Sim2Real AI是實現(xiàn)3D視覺大模型和通往垂直場景AGI高效且低成本的重要技術萨驶？

J：跨維智能Sim2Real AI云中臺DexVerse所使用的AI技術歉摧，相比起基礎的圖像理解，是跨維度的難度躍升腔呜。首先三維數(shù)據的獲取本身相比二維數(shù)據就難得多叁温，工業(yè)場景中的三維數(shù)據由于開放多變的場景及隱私保護導致海量真實數(shù)據采集難上加難，而且針對各種corner cases的真實數(shù)據難以有效獲取核畴。其次是現(xiàn)階段的AI技術從數(shù)據獲取到AI模型訓練膝但，再到垂直的應用場景，這之間由于技術與應用的分離谤草，導致模型的應用效果不太理想跟束。在工業(yè)領域眾多場景里，就會形成數(shù)據孤島丑孩，從數(shù)據與知識上難以互通利用冀宴。最后是現(xiàn)有AI技術的標注難題灭贷，如何實現(xiàn)高精度3D等高維標注仍然屬于痛點難題。

基于現(xiàn)有AI所面臨的難題成就了跨維智能的核心產品Sim2Real AI云中臺DexVerse略贮，通過物理仿真合成數(shù)據甚疟，可以實現(xiàn)加速AI在垂直場景中的落地應用。DexVerse對于跨維自身產品的形成也是決定性的呐缸，可以以更快速三钦、更低成本、更產品化的方式解決3D視覺助力機械臂的非標定制問題疫谱。

M：可以簡單介紹一下跨維智能的系列產品嗎做堂？

J：基于自研的Sim2Real AI云中臺DexVerse，跨維智能構建了完善的智能制造軟硬件產品生態(tài)嚣惭，也就是跨維智能的“1+3”產品體系虽趋。“1”是自研的Sim2Real AI云中臺DexVerse罕擒，“3”即DexVision3D工業(yè)視覺軟件卿裙、DexSense3D工業(yè)智能相機冲杀、DexOne智能視覺一體化設備。

基于DexVerse所構建的DexVision3D工業(yè)視覺軟件：PickWiz 3D視覺引導軟件，可以在仿真空間模擬多樣化場景床佳，并生成大量的合成數(shù)據瞪讼。這樣的工業(yè)視覺軟件可應用的場景更多樣化锭化，不僅減少了模型重復搭建的成本秉扑，而且最終識別效果優(yōu)于真實數(shù)據，并且模擬的多樣化場景也使視覺系統(tǒng)的穩(wěn)定性和效率大幅提升馁筐。

DexSense 3D工業(yè)智能相機：XEMA北極鷗系列開源相機涂召，它可以支持一鍵連接跨維 PickWiz 3D視覺引導軟件的，搭載上DexVerse云平臺敏沉，可實時收集真實數(shù)據果正，不斷在云端優(yōu)化視覺算法。如果DexVerse云平臺是大腦盟迟，那么DexSense 3D工業(yè)智能相機就是眼睛秋泳，好的成像能力可以減輕大腦的負載壓力，這也是跨維智能自研相機的初衷队萤。

最后轮锥，DexOne 智能視覺一體化設備，是跨維智能布局引領智能智造領域范式改變的重要一步要尔。該設備也是基于自研的 DexVerse 平臺，通過深度域適應優(yōu)化算法實現(xiàn)整個流程的自動化新娜，針對工業(yè)場景中的痛點進行模型設計赵辕，滿足工業(yè)現(xiàn)場落地需求既绩。以3D視覺引導機械臂對物料進行上下料抓取，搬運膘掀，替代傳統(tǒng)人工作業(yè)抓取搬運殿腺，有效提高產線的生產效率和生產質量，產能提高20%以上既倾；同時瓮窑，該項目機器人為模塊化架構，針對未來不同的產品工藝队屋，具有更高兼容性拱屈，可觸及更多更廣的生產范圍，以滿足客戶日益增長的柔性化需求卵手。

M: 作為公司自研的Sim2Real AI云中臺DexVerse鸦贩，您可以談談未來公司基于DexVerse的產品研發(fā)規(guī)劃嗎？

J：基于我們自研的Sim2Real AI云中臺DexVerse所能夠支撐的诫列，其實不單是機械臂垄怯、智能制造相關的應用，更是服務泛機器人底層AI能力形成的加速器剂东。無論是幫助具身智能去感知3D定位迂卢，還是去幫助無人車做導航和物體識別，它都是一款非常不錯的AI能力平臺桐汤，3D合成數(shù)據還有機會賦能3D AIGC而克、AI生物制藥、AI新材料等更廣泛的領域惊科。

M：自公司成立以來拍摇，貴司一直致力于推動3D視覺引導機械臂柔性操作領域的普及化應用，請問在這個方向上取得了哪些成果馆截？

J：“3D視覺+智能相機+機械臂”是未來自動化新型應用重要的載體充活。目前，在國內自動化產線智能制造的升級過程中蜡娶，這樣的新型應用載體隨處可見混卵。基于市場需求窖张，我們在產品研發(fā)和應用探索上也一直走在行業(yè)的前沿幕随，迄今為止，我們已經取得了很大的進展宿接，比如在3D視覺解決方案產品迭代方面赘淮，我們推出了四大解決方案，包含：3D視覺引導淺框無序抓取醇盏、3D視覺引導單目標精定位腔族、3D視覺引導工件上下料虑夕、3D視覺引導拆垛解決方案等； 在應用場景探索落地方面羽折，我們也跟諸如汽車零部件沼改、工程機械、家電巍樟、光伏新能源和物流等行業(yè)內的眾多頭部集成商客戶成功落地了多種應用場景经翻，實現(xiàn)了行業(yè)應用從0到1的突破。

M：在未來幾年內捍幽，您對那些應用行業(yè)比較看好竹砾？

J：機器視覺對于提高工業(yè)機器人的靈活性和可操作性具有重要意義，在大批量工業(yè)生產過程中兆性，3D視覺助力機器人實現(xiàn)更多高精度動作套尤，拓寬其應用場景，也大大提高了生產效率和柔性化程度赋荆。目前來說笋妥，物流、金屬加工和汽車零部件等行業(yè)窄潭，已經成為開始規(guī)拇盒化應用3D機器視覺的幾個主要應用市場，另外嫉你，家電月帝、醫(yī)療、光伏新能源等多個更大體量的市場也在啟動機器視覺對于自動化產線的升級改造幽污。未來嚷辅，更大的市場機會也將來自于上述工業(yè)市場的商業(yè)類應用。

（中國機器視覺網 ）

聲明：本網站所收集的部分公開資料來源于互聯(lián)網距误，轉載的目的在于傳遞更多信息及用于網絡分享簸搞，并不代表本站贊同其觀點和對其真實性負責，也不構成任何其他建議准潭。本站部分作品是由網友自主投稿和發(fā)布趁俊、編輯整理上傳，對此類作品本站僅提供交流平臺完骑，不為其版權負責剩跛。如果您發(fā)現(xiàn)網站上所用視頻、圖片谢佩、文字如涉及作品版權問題优狡，請第一時間告知，我們將根據您提供的證明材料確認版權并按國家標準支付稿酬或立即刪除內容绷举，以保證您的權益角涯！聯(lián)系電話：010-58612588 或 Email:editor@mmsonline.com.cn弓慨。