7月4日，天娛數科（002354.SZ）與專注3D視覺+AI的高科技半導體企業(yè)銀牛微電子簽署戰(zhàn)略合作協(xié)議，并宣布共同投資4000萬成立合資公司。
(資料圖片僅供參考)
天娛數科總經理徐德偉出席簽約儀式并發(fā)表講話，提到：“將以合資公司為主體，把天娛數科在元宇宙、虛擬數字人領域的應用場景優(yōu)勢與銀牛微電子在3D視覺芯片領域的技術優(yōu)勢與相結合，共同研發(fā)面向元宇宙應用場景的3D深度視覺模組，實現虛擬數字人低成本、短周期、批量化生產制作與低延遲、高精度、沉浸式互動體驗，不斷降低元宇宙進入門檻，不斷豐富元宇宙應用場景。”
為進一步了解天娛數科與銀牛微電子成立合資公司后的產品計劃，記者與徐德偉進行了深入交流。
Q：您在簽約儀式上提到，與銀牛共同成立的合資公司將共同研發(fā)3D視覺感知產品，請問具體的產品規(guī)劃是什么？
A：目前，我們規(guī)劃了3款產品，包括便攜式3D深度相機、桌面式3D攝像機和數字人3D數據采集系統(tǒng)，分別應用在虛擬數字人掃描與自動化建模、虛擬數字人全身深度視覺捕捉驅動、人體動作3D數據采集3個領域。
Q：合作開發(fā)的第一款產品會是什么呢？
A：第一款產品，我們會把研發(fā)重點放在便攜式3D深度相機這個產品上，主要應用于虛擬數字人掃描與自動化建模。天娛數科在虛擬人的打造和運營上有豐富的經驗，以往行業(yè)內要完成一個虛擬人的構建從掃描到建模，需要很長的周期和很高的成本，很難實現大規(guī)模的批量化生產。在2020年我們決定切入虛擬數字人賽道時，我們和很多企業(yè)、科研機構交流、合作過，當時大部分需要2到3個月的周期才能完成一個超寫實的虛擬數字人，建模成本更是從幾十萬到上百萬不等。在過去1年多時間里，我們基于自研的Meta-Surfing元享智能云平臺，通過對數字人生成、數字人驅動、數字人交互三個核心功能模塊算法的不斷優(yōu)化，通過軟件系統(tǒng)的投入，已經大幅縮短了制作周期與制作成本，但距離完美的消費級ToC應用還有一定差距，主要原因是傳統(tǒng)的相機掃描采集到的都是2D數據，需要花大量的算力和時間轉換成3D數據。
銀牛的3D視覺芯片采集的天然就是3D數據，芯片本身還具備AI算力，他們的3D視覺芯片與我們的元享軟件平臺結合后，會彌補這最后的一點差距，通過軟硬結合，真正實現虛擬人短周期、低成本、批量化生成，從而降低元宇宙的門檻，提供給C端用戶工具化、標準化、易用型的可交付產品與解決方案。
Q：研發(fā)桌面式3D攝像機是出于哪些考慮？
A：虛擬人生成核心環(huán)節(jié)主要涉及建模、驅動和渲染三大技術。第一階段通過便攜式3D深度相機我們實現了虛擬人掃描、建模自動化，那么第二階段我們希望變革驅動環(huán)節(jié)。
我們把虛擬人的發(fā)展劃分了三個階段，1.0階段是靜態(tài)虛擬數字人階段，只能展示，不能互動；2.0是動態(tài)虛擬數字人階段，進行展示時可以與現實人互動，但需要中之人操縱，也就是雙簧式，需要現實人一對一搭配數字人；3.0是智能數字人階段，通過自學習，數字人完全可以替代現實人在一些領域獨立工作。
1.0階段是通過傳統(tǒng)CG或體積視頻技術建模的，是不可控體數字人，無法實時互動，應用場景比較狹窄；2.0階段主要是基于慣性動作捕捉、光學動作捕捉及實時渲染技術，打造出可控體數字人，應用在虛擬主播、虛擬偶像上，雖然有一些應用，但不完美，動作容易失調、面部表情不到位、互動能力差、沉浸體驗感不好。針對這些問題，我們計劃推出可以實現3D深度視覺捕捉驅動的桌面式3D攝像機。
通過3D攝像機和深度傳感器能獲取人體的三維形狀和姿勢信息，甚至是骨骼結構追蹤。對于人臉識別、姿態(tài)、動作識別、手勢識別，它的準確性和細節(jié)捕捉能力都非常強。
因此，相較于慣性動作捕捉、光學動作捕捉、光慣混合動捕方式，視覺捕捉更加靈活方便，無需額外的佩戴設備，對于C端更加適用，而且經過AI數據修正，可以獲得更高精度、更穩(wěn)定、高質量數據，而且還可以在攝像頭的視野范圍內進行采集拍攝，有更大的活動空間和范圍。
Q：第三階段將推出什么產品，人體動作3D數據采集有什么意義？
A：產品研發(fā)的第三階段，我們的目標是打造一個應用于人物表情、形態(tài)及行為特征數據采集的數字人3D數據采集系統(tǒng)，形成我們特有的數據庫，用來訓練數字人表情和動作，這是我們?yōu)閷崿F3.0智能數字人階段做的數據基礎設施。
ChatGPT出現后，虛擬人聊天等智能交互體驗有了飛躍提升，但虛擬人作為AIGC典型多模態(tài)應用，整個生成式AI技術在虛擬人動作和表情生成領域相對滯后。我們看到一個AI驅動的數字人，或許能和你聊天，但是來來回回就那幾個動作。AI技術的成熟度、算法迭代離不開數據，特別是大量、高精度、高質量的3D數據庫。
未來，我們會有一個較大規(guī)模的基于3D深度攝像機的人體復雜行為數據庫，經過數據喂養(yǎng)、深度學習算法提取,AI數字人的動作也會像語言交互體驗一樣趨于自然、流暢，而且是自學習的，屆時虛擬數字人才能真正擺脫“中之人”驅動，完成全面的AI進化。
Q：最后一個問題，為什么選擇和銀牛微電子合作？
A：選擇銀牛作為合作伙伴是經過深思熟慮的。銀牛是一家集3D雙目視覺處理和人工智能芯片設計能力于一體的高科技半導體企業(yè)。在3D深度視覺、復雜SoC設計、低功耗、光學、嵌入式系統(tǒng)軟件、邊緣計算等方面具有10年以上的深厚經驗。全球最早從事芯片上3D深度感知引擎研發(fā)的企業(yè)之一以色列公司Inuitive也是銀牛的子公司。加上多年來在泛機器人領域的應用探索，銀牛自研的集成3D視覺感知、AI、SLAM的系統(tǒng)級芯片已經應用在在眾多前沿應用領域的產品中，3D和AI能力已經得到了驗證。我們認為，虛擬人就是元宇宙世界里的關鍵，它需要3D視覺感知能力，需要AI能力。3D視覺+AI的模式，將賦予虛擬人和各類智能設備“人眼”和“人腦”。選擇和銀牛合作對天娛數科來說，是跟我們在元宇宙場景和虛擬人方面進行軟硬件結合的最佳選擇。（CIS）
