與展訊合作,讓百元手機實現 ARCore 的效果,uSens 做了哪些努力?

雷鋒網 於 28/12/2017 發表 收藏文章
不久前,在京東“天工計劃 2.0 年度盛典”上,作為產業聯盟合作伙伴,uSens凌感科技帶去了他們針對移動端設備推出的 AR 解決方案——基於單目 RGB 攝像頭,並結合 IMU 的 AR 解決方案。

今年 6 月,蘋果在 WWDC 大會上推出 ARKit 開發平台,毫無疑問成為 2017 年 AR/VR 圈的頭號大事件,緊跟着 8 月份,Google推出功能類似的 ARCore 平台,兩家大廠出手,這也促使後半年市場上出現了不少用手機“掃一掃”的 AR 功能和應用。

不過,ARKit 主要針對 iOS 系統用户,ARCore 目前還只支持 Pixel 和 Pixel XL,以及三星 Galaxy S8,能完全支持兩者的還只是高端設備。

uSens 推出 AR 移動端方案,正是因為看到了 Android 中低端設備的需求。

ARKit 效果圖

雷鋒網曾發文《大神揭祕:蘋果 ARKit 為什麼碾壓對手?》,大神 Matt Miesnieks 表示,蘋果 ARKit 的一大厲害之處是,只通過手機的單目攝像頭,結合 IMU,在智能手機上實現 SLAM 技術。Google早先也有 Tango,採用相似的技術原理。從本質上看,uSens 此次發佈的技術方案跟上述兩家大廠是一致的。

2016 年 8 月,uSens 發佈了手勢識別模組 Fingo,基於兩個紅外攝像頭,可對雙手實現 26 自由度追蹤,以及基於 marker 的位置追蹤。當時一共發佈了三個版本,除了基礎版,Color Fingo 採用兩個 RGB 攝像頭,還增加了 Inside-Out 追蹤,以及 AR、VR 場景切換,更高版本的 Power Fingo 集成了四個攝像頭(2 紅外+ 2 RGB),並加入單獨的處理單元。

對現在推出的移動端 AR 方案,uSens 早先有一定的技術積累。今年 7 月份時,他們發佈了一段視頻,展示了在三星 S7 上的 SLAM 效果,但該視頻還只是在虛擬背景下的效果。另外,我們也看到,VR 頭顯的 Inside-Out 方案,配備的也是雙目攝像頭方案。

儘管對於 SLAM 技術,AR 和 VR 有相似之處,但從雙目到單目,從專門的模組到支持移動設備,這中間還是有很多不同。尤其是 VR 和 AR 對 SLAM 實現效果的要求不一樣,uSens 技術副總裁、中國研發中心主任馬賡宇解釋道,

引用“VR 應用對精度要求很高,如果頭部不動的話,識別結果有 1 毫米的抖動,就會感覺三維物體的晃動。同時,VR 設備對延遲要求很高,從圖像採集到處理完成,要控制在 20ms 以內。所以,必須用專門的攝像頭硬件,以保證整個流程在 20ms 內完成。

而 AR 應用精度的要求不那麼高,只要圖像和虛擬物體是一起顯示,而且圖像處估計的位置準確,5 毫米的誤差也是可以接受的;對延遲的要求也不大,即使圖像傳輸有 100ms 的延遲,顯示時圖像和虛擬物體顯示一致就行。硬件上,AR 不能要求太高的硬件,手機的攝像頭採集和傳輸的延遲比較大,主要是採集的延遲大,大約要 30ms,手機的 IMU 速率和傳感器都比 VR 設備要差。”
Fingo 模組現在能實現雙手識別

從原先的 Fingo 模塊到移動端方案,他們增減了一些模塊,“如原來針對 VR 設備,我們設計的是雙目攝像頭,全局快門,手機只有單目,我們把雙目匹配的模塊去掉了,添加了一些針對手機捲簾快門的處理模塊”。

與 ARKit 和 ARCore 可支持的功能相比,uSens 的 AR 方案主要包括 SLAM、手勢識別和人臉跟蹤。

對移動端使用的配置要求包括以下三點:

  • IMU,至少具備 accelerator、gyroscope 頻率要求在 100HZ 以上。
  • Android5.0 以上系統版本,需要支持 Camera2 的相關接口
  • Camera 和 IMU 的 timestamp 需要同步

馬賡宇用一款成本價 500 塊的手機,向雷鋒網(公眾號:雷鋒網)演示了他們的 AR 方案。跟 ARKit 應用類似,開啟應用後,程序會先檢測一個平面,之後我們可將虛擬物體疊加在真實的桌面上。

成本價 500 塊手機上的 AR 效果

他透露,剛開始他們用三星 S8 測試,AR 功能會佔到一半的 CPU,後來經過優化“S8 只佔到 3%-4% 的 CPU。在成本 500 塊的手機上,大概佔 15% 的 CPU”。

《大神解讀:Google ARCore 就是低配版 Tango,它比蘋果 ARKit 好在哪?》一文中,Matt 大神談到手機傳感器的標定問題,“智能機的 IMU 在工廠中只在單一温度下進行標定。這意味着 IMU 硬件在某一指定的温度下,誤差被調節到最低。但當手機發熱的時候,IMU 就不會那樣準確。”

為了適配中低端移動設備,uSens 也在做對手機標定的事情,詳細了解手機 IMU 的噪聲,進行算法定製。目前,他們正在給展訊 11 月發佈的 SC9853 芯片適配,後者一直主打中低端手機市場,此前展訊前 CEO 李力遊曾公開表示 2016 年的出貨量達到 6 億 7000 萬套,大概佔全球的 27%,聯發科佔 28%,高通佔 32%。

uSens 的工作人員向雷鋒網透露,他們為展訊適配包括 9853 在內的多款芯片,明年出貨量預計上億萬台,而對於像華為、小米這些擁有自研芯片的手機廠商,他們也在接觸,但是否合作還未最終決定。

馬賡宇也坦言,對於中低端機,像光照這些效果會弱化,手勢識別和人臉跟蹤會做些取捨,精度上會稍遜於Google ARCore,但能適配更多的中低端機型。

目前,阿里、騰訊、百度等都推出了 AR 可開放平台,但馬賡宇表示,打造生態這些大廠比較有優勢,而他們的優勢是技術。他們確定了三個主要的商業模式:一是與手機廠商合作,提供算法,前裝內置,適配硬件廠商 Camera 及系統;二是 APP 應用,與不同領域應用 APP根據場景需求進行適配;三是定製合作,根據客户需求靈活定製方案,聯合開發。

在即將過去的 2017 年,手勢識別方面,uSens 通過深度學習實現了雙手識別,尤其是當雙手重疊在一起時,如何識別出左右手分別是哪五個手指,同時跟一些 AR/VR 頭顯廠商達成合作如台灣 AR 頭顯廠商 LEAPSY、Pico 小鳥看看、HTC,明年有望出現一些內置手勢識別功能的產品。移動端 SLAM 方面,他們已經開始跟手機廠商合作,相信明年我們會在手機上使用到更多帶有 AR 功能的應用,更多的用户也有望吸引更多的 AR 開發者。

對於即將到來的 2018 年,uSens 有可能在 2018 年第一季度前完成 Pre-B 輪融資,技術落地,場景化和商業化將是他們的重點。

雷鋒網原創文章,未經授權禁止轉載。詳情見轉載須知



資料來源:雷鋒網

留言


請按此登錄後留言。未成為會員? 立即註冊
    快捷鍵:←
    快捷鍵:→