iPhone X「瀏海」裡的新科技,顛覆自拍 P 圖和 AR 相機

作者 | 發布日期 2017 年 09 月 14 日 17:27 | 分類 3C , 3C手機 , Apple follow us in feedly

蘋果在台灣時間 13 日凌晨發表的 iPhone X,即將給自拍美顏界帶來顛覆性的改變。



如今,很少有人會貼自拍原圖出來,最少都要加個濾鏡,更多的是動用修圖軟體,柔膚、瘦臉、調光線,還有各種 AR 玩法。所以我們看到的自拍照,輕則柔膚美白,重則各種貴妃妝、煙燻妝、老年人特效。

很多人覺得這已經很好玩了,但是等他們用過 iPhone X 後,想法可能會改變。下面是蘋果發表會,新品體驗區一名用戶在玩一項新的 AR 自拍功能──天天 P 圖開發的京劇臉譜。

在 iPhone X 螢幕上可以看到,用戶的臉戴上了虛擬的臉譜。但和上面的萌寵 AR 效果簡單把一些元素添加到用戶頭像(兩個耳朵的位置明顯有些歪)不同,iPhone X 的臉譜和人臉能立體融合,且貼合得很好,追蹤也相當迅速,以至於用戶眨眼瞬間,臉譜都可即時反應(見影片第 2 秒處)。

除此之外,鏡頭晃動和突然遮擋對追蹤的影響非常小,用戶用手一揮,臉譜換了一張,但仍然穩穩停留在用戶臉上,沒有錯位,這是目前手機 AR 自拍效果不能比的。

這種程度的 AR 效果是如何實現的?

核心在於 iPhone X 的「瀏海」部分(就是前置鏡頭、聽筒等零件所在的地方),蘋果對這裡進行了一次大變革,塞進很多用戶之前沒聽過的一些感測器。

在這個很多人詬病的小「瀏海」裡,蘋果塞進 8 顆感測器,除了麥克風、揚聲器、前置鏡頭、環境光感測器、距離感應器等熟知的部分,還集成紅外線鏡頭、泛光感應元件(Flood illuminator)、點陣投影器。

(Source:Apple

蘋果將整個系統稱之為真深度鏡頭系統(TrueDepth Camera System),而整個系統除了用於 Face ID 人臉驗證,也可以擴展自拍功能,實現動畫表情發布,和 AR 效果疊加。

具體而言,上述感應器會投射人眼看不見的光,並讀取用戶的臉部 3D 幾何結構圖,這一切都是即時發生。蘋果甚至為此開發了一個神經引擎(Neural Engine),可即時處理人臉辨識數據。蘋果高級副總裁 Phil Schiller 在發表會解釋,「我們用神經網路處理圖像和點陣模式,來建立人臉數學模型。」

(Source:Apple

現場特別展示了臉部追蹤技術,可用於 Animoji。透過即時追蹤用戶臉部非常細微的表情動作,將其放入各種動物形象表情,記錄的表情和語音可以訊息形式發送給朋友。

現場還展示了 AR 相機效果,和前面京劇臉譜玩法一樣,用戶將虛擬巴西國旗貼到臉上,看起來就像真的畫上去的一樣,逼真度遠超過之前的 AR 相機。

(Source:Apple

上圖為現場展示的 AR 相機功能,下圖為傳統的 AR 相機。差距顯而易見,上圖在質感、真實度方面遠超下圖。

開發京劇臉譜的天天 P 圖表示:「透過基於 FaceKit、 SceneKit 及 Metal 2 等軟體架構開發,我們可由 iPhone X 的前置鏡頭為用戶帶來 AR 自拍。天天 P 圖的用戶現在可獲得更接近現實的臉譜和 3D 裝飾效果,得到更真實的 AR 自拍體驗。」

實現這種程度的 AR 效果,需要軟體和硬體的深度結合。

未來:AR 化妝以假亂真,人工智慧看懂你的表情

目前 AR 相機玩法非常多,特別是在 P 圖軟體、直播應用等方面,即便效果品質一般的情況下,還是廣受歡迎。

隨著 iPhone X 到來,這類應用的體驗將有大飛躍。上圖的第 3 個畫面,這個女生用 AR 相機修飾臉部,外人可明顯地分辨出這是 AR 效果做的;但在 iPhone X 上,配合優秀的軟體,能做到以假亂真的效果,因為 iPhone X 的「瀏海」精確記錄了用戶臉部的三維圖片訊息,因此當 P 圖軟體 P 圖人臉時,可精確到臉上的某一點。

另一方面,這種對人臉的精確追蹤,還將在表情追蹤方面實現大躍進。以前,軟體根據你的二維肖像圖知道用戶的一些基本表情,比如喜、怒、哀、樂;到了 iPhone X,對用戶表情的追蹤將達到消費裝置從未有過的水準,用戶的一舉一動手機都將感知到。未來,一個聊天機器人透過手機前置鏡頭看著你和你對話時,能根據你的細微表情做不同回應。

以上僅是兩個幾乎肯定會到來的應用案例,iPhone X 的瀏海,配合蘋果優秀的軟體以及晶片,帶來的可能性將是無限的,Face ID 和 Animoji 僅僅只是開始,未來也許又有現象級的應用會誕生。

(本文由 雷鋒網 授權轉載;首圖來源:Apple

延伸閱讀:

關鍵字: , , ,