Google 傑出工程師來台揭祕,Pixel 手機相機背後技術大公開

作者 | 發布日期 2019 年 05 月 24 日 18:15 | 分類 3C , AI 人工智慧 , Android 手機 follow us in feedly


Google 所打造的 Pixel 系列手機僅搭載單一鏡頭,以軟體搭配硬體創造各種拍攝的可能性。Google 官方 24 日邀請到史丹佛大學電腦科學榮譽退休教授、同時也是 Google 傑出工程師的 Marc Levoy 來台,深入講解 Pixel 手機深入運用機器學習等技術搭配硬體,開發出更高水準的功能。

觀察手機相機系統的發展趨勢,其中 Pixel 手機採用的是以軟體定義(Software-defined)為主的相機系統,在圖像計算上不再單靠硬體功能,更運用計算攝影(Computational Photography)整合連拍的幀數。此外,導入機器學習技術取代傳統演算法,並在機器學習的訓練過程中獲得更多數據,有助於提升拍照的準確度。

一般手機相機進行拍照時需遵守的基本原則,包括整體執行必須很迅速,深入來說像是即時觀景器(Live Viewfinder)大於 15fps、快門延遲時間小於 150 毫秒、照片成像時間小於 5 秒;還有相機的預設模式絕不能失敗,必須具有可靠的曝光、對焦以及白平衡,並且避免鬼影或視覺殘影等狀況發生。Pixel 手機不僅符合這些基本原則,更深入運用機器學習等技術搭配硬體,開發出更高水準的功能表現。

HDR+

手機相機應用程式的 HDR(High Dynamic Range Imaging,高動態範圍成像)功能相當常見,典型的作法是採取包圍曝光(Exposure Bracketing),將曝光時間短的影像所捕捉的亮處細節,以及曝光時間長的影像所捕捉到的暗處細節結合成為最終影像。

但手持時難免會晃動到手機,使得拍照影像的曝光程度不同,因此 Google 不使用包圍曝光的作法。Pixel 手機相機應用的 HDR+ 功能是透過捕捉相同曝光程度下的連拍影像,同時避免亮處過度曝光,再進行校準與合併;採用色調映射 (Tonemap)增強陰影並降低亮處,雖犧牲整體色調、保留局部對比度,但使照片呈現更符合人們的視覺。

▲ 左圖為沒有開啟 HDR+ 的影像,右圖為開啟 HDR+ 的影像。(Source:Google AI Blog

肖像模式

肖像模式是將拍照重點集中在眼前的人物或物體上,使其從模糊的背景中凸顯出來。目前大多數的智慧型手機採用合成淺景深(Synthetic Shallow Depth of Field)呈現照片背景模糊的效果,作法細節是利用雙鏡頭相機在相似的焦點下捕捉 2 個影像,運用立體匹配(Stereo Matching)演算法計算深度圖(Depth Map),在照片場景中選擇一個平面保持其銳利影像,並且模糊距離該平面更近或更遠的影像,如同失焦的感覺。

然而僅搭載單一鏡頭的 Pixel 2 / Pixel 3 / Pixel 3a 系列手機,則是透過機器學習技術分割拍照影像中的人物,或在拍攝物體時運用 Dual Pixel 的硬體技術預估深度圖,以達到景深效果。

針對人物的肖像模式來說,Pixel 手機運用卷積神經網路(Convolutional Neural Network,CNN)預估影像中人物的每一個像素,背後是利用超過 100 萬張標籤過人物照片進行機器學習模型訓練,並使用數學計算中的 Edge-aware Bilateral Solver 進行細化,讓人物分割的影像邊緣更加銳利。接著根據人物與背景的距離按比例模糊化,同時將人物所在位置前後一段距離的影像也保持銳利。

而物體並非人物,故無法使用機器學習的方式,而是透過擁有 Dual Pixel 的後置鏡頭完成。Dual Pixel 作法即是已運用在部分單眼相機上的相位對焦(Phase Detection Auto-focus,PDAF)來判斷景深距離。Pixel 3 系列的肖像模式更進一步優化,Google 訓練機器學習藉由紅色、綠色、藍色 3 色的左右輸入直接計算深度圖。

(Source:Google AI Blog

高解析變焦

自 Pixel 3 系列推出高解析變焦(Super Res Zoom)功能,雖然背後並無搭載人工智慧與機器學習的技術,但它可將多層影像合成更高像素的照片。

影像是由一個個像素所組成,每一個影像擁有紅色、綠色、藍色 3 種顏色資訊。高解析變焦以像素移位(Pixel Shifting)為基本原理,透過連續拍攝多幀照片,以彌補缺失的顏色資訊並合成出更高解析度的照片,照片中三分之二的顏色資訊是重建出來的。不僅提升照片細節的呈現,解析度與許多搭載 2x 光學變焦鏡頭的智慧型手機所拍的照片不相上下。

而當 Pixel 手機放置在三腳架上、不受手震影響時,仍可藉由強制開啟光學影像穩定(Optical Image Stabilization)製造鏡頭「搖晃」來模擬手震,如下圖所示,此畫面的搖晃幅度非常微小,並不會干擾拍攝的照片。

(Source:Google AI Blog

夜視模式

最後,Pixel 3 / Pixel 3a 系列其一主打功能夜視模式(Night Sight),背後技術是在按下快門後,觀景器將會靜止不動幾秒鐘,同時高速捕捉最多 15 幀畫面,接著結合高解析變焦(針對 Pixel 3 系列)或 HDR+(針對 Pixel 1 / Pixel 2 / Pixel 3a 系列)功能,並透過學習式白平衡(Learning-based White Balancing)調整影像,仍可保持景物最真實的色調。

▲ 使用夜視模式。(Source:Google Blog

Marc Levoy 表示 Google 具備軟體開發與機器學習的優勢,在發展 Pixel 手機相機技術的過程中,Google 願意公開、對外分享技術成果,不僅有助於驅動產業創新,也藉此機會吸引更多人才加入 Google AI 研究團隊。

(首圖為 Google 傑出工程師 Marc Levoy;首圖來源:科技新報)

延伸閱讀: