十年過去了，谷歌對於智慧手機的理想，總算是實現了

今天，谷歌在線上舉辦了新一代 Pixel 6 和 6 Pro 手機的釋出會。

谷歌硬體高管 Rick Osterloh 開場演講

谷歌和其它所有手機品牌都非常不一樣：儘管手機已經做了快10年，但谷歌仍然壓根不是一家手機公司。它是站在科技前沿，推動邊界不斷向前的，一家以機器學習、人工智慧和先進計算技術聞名的公司。

Pixel 手機只是它用來更好地體現自己的創新，讓極少一部分使用者先用上最前沿技術，獲得最獨特體驗的載體而已。而 Pixel 手機的使用者，其實看中的是這些，而不是手機效能、電池容量等一般手機使用者成天拿著比來比去的數值。

而在 Pixel 6 和 6 Pro 的身上，到處都是這類獨此一家，在其他手機上找不到的，最前沿的技術和最獨特體驗。

大膽設計，凸顯谷歌的拍照強項

自從五年前第一代 Pixel 手機推出以來，Pixel 相機已經成為了智慧手機拍照領域一個非常獨特的流派。獨特的“Pixel look”（見下圖示例）備受使用者的喜愛。

當然，這種獨特風格並非完全來自鏡頭本身，更多是谷歌計算攝影演算法的功勞。不過即便如此，很多 Pixel 使用者還是因為相機而愛上這款手機。

今年，在 Pixel 6 和 6 Pro 手機上，谷歌做了一個超級大膽的設計決定：將手機背面的相機模組做到超級大，並且在機身外觀設計上獨立出來，起到凸顯的效果，讓人一看就知道，這是一臺谷歌 Pixel 手機，拍照非常強。

結果就是這塊令人“過目難忘”，甚至“不忍直視”的相機模組：

在 Pixel 6 和 6 Pro 的身上，無論是光學硬體、影象處理軟體，還是基於最先進機器學習模型的計算攝影技術方面，都和前代相比有了巨大的跨越。

首先來看它的硬體配置。

這款手機主攝像頭高達5000萬畫素，f/1.85 大光圈。

在畫素處理方面，谷歌也採用了業界慣用的畫素合成技術，將相鄰的小畫素合成2。4微米大小的大畫素，從而讓成片更加清晰，在低光、暗光環境表現更好。和 Pixel 5 相比，

Pixel 6、6 Pro 能夠捕捉到2.5倍的光量

，讓照片的顏色真實度和清晰度都有了質的提升。

更為誇張的是，這次 Pixel 6 Pro 內建的遠攝鏡頭也高達4800萬畫素，自帶4x光學變焦，並且支援高達20x超級解析度變焦功能。

Pixel 6 Pro 遠攝鏡頭模組光學摺疊示意

超級解析度變焦（Super Res Zoom）是一個結合了光學變焦、數碼變焦和計算攝影的技術，之前在 Pixel 3 上就已經推出過，這次的變焦倍數和還原能力也有了很大提升：

Pixel 6 Pro 相機模組示意

Pixel 6 Pro 遠攝鏡頭夜拍樣片

（Pixel 6 只有主攝和超廣角鏡頭，沒有獨立的遠攝鏡頭，但可以使用超級解析度變焦功能。）

在影片方面，谷歌在研究一個非常重大的事情：如何把使用者最喜歡的Pixel Look，也即 Pixel 手機獨特的拍照成片風格，也複製到影片上。

在過去，這基本上是一個“不可能”的任務。比如在 iPhone 上拍照和攝像，你應該能注意到成片之間是有明顯風格差異的，總感覺照片色彩更加飽和優美，而影片似乎沒那麼“飽滿”。

這是因為，對於計算攝影來說，影片是一個非常難攻克的使用場景。簡單來說，60fps的影片基本等於在一秒內拍攝60張照片。想要快速對這些照片進行計算攝影的風格渲染，對於手機 ISP（影象處理單元）乃至整個處理器的計算要求大到難以想象。

不過，經過了多年的研發攻關，最終這件事並沒有難倒谷歌：

在 Pixel 6 和 6 Pro 上，谷歌採用了全新開發的 HDRnet 神經網路，能夠讓色調對映(tonemapping)的效率變得更高。

關注 Pixel 6 訊息的朋友可能知道，這一代新手機上谷歌用的並非市面絕大部分競爭對手的高通方案，而是採用完全自主研發的 Tensor 處理器。此外

，谷歌將 HDRnet 神經網路直接嵌入到 Tensor 的 ISP 上，並且對神經網路工作進行了加速，從而讓影片拍攝也能獲得經典的 Pixel Look。

谷歌在計算攝影方面的創新，在 Pixel 6 和 6 Pro 上還有更多體現：

1）Magic Eraser 魔法橡皮擦：

這是本次拍照方面的重點功能之一。

我們常常遇到一種場景：一張本來非常好的照片，背景裡突然鑽出一個遊客，把照片的美感意境完全毀掉。現在 Pixel 6 和 6 Pro 內建了 Magic Eraser 功能，可以在照片拍攝之後自動或者手動圈選希望擦除的物體或人物，只需要短短几秒鐘的時間，“電燈泡”就能從照片中消失！

谷歌找來了漫威宇宙《黑豹2》電影的場景設計師 Hannah Beachler。她介紹，自己在工作中經常要跑各種外景，拍下值得參考和採用的場景給劇組看，但是如果照片當中有“異物”出現，無法還原她拍下場景當時的感覺，很不利於工作開展。而現在有了 Magic Eraser 功能，Beachler 可以隨意刪改照片中的“異物”，還原乾淨的場景：

這個功能很強大對不對？最強大的還在後面：

Magic Eraser 支援本機最近拍攝的照片，也支援之前已經拍下的照片。

當然，你還是得有一臺 Pixel 6 或者 6 Pro 手機才能用上這個強大的照片後處理功能。

2）Motion Mode 動態模式

這是一個

一個純提升照片美感的功能

。一般智慧手機拍照往往都是高快門速度，拍下的都是純靜態的照片，缺乏動態的感覺。Pixel 6 和 6 Pro 的解決方案是快速連續拍下多張照片，然後在 Tensor 處理器上，藉助 ISP、軟體和計算攝影演算法的力量，找到分別應該靜態和動態的部位，然後將照片智慧“融合”。

Motion Mode 原理演示

Motion Mode 樣片

3）Face Unblur 臉部去糊

用 Pixel 6、6 Pro 手機的鏡頭模組在同一時間拍下兩張照片，找到面部，然後智慧融合，確保面部是清晰的：

4）Real Tone 人像真實色調

對於深膚色的人來說，很多手機的人像拍照效果都很糟糕。這是因為大部分手機拍照最佳化演算法的訓練都缺乏深膚色人種的資料。這些人像資料庫從資料構建的一開始就是存在偏差的。

谷歌的解決辦法是從一開始就邀請大量深膚色使用者作為測試使用者，上傳更多的照片，中和訓練資料的偏差，訓練演算法對深膚色的還原能更加真實。具體來說，在 Pixel 6 和 6 Pro 上，新的拍照演算法能夠降低高光下的膚色變色，並且提升暗光下的人臉清晰度。就算不用新 Pixel 手機，使用者也能在 Google Photos 的照片修改-自動增強功能裡體驗到 Real Tone 的效果。

自研 Tensor 晶片，讓最先進 AI 觸碰指尖

谷歌在 Pixel 6 和 6 Pro 的拍照功能上實現的很多功能創新和技術突破，背後都是 Tensor 處理器的功勞。

Rick Osterloh 介紹，Tensor 處理器是谷歌公司歷史上在移動硬體技術上實現的最大突破結果。

“Tensor 是我們在人工智慧上多年投入，以及我們在晶片研發方面深度經驗的集中展現。”

至於為什麼將公司第一款完全自主研發晶片命名為 Tensor（張量

），

Osterloh 表示這也是對 Tensor 作為機器學習計算基礎模組的致敬。

Tensor 處理器的設計目標非常簡單：讓移動裝置的使用者用最直接的方式體驗到谷歌在 AI 技術方面最先進的研究進展。

Tensor 產品經理 Monika Gupta 表示：

“移動晶片的迭代，完全無法跟上 Google 在機器學習 AI 科研方面的速度。與其等他們追上，我們決定自己來做一款晶片。”

就像英特爾 x86 已經無法滿足蘋果那樣，似乎高通也已經無法滿足谷歌了。這是一個計算進入瓶頸的時代，也是一個計算行業格局重寫的時代。如果谷歌想要實現它自己對於智慧手機的理想，它必須走蘋果的路，從硬體到軟體，從核心技術到使用者體驗，實現完全的垂直整合。

讓我們來具體看看 Pixel 6 和 6 Pro 上的 Tensor 處理器都有哪些技術突破。

據 Gupta 介紹，Tensor 處理器的每一個方面，都專門面向“如何更好地執行谷歌機器學習模型”進行了最佳化。Tensor 處理器包含七大主要模組：CPU、GPU、系統快取、ISP（影象訊號處理單元）、Security（安全單元）、Context Hub（低功耗感知計算單元）和 TPU。

1）Tensor TPU 是 Google AI 專門開發的模組，負責執行一些相對來說更依賴算力的模型；

2）在 ISP 上，谷歌直接嵌入了一些最先進的影象處理相關演算法，用於驅動相機、Google Photos 等產品和服務的先進功能，比如前面提到過的 Magic Eraser 和 HDRnet 機器學習影片色調處理等；

3）GPU 為20核，能夠支援主流 Android 遊戲的高速執行，並且驅動 Pixel 6 和 6 Pro 手機分別 90Hz 和 120Hz 的動態重新整理率

4）Context Hub 作為低功耗感知計算單元，驅動著 Pixel 使用者熟悉的很多非常好用的感知計算功能，比如 Now Playing 能夠自動查詢和告知周圍正在播放的歌曲名稱，以及驅動顯示屏在低功耗狀態下保持常亮並顯示重要通知事件等。

在異構計算方面，谷歌表示這次 Tensor 最佳化方向不是讓每一個獨立單元和核心都能跑到最高分，而是針對同一個複雜應用的多種不同任務，不同單元之間能夠高效、均勻地分配和執行這些任務。

“CPU 和 GPU 峰值速度，在跑分評測上可能很好看，但對於真實使用場景的體驗來說沒有什麼代表意義。Pixel 5 是一個很好的例子，谷歌帶來很好的使用體驗，即使我們的硬體在跑分並不高。”Gupta 表示，

當然，千萬別以為 Tensor 的效能不高。

據谷歌透露，搭載 Tensor 處理器的 Pixel 6，和 Pixel 5 的 CPU 和 GPU 效能提升分別達到了80%和370%。

最懂你的 Android 智慧手機

Tensor 處理器所解鎖的機器學習能力，帶來的 AI 創新，遠不止相機層面。谷歌希望透過自研處理器革新手機的其它常用功能，帶來更多前所未有的體驗。

在語音輸入方面，透過 Tensor 處理器，谷歌多年以來最專精的自然語言處理技術，終於能夠在智慧手機的載體上展現真正的力量了。

1）語音識別

Pixel 6 和 6 Pro 搭載了目前為止全世界最強大的本地離線語音識別模型，能夠以極高的準確度準確地實現聽寫。而由於 Tensor 處理器的單元設定，模型執行的功耗顯著降低。所以現在，你可以輕鬆地用語音進行輸入了，速度比打字快得多：

還可以在說話的同時用手指觸控文字，在句子的指定位置新增和刪減內容：

更為有趣的是，在過去我們打字輸入的時候，輸入法對於錯字的修改建議，通常是按照鍵盤按鍵的位置推薦近距離的可能單詞。

而在 Pixel 6和6 Pro 的語音輸入上，修改建議推薦的是發音近似的單詞，比如 CatherineKatherine 或 Kathryn 等。

此外，Pixel 的語音輸入現在還可以輸入 emoji 了：

以上這些語音輸入功能，完全是在本地進行的。也就是說就算沒有網，也可以用語音進行輸入。

2）電話輔助功能：Google Duplex 超級增強版

前幾年的谷歌年度開發者大會 I/O 上，曾經有這樣一組電話相關的輔助功能：Google Assistant 虛擬助手可以冒充使用者接打電話，幫助使用者在消費場所訂位、查詢資訊，還可以阻攔潛在的機器人和詐騙電話。

這項技術名為 Google Duplex，融合了自然語言理解和語言轉文字等技術。它一經推出就備受 Google Assistant 和 Pixel 使用者的歡迎，儘管也有不少網友認為它有點“沒人性”，但不管怎樣，谷歌看樣子是要把 Duplex 做下去了。

現在，Tensor 處理器讓 Duplex 技術工作起來更加“遊刃有餘”。

首先是給商業機構打電話。大家應該都經歷過“坐席忙，請等待”的煩惱，但在 Pixel 6代手機上，現在你可以直接讓 AI 代替你打電話。

首先，在打電話之前，手機就能直接顯示該電話當前的坐席客服預估等待時間：

電話撥出後，AI 還能直接用文字轉述機器人提供的選單選項內容：

甚至，AI 還能代替你一直聽著無聊的音樂，監聽坐席客服應答，立即提醒你：

3）本地離線實時翻譯，現在支援更多應用場景

前兩年，谷歌在 Pixel 手機上推出過 Live Transcribe 功能，即使觀看的影片沒有提供字幕，也可以在本地自動生成準確的字幕，支援英語等主流語言。

現在藉助 Tensor 處理器的力量，谷歌在影片、音訊和文字等多種內容，以及聊天、播客、影片等多種應用和場景下都能夠實現

實時翻譯 (Live Translate)。

比如在聊天場景下，Live Translate 支援 Android 原生簡訊息、WhatsApp、Google Chat、Snapchat、Instagram、Twitter、Line 等主流IM和社交應用，支援多達18種語言的實時互譯。注意下圖英文轉日文，資訊不是在接收端翻譯，而是在傳送端就可以直接翻譯好併發送出去：