在體驗 Pixel 6 Pro 的這段時間裡，除了拍照，我很少有感覺到這臺被 Google 稱作「最聰明的 Pixel 手機」有什麼過機之處，直到一個早上，手機鬧鐘把我吵醒。
和普通手機滑動關閉鬧鐘的操作不同，Pixel 6 Pro 提示我可以說「Snooze（再歇一會）」或者「Stop（停止）」來控制鬧鐘，而當我小心翼翼地說出「Stop」後，鬧個不停的手機果然立刻安靜了下來。
這是個微不足道的小功能，卻讓我每個被鬧鐘吵醒的早晨都能保持一個好心情。
我終於再也不用強撐睡意胡亂找手機，只需要一句話就能讓催命般的手機識趣閉嘴，這是我第一次感覺手機能夠「理解」我。
「聽懂人話」的秘密，就藏在不起眼的 TPU 之中。
無處不在的 AI 計算
同在手機的 SoC 上，NPU 的存在感和 CPU、GPU 比起來總要弱上一大截。
這個專注於神經網路運算的處理器甚至沒有一個統一的名字：在麒麟晶片上叫 NPU，在 A 系列仿生晶片上叫 神經計算引擎（Neural Engine）；Google 將其命名為 TPU，聯發科又認為用於 AI 計算的它應該叫 APU……
儘管這些晶片的名字五花八門，架構和原理也不盡相同，但它們的目的大抵相似——加速機器學習，提高手機的人工智慧計算能力。
如果你有關注手機處理器的效能，你會發現無論是 iPhone 的 A 系列晶片還是 Android 旗艦級的驍龍晶片，在近兩年內 CPU 的算力提升都十分有限，效能「擠牙膏」的現象越來越嚴重。
與之相比，AI 算力成了更多廠商願意提及的引數指標。以 A 系列晶片為例，蘋果的 A14 仿生晶片比上一代有了近乎翻倍的峰值算力提升，每秒可執行運算 11 萬億次。
一年後的 A15 仿生晶片在此基礎上依然能帶來超過 40% 的大幅提升，每秒可執行運算高達 15。8 萬億次。
Android 陣營的 AI 算力進步也非常可觀，在蘇黎世理工大學推出的 AI 效能測試榜上，首次引入 NPU 的麒麟 970 AI 效能跑分為 23600 分，四年後 Google Tensor 晶片以 214700 的高分登頂，而麒麟 9000、驍龍 888 的成績也都達到了 160000 分左右。
既然 AI 算力近乎指數增長，為什麼我們很難感覺到有什麼變化？AI 功能這個聽起來略顯高深的詞是不是離我們太遠了？
圖片來自：Gadgetmatch
事實上，你每一次解鎖手機、喚醒語音助手、甚至隨手按下快門，都是一次與 AI 計算的親密接觸。
而 NPU 就像一個黑匣子，它讓 AI 的計算過程快得幾乎不存在，讓你察覺不到科技，卻又被更自然的人機互動包圍。Google 語音助理的進化是一個很好的例子。
自 2014 年 Siri 加入「Hey， Siri」的語音喚醒功能後，喚醒詞幾乎和語音助手繫結，每次與語音助手對話，我們都要不厭其煩地叫喚它們的名字：Siri、小愛同學、小布、小藝……如果語音環境很嘈雜，這個尷尬的過程可能還要重複好多次。
識別喚醒詞的聲紋 圖片來自：Apple
這是因為，出於功耗考慮，手機處理器不能浪費算力長時間在後臺解析使用者的每一句話，這時就需要一個低功耗並且只識別喚醒詞的語音接收器常駐工作。
當收到喚醒詞訊號時，才調動主處理器聆聽使用者的下一步指令。
不過，雖然這樣可以實現低功耗語音喚醒，但這距離科幻電影裡 AI 助手隨叫隨到的理想形態還有點距離，這就像鋼鐵俠在戰鬥前還要說一句「嘿，賈維斯」一樣，人機互動有點彆扭。
Google 在 Pixel 6 系列上推出的「快捷指令」功能讓這種存在於科幻電影的自然互動照進了現實。
正如文章開頭提到那樣，透過「快捷指令」使用者不用再喊「OK Google」等的喚醒詞，也能喚醒 Google 助理執行關閉鬧鐘、接聽電話等指定任務。
Google 提出的 VoiceFilter 演算法 圖片來自：Google
要在嘈雜的聲音環境下定向分離人聲，手機就需要有更高精度的聲紋識別能力，利用更加複雜的卷積神經網路演算法準確捕捉並識別使用者的口令。
而 Google 專為 AI 計算設計的 TPU 晶片正好滿足了這種 AI 算力需求，這種自然的語音互動最終在 Pixel 6 系列上得以實現。
基於神經處理單元的 NPU 在影象、語音識別和處理方面比傳統 CPU 效率要高得多，手機廠商由此可以開發出諸多如計算攝影、文字識別等功能，豐富系統的軟體功能。
在蘋果最新的 iOS15 上，不少新特性就是基於神經計算引擎而設計的，例如 FaceTime 加入的空間音訊和人像模式、實時的文字提取和翻譯、相簿直接搜尋照片中的文字、Siri 離線執行等。
由於這些功能對 AI 算力有一定的要求，蘋果還強調如果 SoC 晶片不是 A12 仿生往後的型號，那麼即便升級到 iOS15 這些功能都不能體驗。
再比如 MIUI13 上的智慧識別證件照新增水印、人臉驗證隱私保護等功能，HarmonyOS 的隔空手勢、隨頭轉動，同樣是利用了 AI 影象識別、文字 OCR 等技術開發。
AI 功能開始成為了我們日常手機體驗重要的一部分，原本被認為無關緊要的 NPU 成了組成系統軟體體驗不可或缺的一部分。
為什麼需要 AI 計算晶片？
和手機的其他零件相比，NPU 登場的時間要晚得多。
2017 年 9 月華為在柏林 IFA 展釋出的麒麟 970 是首顆整合 NPU 的 SoC，同一時期，蘋果釋出了首次搭載神經計算引擎的 A11 仿生晶片，兩個陣營對 AI 計算領域的關注出奇地同步。
AI 功能的出現看似突兀，但這其實是智慧手機形態發展過程中自然演化的結果。
《連線》雜誌與蘋果副總裁 Tim Millet 關於 A 系列晶片的訪談中提到，在 iPhone X 釋出的數年前，蘋果的一些工程師就提出了利用機器學習演算法讓 iPhone 的攝像頭變得更智慧的想法。
正是這個想法，讓定義了 iPhone 未來十年形態的 iPhone X 有了落地的可能。轉向全面屏的 iPhone X 需要一個新的安全機制取代原本佔據下巴的 Touch ID，並且在準確度、解鎖速度都不能落後前者，為了實現這些點，蘋果轉向了 3D 結構光面容識別。
每次點亮 iPhone 進行解鎖，位於劉海中的深感攝像頭都會透過成千上萬個點建立一個深度圖，與儲存的人臉資料比對完成解鎖，而這個收集、建立、校對的過程需要控制在瞬息之間，更重要的是，功耗必須控制在一個足夠低的水平。
根據蘋果公佈的資料，iPhone 使用者每日平均解鎖次數為 80 次，如果每次解鎖都要調動 CPU 或 GPU 做高功耗的圖形運算，對手機續航而言會是個相當大的挑戰。
機器學習的過程
而多核架構的神經計算引擎可以同時執行大量運算，並且經過深度機器學習，它可以像人腦一樣識別和判斷人面資訊，利用它實現人臉識別在功耗和效能上比傳統 CPU 都有著不小的優勢。
「如果沒有神經計算引擎，我們不可能做到這一點」，Tim Millet 在訪談中提到。
隨著核心數的增多，神經計算引擎算力也會隨之大幅提升，其應用也越來越廣。
例如 A13 仿生晶片的 8 核神經計算引擎為 iPhone11 系列帶來了 Deep Fusion 和夜景模式功能，透過多張融合提升照片的清晰度和細節；A14 仿生晶片的神經計算引擎提升到了 16 核，能夠在拍攝時同時呼叫多枚攝像頭，實現順滑的變焦體驗。
A15 仿生晶片和 A14 仿生晶片的剖析圖，神經計算引擎集中在左下角
總的來說，神經計算引擎等 NPU 的出現，可以很好地分擔 CPU 或 GPU 的算力壓力，透過對大資料進行高效的並行分析和計算，提取出有意義的結果，用更自然的處理能力改善我們的體驗。
AI 將再次定義智慧手機
於蘋果擔任擔任機器學習和人工智慧戰略高階副總裁的 John Giannandrea 在一次採訪時曾經提到，他相信在未來幾年內 iOS 或者蘋果軟體生態的所有功能都會被機器學習改變。
我認為蘋果一直代表著創造力和技術的交匯點。當你考慮建立智慧體驗時，將應用程式、框架、再到晶片給垂直整合起來非常重要…… 我認為這是一個旅程，這是我們擁有的計算裝置的未來，它們變得智慧，然後這份智慧會隱於無形。
初代 iPhone 用觸控式螢幕互動、隨時隨地連線網際網路重新定義了手機，手機自此出現了「功能機」和「智慧機」的分支。
當智慧手機的功能趨同化，所謂的「智慧」——發微信、放音樂、拍照、看新聞等等在某種意義上又變回功能。
圖片來自：Gadgetmatch
智慧手機需要重新被定義，新的智慧應該被解讀為「能夠理解人」的手機，它能識別你看見的世界，聽懂你的每一句指令，根據環境作動態調整，這些都需要 AI 晶片的深度參與。
隨著手機硬體供應鏈日趨透明，中高階手機核心配件的差異性變得越來越小，軟體功能得到了越來越多廠商的重視，這就像料理一樣，硬體供應鏈提供了製作一道好菜的「基礎食材」，而想要烹飪出獨此一家的味道，優秀的軟體體驗才是那個關鍵的「調味料」。
如今我們已經擁有足夠清晰螢幕以及能拍攝百米遠風景的攝像頭，但智慧手機的體驗並不僅限於常規的顯示、拍照。
它應該讓你同時拍攝多焦段的照片，讓你在拍攝時不用因為匆忙調焦而錯過風景；應該能夠在取景框中就能實時預覽夜景或 HDR 效果，成像時不用再等待；它甚至應該成為一個能夠陪伴你旅行的翻譯器，即便是網路不佳也能離線完成實時翻譯工作。
AI 是幫我們實現這些功能的不二之選，為了更深度地定製軟體功能，像 Google、OPPO 等更多的手機廠商都開始參與 NPU 晶片的設計，以追趕蘋果、華為等先行者的步伐。
與此同時，強大的 AI 算力也不再是自研晶片玩家的專利，高通驍龍 8 和天璣 9000 都將 AI 算力視為了提升的重點，在 AI 效能跑分都已超越 Google 的 Tensor，三星最近釋出的 Exynos 2200 也著重提升了 NPU 效能，帶來翻倍的提升。
晶片巨頭在 AI 效能的集中發力，讓移動端 AI 晶片看起來就像在經歷「新摩爾定律」。
除了效能增長的速度，AI 晶片的普及速度也非常可觀，根據統計機構 Counterpoint 的統計，2017 年內建 AI 晶片的手機數量僅佔市場份額的 3%，而 2020 年這個資料已經達到 35%。
在未來還會有更多的手機支援 AI 加速計算，這意味著利用機器學習開發手機應用會變成新的常態，事實上在抖音、微信等國民級 app 上，就已經出現了利用機器學習實現背景模糊、一鍵剪片等 AI 功能。
隨著手機廠商和第三方開發的參與，AI 應用經過不斷深化，智慧手機的形態可能也會隨之發生變化，成為一個為愉悅體驗而生的軟硬體共生體。
屆時，智慧手機形態的話語權爭奪戰，也將從供應鏈的管理慢慢地向用戶大資料的掌控轉移。
點選「在看」
是對我們最大的激勵
