近日，搜狗搜尋技術團隊在CLUE（中文語言理解測評基準）的任務比賽中，擊敗來自騰訊、華為、美團、阿里、oppo、中科院等知名科技公司和高校，在CLUE總榜、分類總榜、閱讀理解榜單、小模型榜單均獲得第一名，重新整理業界記錄。

“BERTSG”為搜狗搜尋自研模型，“HUMAN”為人類成績（不計入選手）

搜狗搜尋霸榜CLUE任務比賽第一名，彰顯強大技術創新實力

據瞭解，國際上常用GLUE作為評估通用 NLP 模型的基準，其比賽排名已成為衡量自然語言理解技術水平的重要指標。然而，GLUE基準目前只能針對英文任務，無法評價NLP模型處理中文的能力。為填補這一空白，CLUE（ChineseGLUE）應運而生，可謂是“中文版GLUE”，已經成為中文語言理解領域最具行業權威的測評基準之一。

目前，CLUE基於原始的中文文字語料共開設了7個方向的比賽，由文字相似度、分類、上下文推理、閱讀理解等共11個子任務組成。CLUE希望集合各大科技企業和科研團隊的技術力量，推動NLP（自然語言處理）基準預訓練模型技術的不斷進步和突破。

據瞭解，搜狗搜尋技術團隊此次在CLUE總榜、分類總榜、閱讀理解榜單、小模型榜單均獲得冠軍，得益於其在自然語義理解領域強大的技術能力，以及對學術界最新演算法的持續跟蹤。搜狗搜尋技術團隊的預訓練模型採用了多種自研預訓練技術，基於自身海量優質語料構建的訓練資料，利用大規模分散式訓練平臺，訓練出了包括從千萬引數量級的小模型到數十億引數的大模型。此外，搜狗搜尋技術團隊還探索了一套適用語義匹配、分類、和閱讀理解等不同任務的演算法，均表現出了優異的效果。

搜狗搜尋NLP技術成果豐碩，加速人工智慧持續向實際場景落地

那麼，預訓練模型的技術突破到底意味著什麼？我們知道，NLP（自然語言處理）技術作為人工智慧領域的一個重要發展方向，其目的是使得計算機具備人類的聽、說、讀、寫、譯、問、答、搜尋、摘要、對話和聊天等能力，並可利用知識和常識進行推理和決策，最終支援客服、診斷、法律、教學等場景，因此，被業界譽為 “人工智慧皇冠上的明珠”。但同時它也具有很高的技術難度，而目前技術難點主要集中在對標註資料依賴性較高，導致其難以在標註資料稀缺的任務、語言或領域內發揮作用。尤其是在中文自然語言模型領域，更是缺乏大規模高質量的標註資料，因此目前業界主流採用的一個方法就是採用基於大規模無監督資料的預訓練模型，來作為通用語言模型測評的有效補充，從而促進中文自然語言處理模型的完善發展，最終來加速NLP技術在產業的應用和落地。

搜狗搜尋在NLP技術領域的優勢由來已久。除了此次奪冠的預訓練模型外，搜狗搜尋技術團隊還在多模態預訓練模型也進行了深入的研究，並在整個搜尋場景中落地從而提升使用者體驗。此外，搜狗搜尋在語義理解、長文字和短文字分類、閱讀理解、問答等NLP技術領域更擁有長期領先業界的表現。在此次獲得CLUE榜單冠軍之前，搜狗搜尋已先後在國際閱讀理競賽CoQA等競賽中取得了冠軍的成績。

預訓練模型技術已被證實給多個下游任務如文字匹配、文字分類、文字抽取、閱讀理解、機器問答等任務帶來大幅的提升。因此，搜狗搜尋在CLUE任務比賽中的“霸榜”成績，既展現了在預訓練模型領域的豐碩成果和技術突破，也更全面彰顯了搜狗搜尋處於行業領先水平的NLP技術實力。目前，搜狗搜尋已經將自研預訓練模型運用在搜尋查詢理解、文字語義匹配，內容理解等方面，有效提升了搜狗搜尋的使用體驗。相信在未來，搜狗搜尋的相關技術將有能力在語言翻譯、聊天機器人、知識圖譜等領域進行廣泛的落地，有助於推動人工智慧技術在國內的發展和應用。