「輕量化網路專題講座」由智東西公開課AI技術教研組策劃推出，聚焦於輕量化網路設計與最佳化的研究與應用，並邀請到北京航空航天大學在讀博士秦浩桐、德國慕尼黑大學在讀博士顧金東和悉尼大學在讀博士郭晉陽，分別就輕量化網路中的模型量化、知識蒸餾和模型剪枝等主題進行深度講解。

在6月17日「輕量化網路專題講座」第一講的直播講解中，北京航空航天大學軟體開發環境國家重點實驗室在讀博士秦浩桐，以《無資料模型量化方法研究》為主題，深度講解了模型量化的研究進展以及他們在CVPR 2021上被收錄為Oral論文的一種多樣化的樣本生成方法DSG。在課程最後的問答環節，秦博更是與大家進行了專業且深度的討論，由此可見輕量化網路結構設計與最佳化在實際工作中的價值。

6月24日晚7點

，將由德國慕尼黑大學在讀博士顧金東參與到「輕量化網路專題講座」第二講的直播講解中，主題為《知識蒸餾中的架構搜尋與自監督蒸餾方法的設計》。

顧金東目前是德國慕尼黑大學在讀博士生，研究興趣包括了深度學習的可解釋性和魯棒性、知識蒸餾、膠囊網路等，並在CVPR，ICLR，AAAI等會議上發表了多篇一作論文，也擔任了CVPR， ICCV， NeurIPS， TPAMI等會議和期刊的審稿人。

在輕量化網路加速方面，現有的模型壓縮方法也不少，比如模型剪枝、設計更高效的網路結構、矩陣分解、模型量化或二值化，以及知識蒸餾等。其中知識蒸餾作為一項成熟的技術，經常被用來更好地訓練小模型。 而在監督學習的正規化下，最近幾年有很多高效的蒸餾方法被提出。而在本次的講座中，顧金東博士將與大家探討以下兩個課題：

1）給定一個老師模型，如何為學生模型尋找一個好的架構，使得蒸餾效果更好？

2）自監督學習最近收到了很大關注，這種學習正規化已經學習的特徵已經可以與監督學習下的相比較，然而自監督學習下小模型的很不好。那如何使用知識蒸餾技術來改善自監督學習下的小模型呢？

我們的課程將在智東西公開課知識店鋪上以影片直播的形式進行，包含主講和問答兩個環節。主講環節40分鐘，問答環節20分鐘，每個環節顧博都將透過影片直播的形式進行實時講解與解答。

同時，我們還組建了輕量化網路技術交流群。加入交流群，除了可以免費收看講座直播進行學習之外，還能與主講老師，以及更多開發者和科研人員認識和交流。

課程內容

課程主題

《知識蒸餾中的架構搜尋與自監督蒸餾方法的設計》

課程提綱

1。 監督學習知識蒸餾的研究

2。 知識蒸餾中學生模型架構的搜尋

3。 自監督學習下的知識蒸餾方法設計

講師介紹

顧金東，德國慕尼黑大學在讀博士生，研究興趣包括深度學習的可解釋性和魯棒性，知識蒸餾，膠囊網路；在CVPR，ICLR，AAAI等會議上發表多篇一作論文，並擔任CVPR， ICCV， NeurIPS， TPAMI等會議和期刊的審稿人。

直播資訊

直播時間：6月23日19：00

直播地點：智東西公開課知識店鋪