人工智能（AI）技術(shù)在行業(yè)應(yīng)用中，大多依賴海量的訓(xùn)練數(shù)據(jù)和大規(guī)模服務(wù)器的算力支持，存儲暴漲、數(shù)據(jù)堰塞、隱私泄露、能耗高企等問題也隨之而來。隨著近5年來摩爾定律的逐步放緩，IT硬件的發(fā)展愈發(fā)難以滿足當(dāng)前AI模型動輒萬億級規(guī)模的存儲和算力需求。因此，當(dāng)前對AI設(shè)備和應(yīng)用的快速響應(yīng)、隱私保護(hù)以及節(jié)能減排的需求越發(fā)凸顯。如何將AI模型及其計(jì)算載體前端化、輕量化，成為亟待解決的問題。
輕量化人工智能（Tiny AI）的興起正在改變這一點(diǎn)。
Tiny AI讓AI更普惠、更主流
剖析智能化應(yīng)用，我們可以看到，AI使能架構(gòu)是由芯片（硬件）、AI操作系統(tǒng)（深度學(xué)習(xí)框架平臺）和算法三個部分組成。而Tiny AI恰是以一系列輕量化技術(shù)為驅(qū)動提高芯片、平臺和算法的效率，在更緊密的物理空間上實(shí)現(xiàn)低功耗的AI訓(xùn)練和應(yīng)用部署，不需要依賴與云端交互就能實(shí)現(xiàn)智能化操作。
Tiny AI所帶來的突破是顯而易見的�！堵槭±砉た萍荚u論》在2020年將Tiny AI列為“全球十大突破性技術(shù)”，其在評選理由中寫到：“輕量化智能使現(xiàn)有的服務(wù)比如語音助手、手機(jī)拍照等變得更好更快，不必每次都需要連接云端才能運(yùn)行深度學(xué)習(xí)模型；此外，Tiny AI也將使新的應(yīng)用成為可能，比如基于移動端的醫(yī)學(xué)檢測分析、對反應(yīng)時間要求更快的自動駕駛汽車；最后，本地化的AI更利于隱私保護(hù)，用戶的數(shù)據(jù)不再需要離開設(shè)備就能實(shí)現(xiàn)服務(wù)功能的進(jìn)化。”
更重要的是，Tiny AI將AI推向更主流，它大大降低了AI系統(tǒng)的部署難度和成本，把AI從一場高門檻的科技巨頭競賽變成普惠民生的智能生態(tài)。
在AI領(lǐng)域的角逐中，以“輕量化”為賽點(diǎn)的下半場已經(jīng)來臨。
Tiny AI的外“減”內(nèi)“加”
Tiny AI對外表現(xiàn)是在做減法，降低能耗、降低對硬件平臺性能指標(biāo)的要求、降低與云端的通訊需求等，而實(shí)質(zhì)上，輕量化的內(nèi)核卻是在做加法。產(chǎn)業(yè)需求決定了要完成的AI任務(wù)越來越復(fù)雜，Tiny AI必須通過加速運(yùn)算效率、提高計(jì)算密度才能實(shí)現(xiàn)極致的效率。
在精度接近無損的前提下，將AI模型及其計(jì)算載體微型化，是一個極具挑戰(zhàn)性的任務(wù)，需要對神經(jīng)網(wǎng)絡(luò)進(jìn)行輕量化設(shè)計(jì)、計(jì)算加速以及設(shè)計(jì)新的計(jì)算架構(gòu)實(shí)現(xiàn)模型的硬件化。
這需要從軟件和硬件兩方面來著手。軟件方面，要進(jìn)行模型和算法創(chuàng)新，通過輕量化模型設(shè)計(jì)、矩陣分解、稀疏表示、量化計(jì)算來實(shí)現(xiàn)模型的微型化和計(jì)算加速。而在硬件方面，則須通過流水線設(shè)計(jì)、存儲模式設(shè)計(jì)等手段進(jìn)行硬件架構(gòu)的創(chuàng)新。
雖然執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算的是硬件，但神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和AI平臺決定著計(jì)算量的大小和運(yùn)算方式。所以，極致的輕量化必須是軟件和硬件的協(xié)同輕量化：基于復(fù)雜的AI應(yīng)用場景，將芯片、平臺和算法充分結(jié)合以聯(lián)合加速。
首先，AI芯片作為AI的硬件載體，必須達(dá)到更高的性能、更高的效率、更低的功耗和更小的體積，足夠平價高效的計(jì)算平臺才能滿足產(chǎn)業(yè)需求承載復(fù)雜的AI任務(wù)，并且使推理和運(yùn)算從云端遷移到終端成為可能。
其次，輕量化的AI平臺需要以更低的功耗來訓(xùn)練和運(yùn)行AI算法，最大化的發(fā)掘硬件的能力。
最后，應(yīng)用輕量化技術(shù)的神經(jīng)網(wǎng)絡(luò)模型應(yīng)小規(guī)模、少運(yùn)算量并保持良好的精度。
AI三層使能架構(gòu)決定了追求單一算法、平臺或者芯片輕量化并不能最大化實(shí)現(xiàn)極致效率，而需要針對應(yīng)用場景中復(fù)雜的AI計(jì)算系統(tǒng)全面去考慮，將三者進(jìn)行協(xié)同輕量化。
自動化所：Tiny AI“先行者”
2014年，在卷積神經(jīng)網(wǎng)絡(luò)大規(guī)模邁向應(yīng)用之初，中國科學(xué)院自動化研究所（以下簡稱自動化所）就在國際AI頂會發(fā)表了多篇神經(jīng)網(wǎng)絡(luò)模型輕量化領(lǐng)域的重要論文，成為國際上最早開始AI輕量化研究的機(jī)構(gòu)之一，相關(guān)成果引起包括英偉達(dá)公司創(chuàng)始人兼首席執(zhí)行官黃仁勛等在內(nèi)的諸多專家的廣泛關(guān)注。
自動化所很早就開始了軟硬協(xié)同輕量化的技術(shù)研究，走在國際的前列。自動化所設(shè)計(jì)開發(fā)的輕量化AI平臺“QEngine”及輕量化算法已經(jīng)在數(shù)十萬終端上部署。2019年，在國際神經(jīng)信息處理系統(tǒng)大會（NeurIPS）上舉行的MicroNet Challenge競賽中，自動化所與ARM、IBM、高通、Xilinx等國際一流芯片公司同場競技，設(shè)計(jì)的輕量化神經(jīng)網(wǎng)絡(luò)架構(gòu)獲得了圖像類雙冠軍。
2020年，自動化所自主研發(fā)的世界首款極低比特量化神經(jīng)處理芯片（QNPU）成功流片，解決了芯片計(jì)算領(lǐng)域備受關(guān)注的“內(nèi)存墻”難題，在芯片成本、功耗、計(jì)算結(jié)構(gòu)、邊緣計(jì)算等方面實(shí)現(xiàn)革命性變革。該芯片的面世，也標(biāo)志著自動化所成為了全球?yàn)閿?shù)不多的擁有“AI芯片—平臺—算法”全線輕量化AI技術(shù)機(jī)構(gòu)之一。
面向行業(yè)應(yīng)用的Tiny AI
未來，以AI驅(qū)動的小型化設(shè)備會越來越多地出現(xiàn)在我們身邊。同時，由AI芯片、平臺和算法組成的Tiny AI智能終端將始終圍繞應(yīng)用場景而生。
對此，自動化所率先做了一些嘗試。
MCU單片機(jī)以低價低功耗的優(yōu)勢，在各種終端上有著大規(guī)模的應(yīng)用。但是單片機(jī)的計(jì)算性能極低，一直不被看好是可以實(shí)現(xiàn)AI的硬件。自動化所在幾元錢的STM32單片機(jī)上成功部署了四十層網(wǎng)絡(luò)的人臉檢測模型，運(yùn)行功耗僅800毫瓦，做了開創(chuàng)性的嘗試——其背后就是基于Tiny AI技術(shù)。
在教育行業(yè)，自動化所的“輕量化指尖點(diǎn)讀解決方案”顛覆了教育終端的人機(jī)互動模式，并成功突破硬件性能瓶頸，賦予低端硬件平臺高端AI算力。
在消費(fèi)電子行業(yè)，自動化所設(shè)計(jì)的輕量化的算法及輕量化神經(jīng)網(wǎng)絡(luò)計(jì)算架構(gòu)可有效實(shí)現(xiàn)暗光增強(qiáng)、超分辨率等，為手機(jī)終端、安防終端提供了影像增強(qiáng)效果。
在電力行業(yè)，我國的輸電線路覆蓋廣，野外自然環(huán)境復(fù)雜，檢修維護(hù)作業(yè)危險系數(shù)高難度大。自動化所基于Tiny AI研制的自主巡檢無人機(jī)、缺陷識別分析便攜終端、通道可視化智能感知攝像頭等，具備多種智能識別、檢測和分析功能，可有效保障輸配電線路的安全和電力系統(tǒng)穩(wěn)定�！�
（作者系中國科學(xué)院自動化研究所南京人工智能芯片創(chuàng)新研究院副院長，記者趙廣立整理）