高級(jí)人工智能所需算力驚人每三個(gè)半月就會(huì)翻一番要像人類一樣聰明 AI先得突破算力極限

來(lái)源：科技日?qǐng)?bào) 時(shí)間：2020-01-14 10:08:39

算法、數(shù)據(jù)和算力被視為推動(dòng)人工智能發(fā)展的三大要素，其中算力更是被形容為支撐人工智能走向應(yīng)用的“發(fā)動(dòng)機(jī)”。人工智能研究組織OpenAI最近指出，“高級(jí)人工智能所需的計(jì)算能力每三個(gè)半月就會(huì)翻一番”。

近日，臉譜(Facebook)人工智能副總裁杰羅姆·佩森蒂在接受《連線》雜志采訪時(shí)認(rèn)為，AI科研成本的持續(xù)上漲，或?qū)е挛覀冊(cè)谠擃I(lǐng)域的研究碰壁，現(xiàn)在已經(jīng)到了一個(gè)需要從成本效益等方面考慮的地步，我們需要清楚如何從現(xiàn)有的計(jì)算力中獲得最大的收益。

那么，為何人工智能需要如此強(qiáng)大的計(jì)算能力?計(jì)算能力是否會(huì)限制人工智能的發(fā)展?我們能否不斷滿足人工智能持續(xù)擴(kuò)大的計(jì)算需求?

人工智能“動(dòng)腦” 背后算力消耗驚人

“2016年3月，谷歌人工智能阿爾法圍棋(AlphaGo)戰(zhàn)勝韓國(guó)棋手李世石時(shí)，人們慨嘆人工智能的強(qiáng)大，而其背后巨大的‘付出’卻鮮為人知——數(shù)千臺(tái)服務(wù)器、上千塊CPU、高性能顯卡以及對(duì)弈一場(chǎng)棋所消耗的驚人電量。”遠(yuǎn)望智庫(kù)人工智能事業(yè)部部長(zhǎng)、圖靈機(jī)器人首席戰(zhàn)略官譚茗洲在接受科技日?qǐng)?bào)記者采訪時(shí)表示。

“相比云計(jì)算和大數(shù)據(jù)等應(yīng)用，人工智能對(duì)計(jì)算力的需求幾乎無(wú)止境。”中國(guó)工程院院士、浪潮集團(tuán)首席科學(xué)家王恩東指出。

據(jù)介紹，人工智能最大的挑戰(zhàn)之一是識(shí)別度不高、準(zhǔn)確度不高，提高準(zhǔn)確度就要提高模型的規(guī)模和精細(xì)度，提高線下訓(xùn)練的頻次，這需要更強(qiáng)的計(jì)算力。準(zhǔn)確度也是算出來(lái)的，比如大型互聯(lián)網(wǎng)公司或者知名人工智能創(chuàng)業(yè)公司，有能力部署規(guī)模比較大的人工智能計(jì)算平臺(tái)，算法的模型已經(jīng)達(dá)到千億參數(shù)、萬(wàn)億的訓(xùn)練數(shù)據(jù)集規(guī)模。

“現(xiàn)在人工智能運(yùn)用的深度學(xué)習(xí)框架，多數(shù)依賴大數(shù)據(jù)進(jìn)行科研訓(xùn)練，形成有效模型，這些都需要較高的計(jì)算力。”譚茗洲指出，當(dāng)前隨著人工智能算法模型的復(fù)雜度和精度愈來(lái)愈高，互聯(lián)網(wǎng)和物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)呈幾何倍數(shù)增長(zhǎng)，在數(shù)據(jù)量和算法模型的雙層疊加下，人工智能對(duì)計(jì)算的需求越來(lái)越大。無(wú)疑，人工智能走向深度學(xué)習(xí)，計(jì)算力已成為評(píng)價(jià)人工智能研究成本的重要指標(biāo)。可以說(shuō)，計(jì)算力即是生產(chǎn)力。

數(shù)據(jù)搬運(yùn)頻繁 “內(nèi)存墻”問(wèn)題凸顯

人工智能為何如此耗費(fèi)算力?具體而言，在經(jīng)典的馮·諾伊曼計(jì)算機(jī)架構(gòu)中，存儲(chǔ)單元和計(jì)算單元涇渭分明。運(yùn)算時(shí)，需要將數(shù)據(jù)從存儲(chǔ)單元讀取到計(jì)算單元，運(yùn)算后會(huì)把結(jié)果寫回存儲(chǔ)單元。在大數(shù)據(jù)驅(qū)動(dòng)的人工智能時(shí)代，AI運(yùn)算中數(shù)據(jù)搬運(yùn)更加頻繁，需要存儲(chǔ)和處理的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)大于之前常見(jiàn)的應(yīng)用。當(dāng)運(yùn)算能力達(dá)到一定程度，由于訪問(wèn)存儲(chǔ)器的速度無(wú)法跟上運(yùn)算部件消耗數(shù)據(jù)的速度，因此再增加運(yùn)算部件也無(wú)法得到充分利用，就形成了所謂的馮·諾伊曼“瓶頸”或“內(nèi)存墻”問(wèn)題。這就如同一臺(tái)馬力強(qiáng)勁的發(fā)動(dòng)機(jī)，卻因?yàn)檩斢凸艿莫M小而無(wú)法產(chǎn)生應(yīng)有的動(dòng)力。

顯然，頻繁的數(shù)據(jù)搬運(yùn)導(dǎo)致的算力瓶頸，已經(jīng)成為對(duì)更為先進(jìn)算法探索的限制因素。而算力瓶頸對(duì)更先進(jìn)、復(fù)雜度更高的AI模型的研究將產(chǎn)生更大影響。

王恩東曾指出：“計(jì)算力的提升對(duì)體系結(jié)構(gòu)提出挑戰(zhàn)。在半導(dǎo)體技術(shù)逐步接近極限的情況下，計(jì)算機(jī)發(fā)展迎來(lái)體系結(jié)構(gòu)創(chuàng)新的黃金期，計(jì)算力的提升將更多通過(guò)體系結(jié)構(gòu)創(chuàng)新來(lái)滿足。”

據(jù)了解，最先進(jìn)的自然語(yǔ)言處理模型XLNet約有4億模型參數(shù)。據(jù)估算，人腦中細(xì)胞間互聯(lián)軸突個(gè)數(shù)在百萬(wàn)億到千萬(wàn)億數(shù)量級(jí)。顯然AI在認(rèn)知問(wèn)題上離我們追求的所謂通用人工智能還有巨大差距，而要達(dá)到通用人工智能的水平，預(yù)計(jì)研究所需要的計(jì)算能力和計(jì)算系統(tǒng)的能源效率將比現(xiàn)在至少提高幾個(gè)數(shù)量級(jí)。因此人工智能要進(jìn)一步突破，必須采用新的計(jì)算架構(gòu)，解決存儲(chǔ)單元和計(jì)算單元分離帶來(lái)的算力瓶頸。

譚茗洲說(shuō)，目前人工智能的無(wú)用計(jì)算較多。現(xiàn)在人工智能還像不斷灌水一樣，處在輸入數(shù)據(jù)、調(diào)整參數(shù)的階段，是個(gè)“黑盒子”模式，特別在圖片視頻方面消耗很多能量，而其中真正的有效計(jì)算卻不多，非常浪費(fèi)能源。今后AI有待在“可解釋性”上進(jìn)行突破，搞清是什么原因?qū)е潞竺娴慕Y(jié)果，這樣可以精準(zhǔn)運(yùn)用數(shù)據(jù)和算力，大大減少運(yùn)算量。這也是目前重要的研究課題，將大大推動(dòng)深度學(xué)習(xí)的發(fā)展。

計(jì)算儲(chǔ)存一體化或成下一代系統(tǒng)入口

“雖然目前階段計(jì)算力還談不上限制人工智能的發(fā)展，但計(jì)算力確實(shí)提高了參與人工智能研究的門檻。”譚茗洲指出。

除了研發(fā)資金的增長(zhǎng)，在計(jì)算力爆發(fā)之前的很長(zhǎng)一段時(shí)間，產(chǎn)生數(shù)據(jù)的場(chǎng)景隨著互聯(lián)網(wǎng)的發(fā)展?jié)B透到生活、生產(chǎn)的各個(gè)角落，并且隨著通訊技術(shù)的進(jìn)步，尤其是5G的商用，使得產(chǎn)生數(shù)據(jù)的基礎(chǔ)場(chǎng)景覆蓋面和深度達(dá)到新的層次，數(shù)據(jù)的生產(chǎn)也將達(dá)到一個(gè)新的數(shù)量級(jí)。

2020年伊始，阿里達(dá)摩院發(fā)布《2020十大科技趨勢(shì)》報(bào)告顯示，在人工智能方面，計(jì)算存儲(chǔ)一體化，類似于人腦，將數(shù)據(jù)存儲(chǔ)單元和計(jì)算單元融為一體，能顯著減少數(shù)據(jù)搬運(yùn)，極大提高計(jì)算并行度和能效。

然而，計(jì)算存儲(chǔ)一體化的研究無(wú)法一蹴而就。這個(gè)報(bào)告提出策略，對(duì)于廣義上計(jì)算存儲(chǔ)一體化計(jì)算架構(gòu)的發(fā)展，近期策略的關(guān)鍵在于通過(guò)芯片設(shè)計(jì)、集成、封裝技術(shù)拉近存儲(chǔ)單元與計(jì)算單元的距離，增加帶寬，降低數(shù)據(jù)搬運(yùn)的代價(jià)，緩解由于數(shù)據(jù)搬運(yùn)產(chǎn)生的瓶頸;中期規(guī)劃是通過(guò)架構(gòu)方面的創(chuàng)新，設(shè)存儲(chǔ)器于計(jì)算單元中或者置計(jì)算單元于存儲(chǔ)模塊內(nèi)，可以實(shí)現(xiàn)計(jì)算和存儲(chǔ)你中有我，我中有你;遠(yuǎn)期展望是通過(guò)器件層面的創(chuàng)新，實(shí)現(xiàn)器件既是存儲(chǔ)單元也是計(jì)算單元，不分彼此，融為一體，成為真正的計(jì)算存儲(chǔ)一體化。近年來(lái)，一些新型非易失存儲(chǔ)器，如阻變內(nèi)存，顯示了一定的計(jì)算存儲(chǔ)融合的潛力。

據(jù)介紹，計(jì)算存儲(chǔ)一體化正在助力、推動(dòng)算法升級(jí)，成為下一代AI系統(tǒng)的入口。存內(nèi)計(jì)算提供的大規(guī)模更高效的算力，使得AI算法設(shè)計(jì)有更充分的想象力，不再受到算力約束。從而將硬件上的先進(jìn)性，升級(jí)為系統(tǒng)、算法的領(lǐng)先優(yōu)勢(shì)，最終加速孵化新業(yè)務(wù)。

而除了計(jì)算存儲(chǔ)一體化的趨勢(shì)，量子計(jì)算或是解決AI所需巨額算力的另一途徑。目前量子計(jì)算機(jī)的發(fā)展已經(jīng)超越傳統(tǒng)計(jì)算機(jī)的摩爾定律，以傳統(tǒng)計(jì)算機(jī)的計(jì)算能力為基本參考，量子計(jì)算機(jī)的算力正迅速發(fā)展。

譚茗洲表示，未來(lái)人工智能的突破，除了不斷提升技術(shù)本身之外，還需要全球各國(guó)協(xié)同創(chuàng)新，融合發(fā)展，探索新的合作模式，如采取共享思維，調(diào)動(dòng)世界各方面的計(jì)算資源集中發(fā)力，以降低計(jì)算的巨大成本。