過(guò)去的十年以深度學(xué)習(xí)為代表的人工智能技術(shù)深刻影響了人類社會(huì)。但人類要進(jìn)入真正意義上的智能時(shí)代，還需要更強(qiáng)大的智能技術(shù)。而向人腦學(xué)習(xí)，借鑒人類大腦的智能產(chǎn)生機(jī)理被認(rèn)為是一條非常值得期待的道路。反過(guò)來(lái)，AI技術(shù)也在深刻改變著腦科學(xué)的研究方法。在“觀測(cè)腦”手段不斷變革的基礎(chǔ)上，AI技術(shù)為腦科學(xué)提供了越來(lái)越強(qiáng)大的分析、展示和科學(xué)發(fā)現(xiàn)手段。

2020年4月25日，青創(chuàng)聯(lián)盟發(fā)起的YOSIA Webinar特別推出了“AI+X”科學(xué)系列主題，第一期主題為AI+腦科學(xué)，主要針對(duì)人工智能與腦科學(xué)的發(fā)展以及兩者間的相互影響進(jìn)行了分享。

本次參與者有六位嘉賓，他們分別是來(lái)自浙江大學(xué)計(jì)算機(jī)學(xué)院的唐華錦教授，清華大學(xué)微納電子系教授、副系主任吳華強(qiáng)，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副教授胡曉林、中國(guó)科學(xué)技術(shù)大學(xué)神經(jīng)生物學(xué)與生物物理學(xué)系主任畢國(guó)強(qiáng)、北京師范大學(xué)認(rèn)知神經(jīng)科學(xué)與學(xué)習(xí)國(guó)家重點(diǎn)實(shí)驗(yàn)室畢彥超教授以及北京大學(xué)信息科學(xué)技術(shù)學(xué)院長(zhǎng)聘教授吳思。主持人為未來(lái)論壇青年理事會(huì)輪值主席、中科院計(jì)算所研究員、博士生導(dǎo)師山世光教授。

唐華錦發(fā)表了《神經(jīng)形態(tài)計(jì)算機(jī)》的主題分享，他認(rèn)為模擬大腦智能是計(jì)算機(jī)科學(xué)領(lǐng)域長(zhǎng)久以來(lái)的目標(biāo)，成為過(guò)去幾十年人工智能的發(fā)展的重要推動(dòng)力。

人工智能和腦科學(xué)在各自領(lǐng)域獨(dú)自發(fā)展，且都取得了很大突破，我們亟需以新的眼光和視角重新建立兩者的聯(lián)系，特別是從腦科學(xué)的角度探索人工智能的新思路和新方法。報(bào)告從探討神經(jīng)元-突觸為計(jì)算載體的信息處理和計(jì)算形式、記憶的形成和存儲(chǔ)，以及高級(jí)認(rèn)知的產(chǎn)生，探討基于腦科學(xué)、神經(jīng)科學(xué)的人工智能的展望。

他分享了如何來(lái)設(shè)計(jì)未來(lái)的神經(jīng)形態(tài)計(jì)算機(jī)。首先必須具備異構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)，其次包含時(shí)序動(dòng)力學(xué)的神經(jīng)元非線性，要構(gòu)建基于突觸可塑性的信用分配算法不僅實(shí)現(xiàn)模式識(shí)別這樣深度學(xué)習(xí)里面已經(jīng)非常成功應(yīng)用的各種算法，而且要實(shí)現(xiàn)學(xué)習(xí)-記憶融合的認(rèn)知計(jì)算，我們未來(lái)把大腦搬進(jìn)機(jī)箱讓它實(shí)現(xiàn)知識(shí)的表達(dá)、知識(shí)的學(xué)習(xí)、認(rèn)知以及環(huán)境的交互。

吳華強(qiáng)則進(jìn)行了《大腦啟發(fā)的存算一體技術(shù)》的分享，他提到，人工智能無(wú)處不在，從云端到我們手機(jī)端都有很多人工智能也在深刻影響我們生活。并且人工智能的研究和應(yīng)用已經(jīng)取得了突飛猛進(jìn)的發(fā)展，但是運(yùn)行人工智能深度神經(jīng)網(wǎng)絡(luò)算法的計(jì)算平臺(tái)主要是超級(jí)計(jì)算機(jī)群(成百上千個(gè)CPU和GPU),不但需要巨大的硬件投入，而且占用的空間和消耗的能源也非?？捎^。

受限于存儲(chǔ)計(jì)算分離對(duì)芯片性能的限制，同時(shí)CMOS工藝微縮速度放緩，以及人工智能應(yīng)用對(duì)計(jì)算存儲(chǔ)需求的不斷提升，當(dāng)前的技術(shù)將面臨諸多新的挑戰(zhàn)。

因此，我們需要類腦計(jì)算、存算一體，這也是向生物找答案，向大腦找答案。用腦啟發(fā)設(shè)計(jì)新的人工智能芯片是非常必要也是急需的。

在這一背景下，新器件的出現(xiàn)變得至關(guān)重要，通過(guò)引入新原理的半導(dǎo)體器件，不但可以拓展芯片的功能，甚至可以顛覆傳統(tǒng)電路理論，突破當(dāng)前芯片面臨的能效、速度瓶頸，大幅提升芯片性能。

基于過(guò)渡族金屬氧化的憶阻器件顯示出了優(yōu)越的存算一體的特性，能夠規(guī)避存儲(chǔ)和計(jì)算之間數(shù)據(jù)搬運(yùn)的功耗并且能夠?qū)崿F(xiàn)大規(guī)模集成，進(jìn)而實(shí)現(xiàn)高性能計(jì)算。

胡曉林則從AI的發(fā)展，神經(jīng)網(wǎng)絡(luò)的發(fā)展來(lái)談如何促進(jìn)神經(jīng)科學(xué)的研究。他闡述了《神經(jīng)元稀疏發(fā)放在視聽覺(jué)通路上的作用》，受Barlow高效編碼理論的啟發(fā)，上世紀(jì)90年代人們通過(guò)計(jì)算建模的方式發(fā)現(xiàn)神經(jīng)元的稀疏發(fā)放對(duì)于哺乳動(dòng)物的視覺(jué)和聽覺(jué)系統(tǒng)的前期的信息處理機(jī)制有著重要作用，但是稀疏發(fā)放對(duì)于更上層的功能區(qū)域有什么作用一直不是很清楚。

在報(bào)告中胡教授介紹了目前他們的發(fā)現(xiàn)，通過(guò)用深度學(xué)習(xí)對(duì)腦的視聽覺(jué)通路的建模的兩個(gè)案例，建模后發(fā)現(xiàn)，高級(jí)視聽覺(jué)區(qū)域的神經(jīng)元的稀疏發(fā)放與它們的一些獨(dú)特功能有著密不可分的關(guān)系。該結(jié)果暗示高效編碼理論可能在高級(jí)感覺(jué)區(qū)域也是成立的，從而推廣了前人在感覺(jué)通路低級(jí)區(qū)域發(fā)展出來(lái)的高效編碼理論。

在問(wèn)答環(huán)節(jié)里，六位嘉賓探討了腦科學(xué)為AI提供了哪些思想、技術(shù)和方法，同時(shí)進(jìn)行了相應(yīng)的轉(zhuǎn)化，而AI也為研究腦科學(xué)提供了分析工具，并提供了更多思路。

“我們理解一個(gè)事情，我們需要能創(chuàng)造它才能做它。”從AI和腦科學(xué)的整體關(guān)系，是科學(xué)和工程的關(guān)系。作為正在被打開的兩個(gè)“黑箱”，二者在互相影響和碰撞，等待更大空間的研究被發(fā)現(xiàn)和釋放。

怎么樣培養(yǎng)更多的交叉學(xué)科的人才成為了重點(diǎn)討論問(wèn)題。嘉賓們認(rèn)為這是一個(gè)很大的挑戰(zhàn)，作為交叉學(xué)科的人，要對(duì)兩個(gè)學(xué)科都要有充分的把握，而這兩個(gè)學(xué)科都是很難的學(xué)科，挑戰(zhàn)很大，因此需要鼓勵(lì)青年人要真正追求自己的興趣，如果真的想研究，要花別人雙倍的力氣把這兩個(gè)學(xué)科都學(xué)好。

以下為AI+腦科學(xué)主題分享速記：

主題報(bào)告

分享一：《神經(jīng)形態(tài)計(jì)算機(jī)》—唐華錦

唐華錦，浙江大學(xué)計(jì)算機(jī)學(xué)院教授

唐華錦教授分別于浙江大學(xué)、上海交通大學(xué)完成本科和碩士學(xué)習(xí)，2005年新加坡國(guó)立大學(xué)獲得博士學(xué)位。2008-2015年于新加坡科技研究局資訊通信研究院擔(dān)任Robotic Cognition實(shí)驗(yàn)室主任，2014年起擔(dān)任四川大學(xué)類腦計(jì)算研究中心主任，目前為浙江大學(xué)計(jì)算機(jī)學(xué)院教授。主要研究領(lǐng)域?yàn)樯窠?jīng)形態(tài)計(jì)算、類腦智能芯片、智能機(jī)器人。獲2016年度IEEE TNNLS杰出論文獎(jiǎng)、2019年度IEEE Computational Intelligence Magazine杰出論文獎(jiǎng)。擔(dān)任/曾擔(dān)任IEEE TNNLS、 IEEE Trans. on Cognitive and Developmental Systems、Frontiers in Neuromorphic Engineering，Neural Networks等期刊的Associate Editor，擔(dān)任國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)(International Neural Networks Society)理事及評(píng)獎(jiǎng)委員會(huì)成員等。

唐華錦： 大家好!我今天很榮幸被邀請(qǐng)來(lái)分享這樣一個(gè)主題，我的主題是以神經(jīng)形態(tài)計(jì)算機(jī)為中心來(lái)探討一些開放問(wèn)題以及對(duì)這個(gè)領(lǐng)域做一些展望。

我今天報(bào)告提綱分以下幾條：

一、首先簡(jiǎn)述計(jì)算機(jī)與大腦的區(qū)別以及大腦對(duì)開發(fā)更加新型智能計(jì)算機(jī)的啟示;

二、接著討論關(guān)于神經(jīng)形態(tài)計(jì)算機(jī)的必要組成以及介紹大腦如何完成各種計(jì)算任務(wù)的;

三、之后介紹目前算法的進(jìn)展以及硬件方面設(shè)計(jì)的成果;

四、最后提出對(duì)這個(gè)領(lǐng)域的個(gè)人的總結(jié)和展望。

計(jì)算機(jī)與大腦的區(qū)別以及大腦對(duì)開發(fā)更加新型智能計(jì)算機(jī)的啟示

大家知道，目前的計(jì)算機(jī)體系是基于馮·諾伊曼架構(gòu)，這已經(jīng)非常成功的引領(lǐng)計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展幾十年。在這個(gè)計(jì)算機(jī)架構(gòu)的基礎(chǔ)上我們的深度學(xué)習(xí)在近年取得了飛速發(fā)展，在各個(gè)領(lǐng)域取得非常成功的應(yīng)用。同時(shí)，馮·諾伊曼架構(gòu)發(fā)展到現(xiàn)階段也存在一些制約，比如說(shuō)由于存在風(fēng)險(xiǎn)帶來(lái)的I/O性能的瓶頸制約以及功耗的制約，這種制約隨著大數(shù)據(jù)、深度學(xué)習(xí)為基礎(chǔ)的計(jì)算架構(gòu)帶來(lái)的擁擠會(huì)凸顯的越來(lái)越嚴(yán)重，比如大量數(shù)據(jù)讀寫嚴(yán)重降低整體效率。和大腦的計(jì)算方式相比，大腦處理的步驟非常少，但它的運(yùn)行速度非常高。其次由于突觸和神經(jīng)元同時(shí)可以做激發(fā)和存儲(chǔ)，所以不存在馮·諾伊曼架構(gòu)的I/O的吞吐帶來(lái)的瓶頸。就能耗來(lái)說(shuō)，大腦的計(jì)算能耗非常低，大致只有20W左右，所以帶來(lái)的計(jì)算效率非常高。另外非常顯著的區(qū)別，計(jì)算機(jī)實(shí)現(xiàn)的或者處理大量的實(shí)值數(shù)據(jù)，大腦神經(jīng)元處理的(或者說(shuō)編碼的)都是稀疏的事件或者神經(jīng)科學(xué)稱之為脈沖。從如何構(gòu)建一個(gè)非馮·諾伊曼體系的新型智能計(jì)算機(jī)體系，不僅是計(jì)算機(jī)科學(xué)也是我們計(jì)算機(jī)工程以及硬件芯片發(fā)展的一個(gè)重要方向。隨著新的計(jì)算體系結(jié)構(gòu)以及硬件方面的實(shí)驗(yàn)，我們預(yù)測(cè)可能帶來(lái)新一代的人工智能的算法的硬件以及架構(gòu)上的新突破。

關(guān)于神經(jīng)形態(tài)計(jì)算機(jī)的必要組成以及介紹大腦如何完成各種計(jì)算任務(wù)的

下面我從大腦主要的計(jì)算過(guò)程來(lái)解釋一下我們?nèi)绾蝸?lái)設(shè)計(jì)未來(lái)的神經(jīng)形態(tài)計(jì)算機(jī)。

第一，網(wǎng)絡(luò)結(jié)構(gòu)。生物神經(jīng)元有多種神經(jīng)元類型，這里以錐體神經(jīng)元(Pyramidal神經(jīng)元)為例，錐體神經(jīng)元是多個(gè)環(huán)節(jié)、多個(gè)部件組成的復(fù)雜的神經(jīng)元模型結(jié)構(gòu)，包括軸突的遠(yuǎn)端和近端，對(duì)生物神經(jīng)元的輸入前饋和反傳，發(fā)生在神經(jīng)元的不同部位，對(duì)于I/O來(lái)說(shuō)做了充分的簡(jiǎn)化，把它作為一個(gè)典型神經(jīng)元，沒(méi)有遠(yuǎn)端軸突和近端軸突的區(qū)別，從網(wǎng)絡(luò)結(jié)構(gòu)上來(lái)說(shuō)，大腦存在著大量稀疏的異構(gòu)的連接結(jié)構(gòu)，目前ANN主要依賴的深度網(wǎng)絡(luò)是前饋全連接的網(wǎng)絡(luò)結(jié)構(gòu)。當(dāng)然在不同的網(wǎng)絡(luò)結(jié)構(gòu)處理的實(shí)際方式也有顯著不同?；谏疃染W(wǎng)絡(luò)的空間算法，往往采取一個(gè)全區(qū)的優(yōu)化函數(shù)來(lái)達(dá)到最優(yōu)值來(lái)調(diào)解。而對(duì)于生物神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，由于存在大量的局部連接以及遠(yuǎn)程連接，有豐富多樣的突觸可塑性，可以更加靈活的調(diào)整神經(jīng)元之間的連接來(lái)完成對(duì)目標(biāo)函數(shù)的優(yōu)化。

第二，大腦的計(jì)算模式采用的是更加接近生物的個(gè)性的方式，比如脈沖神經(jīng)元的輸入，在人工神經(jīng)元里面不需要考慮輸入時(shí)間的特性，輸入是一個(gè)實(shí)值，典型的ReLU函數(shù)或者Sigmoid激活函數(shù)做了一個(gè)這樣的簡(jiǎn)單的非行為數(shù)據(jù)，但是對(duì)于生物神經(jīng)元來(lái)說(shuō)，它不僅采用了輸入輸出的映射，還具有四個(gè)典型的時(shí)間的非線性動(dòng)力學(xué)，一是膜電位積分，二是漏電效應(yīng)，三是不應(yīng)期，四是需要閾值來(lái)判定脈沖發(fā)放或不發(fā)放。這樣導(dǎo)致脈沖神經(jīng)元輸入脈沖編碼的不連續(xù)性，以及輸出脈沖的不連續(xù)性。這樣導(dǎo)致后面的第三個(gè)問(wèn)題就突出來(lái)，即信用分配問(wèn)題。信用分配在人工神經(jīng)網(wǎng)絡(luò)里常常說(shuō)成是優(yōu)化算法，最典型的一個(gè)優(yōu)化算法是誤差反傳，就是梯度下降算法，但是這里梯度下降算法存在一個(gè)誤差，要求前向和反向權(quán)值要完全對(duì)稱，因?yàn)槿值哪繕?biāo)函數(shù)，設(shè)定了一個(gè)這樣的網(wǎng)絡(luò)結(jié)構(gòu)，這是典型的ANN的學(xué)習(xí)模式以及處理方式。

第三，生物神經(jīng)元同樣的信用分配機(jī)制，但是采用完全不同的處理方式。神經(jīng)元之間依賴于脈沖發(fā)放時(shí)間，導(dǎo)致他們可以采用基于脈沖時(shí)間的學(xué)習(xí)方式，最典型的在神經(jīng)科學(xué)里面應(yīng)用非常廣泛的是STDP(脈沖時(shí)間依賴的突觸可塑性)，基于脈沖時(shí)間前后發(fā)放的時(shí)間差來(lái)調(diào)整權(quán)值，實(shí)現(xiàn)局部的無(wú)監(jiān)督學(xué)習(xí)。此外，我們也可以考慮設(shè)計(jì)輸入脈沖和期望脈沖序列之間的序列差，來(lái)有監(jiān)督式的學(xué)習(xí)和訓(xùn)練脈沖，發(fā)放一定的脈沖。

其次依據(jù)多巴胺的神經(jīng)科學(xué)的發(fā)現(xiàn)，可以構(gòu)造這樣一個(gè)強(qiáng)化學(xué)習(xí)的脈沖實(shí)驗(yàn)網(wǎng)絡(luò)，把每個(gè)神經(jīng)元和突觸都當(dāng)做一個(gè)智能體，把發(fā)放脈沖或者不發(fā)放脈沖作為一個(gè)它的行動(dòng)，來(lái)構(gòu)成這樣一個(gè)強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，這樣不僅實(shí)現(xiàn)更加靈活的行為，而且是生物性更加強(qiáng)的一種學(xué)習(xí)算法。

第四點(diǎn)，大腦的計(jì)算機(jī)制，重要的是學(xué)習(xí)與記憶的融合。在前饋網(wǎng)絡(luò)里，權(quán)值訓(xùn)練完之后，當(dāng)新的任務(wù)進(jìn)來(lái)，往往權(quán)值會(huì)被抹殺或者權(quán)值遺忘的作用，但是在生物神經(jīng)元里面，有大量的專門負(fù)責(zé)記憶的細(xì)胞，比如海馬體中存在各種記憶細(xì)胞，尤其是對(duì)位置細(xì)胞的編碼，對(duì)空間的感知認(rèn)知，它可以記憶熟知的場(chǎng)景，對(duì)這個(gè)空間進(jìn)行編碼。所以依據(jù)皮層-海馬等腦區(qū)，可以實(shí)現(xiàn)神經(jīng)元大腦對(duì)外部輸入的表達(dá)，學(xué)習(xí)及記憶構(gòu)成一個(gè)基于學(xué)習(xí)、基于融合的認(rèn)知計(jì)算。(圖)右側(cè)是一個(gè)對(duì)皮層以及海馬體主要微腦區(qū)的神經(jīng)電路結(jié)構(gòu)，基于這樣的電路結(jié)構(gòu)，我們可以實(shí)現(xiàn)基于海馬體的聯(lián)想記憶、持續(xù)記憶以及對(duì)空間的記憶模型。

目前算法的進(jìn)展以及硬件方面設(shè)計(jì)的成果

下面初步介紹一下我們?cè)谶@個(gè)領(lǐng)域的初步成果。因?yàn)闀r(shí)間有限，只是展示冰山一角。

對(duì)于信息的編碼，把輸入信息經(jīng)過(guò)脈沖神經(jīng)元的編碼轉(zhuǎn)變成一系列的時(shí)空脈沖信號(hào)，可以對(duì)輸入信息進(jìn)行編碼以及重構(gòu)。下圖是Nature的一篇文章，上圖是做的編碼神經(jīng)元的算法。

同時(shí)可以對(duì)新型的神經(jīng)形態(tài)視覺(jué)算法進(jìn)行脈沖編碼和表征處理，分別處理動(dòng)態(tài)的視覺(jué)信息，發(fā)表在2020年TNNLS的一篇論文上。

另外，信用分配算法可以高效的解決脈沖神經(jīng)網(wǎng)絡(luò)由于時(shí)間動(dòng)力學(xué)帶來(lái)的訓(xùn)練困難問(wèn)題，不僅在空間上進(jìn)行誤差反傳，可以同時(shí)把誤差信息傳遞到脈沖的時(shí)間信息上，經(jīng)過(guò)這樣的設(shè)計(jì)我們提出了基于脈沖簇的學(xué)習(xí)算法，不僅是可以訓(xùn)練神經(jīng)元在指定時(shí)間發(fā)放脈沖，而且是指定發(fā)放脈沖簇。

這是目前幾種典型的脈沖損失函數(shù)，各自具有一些不同的缺陷，我們改造這樣的損失函數(shù)，可以不斷的訓(xùn)練發(fā)放，訓(xùn)練這樣一個(gè)脈沖簇。它的優(yōu)點(diǎn)是能夠訓(xùn)練神經(jīng)元對(duì)復(fù)雜的時(shí)間序列的神經(jīng)元的響應(yīng)特性，左圖顯示的是雜亂無(wú)章的神經(jīng)元響應(yīng)，右側(cè)是訓(xùn)練后神經(jīng)元能夠顯示出對(duì)某些特定信號(hào)的選擇性響應(yīng)。這是一個(gè)新型的深層的脈沖網(wǎng)絡(luò)，在訓(xùn)練性能上已經(jīng)超越專門設(shè)計(jì)和訓(xùn)練的CNN的網(wǎng)絡(luò)。

學(xué)習(xí)與記憶融合，我們構(gòu)建多層的模仿多層腦區(qū)的結(jié)構(gòu)，實(shí)現(xiàn)神經(jīng)元的編碼以及監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)，同時(shí)實(shí)現(xiàn)聯(lián)想記憶和時(shí)序記憶。右側(cè)是神經(jīng)硬件電路圖，是北大黃如院士團(tuán)隊(duì)合作的FPGA硬件的記憶模型的設(shè)計(jì)和實(shí)現(xiàn)。

在感知-認(rèn)知-交互閉環(huán)上我們做了一個(gè)初步的成果，把海馬體電路搬到機(jī)器人上，通過(guò)硬件模式來(lái)實(shí)現(xiàn)機(jī)器人對(duì)空間感知、認(rèn)知交互的閉環(huán)。在Communications of ACM 2018專題介紹了這樣的工作，來(lái)解釋大腦如何幫助機(jī)器人對(duì)復(fù)雜環(huán)境空間的感知，依賴空間位置神經(jīng)元對(duì)空間的記憶以及編碼的作用。

無(wú)獨(dú)有偶，在Deepmind，今年也開展了這樣類型的工作，但與我們基于模型、大腦結(jié)構(gòu)方式的不同，Deepmind在基于學(xué)習(xí)和訓(xùn)練的網(wǎng)絡(luò)來(lái)訓(xùn)練神經(jīng)元，發(fā)放基于網(wǎng)格細(xì)胞的效應(yīng)特性，右圖展示了他們?cè)谔摂M環(huán)境下的網(wǎng)絡(luò)的效果。有興趣的朋友可以看一下論文。

在硬件實(shí)現(xiàn)上的一些成果。通過(guò)數(shù)字或者模擬集成電路可以實(shí)現(xiàn)神經(jīng)元、突觸以及各種突觸可塑性，在這個(gè)領(lǐng)域上已經(jīng)有大量的神經(jīng)形態(tài)芯片的成果，比如SpiNNaker、BrainScaleS、Truenorth、Loihi、ROLLS、清華“天機(jī)”芯片、浙大“達(dá)爾文”芯片等，都是屬于在數(shù)字模擬電路上實(shí)現(xiàn)架構(gòu)。另外，在對(duì)于未來(lái)類腦芯片的潛在突破，憶阻器及陣列，憶阻器可以分別實(shí)現(xiàn)突觸和神經(jīng)元，實(shí)現(xiàn)模擬矩陣運(yùn)算即存算一體。

下面我舉了北大楊玉超、黃如老師的工作，以及清華吳華強(qiáng)老師的工作，發(fā)布在Nature communications上，吳老師隨后會(huì)更加詳細(xì)的介紹，他們實(shí)現(xiàn)一體機(jī)的陣列來(lái)設(shè)計(jì)構(gòu)建了這樣模擬矩陣的運(yùn)算，實(shí)現(xiàn)快速的存算一體的神經(jīng)網(wǎng)絡(luò)的計(jì)算模式。

關(guān)于神經(jīng)形態(tài)計(jì)算機(jī)，我個(gè)人提出一些不太成熟的總結(jié)與展望。首先必須具備異構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu)，其次包含時(shí)序動(dòng)力學(xué)的神經(jīng)元非線性。要構(gòu)建基于多種突觸可塑性的信用分配算法，不僅實(shí)現(xiàn)模式識(shí)別這樣深度學(xué)習(xí)里面已經(jīng)非常成功應(yīng)用的各種算法，而且要實(shí)現(xiàn)學(xué)習(xí)-記憶融合的認(rèn)知計(jì)算，我們未來(lái)把大腦搬進(jìn)機(jī)箱讓它實(shí)現(xiàn)知識(shí)的表達(dá)、知識(shí)的學(xué)習(xí)、認(rèn)知以及環(huán)境的交互。

分享二：《大腦啟發(fā)的存算一體技術(shù)》—吳華強(qiáng)

吳華強(qiáng) 清華大學(xué)微納電子系教授、副系主任

清華大學(xué)微納電子系，長(zhǎng)聘教授，副系主任，清華大學(xué)微納加工平臺(tái)主任，北京市未來(lái)芯片技術(shù)高精尖創(chuàng)新中心副主任。2000年畢業(yè)于清華大學(xué)材料科學(xué)與工程系和經(jīng)濟(jì)管理學(xué)院。2005年在美國(guó)康奈爾大學(xué)電子與計(jì)算機(jī)工程學(xué)院獲工學(xué)博士學(xué)位。隨后在美國(guó)AMD公司和Spansion公司任高級(jí)研究員，從事先進(jìn)非易失性存儲(chǔ)器的架構(gòu)、器件和工藝研究。2009年，加入清華大學(xué)微電子學(xué)研究所，研究領(lǐng)域?yàn)樾滦痛鎯?chǔ)器及存算一體技術(shù)，先后負(fù)責(zé)多項(xiàng)自然科學(xué)基金、863、973和重點(diǎn)研發(fā)計(jì)劃項(xiàng)目和課題。在Nature, Nature Communications, Proceedings of the IEEE等期刊和國(guó)際會(huì)議發(fā)表論文100余篇，獲得美國(guó)授權(quán)發(fā)明專利30余項(xiàng)，獲得中國(guó)授權(quán)發(fā)明專利40余項(xiàng)。

吳華強(qiáng)：今天和大家分享一下我們做的一點(diǎn)工作，題目是“大腦啟發(fā)的存算一體技術(shù)”。

我的報(bào)告將從硬件的挑戰(zhàn)，研究進(jìn)展以及展望三方面來(lái)介紹大腦啟發(fā)的存算一體技術(shù)。

人工智能無(wú)處不在，從云端到我們手機(jī)端都有很多人工智能。不同的人工智能應(yīng)用對(duì)芯片的需求是不一樣的,比如數(shù)據(jù)中心、汽車無(wú)人駕駛要求算力特別高，而智能傳感網(wǎng)、物聯(lián)網(wǎng)和手機(jī)希望耗能低，追求高能效。不同應(yīng)用對(duì)芯片的不同需求給了芯片領(lǐng)域很多機(jī)會(huì)。

人工智能的三個(gè)發(fā)展浪潮和硬件算力也有關(guān)系。從第一款神經(jīng)網(wǎng)絡(luò)Perceptron網(wǎng)絡(luò)AI開始火起來(lái)，到70年代進(jìn)入低谷，一個(gè)非常重要的因素是，雖然有很好的理論模型，但是沒(méi)有足夠的算力。后來(lái)專家系統(tǒng)出現(xiàn)，第二波浪潮又起來(lái)。這時(shí)候很多人做專門圍繞人工智能的計(jì)算機(jī)。同時(shí)代摩爾定律快速推動(dòng)芯片的發(fā)展，通用計(jì)算機(jī)的性能飛速上揚(yáng)，專業(yè)計(jì)算機(jī)能做的通用計(jì)算機(jī)也能做，因此逐漸占據(jù)市場(chǎng)，第二波浪潮又下去。第三波浪潮，深度神經(jīng)網(wǎng)絡(luò)的提出到利用GPU加速網(wǎng)絡(luò)訓(xùn)練，GPU成為AI的主要訓(xùn)練平臺(tái)。有了更大的算力，網(wǎng)絡(luò)規(guī)?？焖偬嵘?。AlphaGo Zero需要5000個(gè)TPU訓(xùn)練40天才成為地表最強(qiáng)的圍棋選手，花費(fèi)的時(shí)間還是很大的，因此人工智能的廣泛應(yīng)用需要硬件能力革新，支撐人工智能的發(fā)展。

芯片能提供的算力和人工智能的高需求是很矛盾的。第一臺(tái)計(jì)算機(jī)ENIAC出現(xiàn)在1947年，算力是每秒鐘5000次左右。英特爾2019年的CPU大約是20.8GFLOPS。我們看到它的變化是圍繞著摩爾定律，即每18個(gè)月翻一番的集成度來(lái)提升算力。但是目前AI的需求是每3.4個(gè)月翻一番。因此需要尋找新方法提供算力。

算力提升越來(lái)越困難有兩個(gè)原因，一是過(guò)去摩爾定律是把器件做的越來(lái)越小，現(xiàn)在器件尺寸縮小已經(jīng)接近物理極限了，所以摩爾定律逐漸失效。二是傳統(tǒng)計(jì)算架構(gòu)發(fā)展帶來(lái)的性能提升日趨緩慢?，F(xiàn)代計(jì)算系統(tǒng)普遍采用信息存儲(chǔ)和運(yùn)算分離的馮諾依曼架構(gòu)，其運(yùn)算性能受到數(shù)據(jù)存儲(chǔ)速度和傳輸速度的限制。具體來(lái)說(shuō)，CPU的計(jì)算速度小于1納秒，但是主存DRAM是百納秒左右，也就是存儲(chǔ)的速度遠(yuǎn)遠(yuǎn)低于計(jì)算速度。在能耗上，以TSMC45納米的工藝為例，加減乘小于一個(gè)pJ，但是32位DRAM的讀要高達(dá)640個(gè)pJ，這一比也是百倍的差距。因此存儲(chǔ)速度遠(yuǎn)遠(yuǎn)低于CPU的速度，而存儲(chǔ)的功耗也遠(yuǎn)遠(yuǎn)高于CPU的功耗。這還沒(méi)有講存儲(chǔ)的寫，寫的功耗會(huì)更高。這樣整個(gè)系統(tǒng)的性能受到數(shù)據(jù)存儲(chǔ)速度和傳輸速度的限制，能耗也因?yàn)榇鎯?chǔ)讀的功耗和寫的功耗很大，導(dǎo)致整個(gè)系統(tǒng)功耗都很大。

現(xiàn)在可以看到很多新的計(jì)算出來(lái)了，量子計(jì)算、光計(jì)算、類腦計(jì)算、存算一體。所以當(dāng)我們要思考未來(lái)的計(jì)算時(shí)，我自己覺(jué)得量子計(jì)算、光計(jì)算是向物理找答案，類腦計(jì)算、存算一體是向生物找答案，也就是向大腦找答案。

著名的人機(jī)大戰(zhàn)，人工智能選手AlphaGo用了176個(gè)GPU、1202個(gè)CPU，功耗是150000W。而我們大腦體積大概1.2L，有1011個(gè)神經(jīng)元，1015個(gè)突觸，思考的時(shí)候功耗是20W。大腦的功耗這么少，這么聰明，這里面還有這么大容量的神經(jīng)元、突觸。所以我們希望用腦啟發(fā)設(shè)計(jì)新的人工智能芯片。

我們想通過(guò)向生物學(xué)家學(xué)習(xí)、向神經(jīng)學(xué)家學(xué)習(xí)，來(lái)看看大腦是如何處理計(jì)算的。大腦有幾個(gè)特點(diǎn)，一個(gè)是有大量的神經(jīng)元連接性，以及神經(jīng)元加突觸的結(jié)構(gòu)，一個(gè)神經(jīng)元將近連接了1萬(wàn)個(gè)突觸。第二個(gè)它的時(shí)空信息的編碼方式是用脈沖的方式。我們希望模仿大腦的結(jié)構(gòu)和工作機(jī)制，用脈沖編碼的形式來(lái)輸入輸出。

生物突觸是信息存儲(chǔ)也是信息處理的最底層的生物器件。我們想在芯片上做電子突觸新器件，做存算一體的架構(gòu)。新器件方面我們主要研究的是憶阻器，它的特點(diǎn)是可以多比特，同時(shí)非易失，即把電去掉以后可以保持這個(gè)阻值，并且它速度很快。還有很關(guān)鍵的一點(diǎn)，它和集成電路的CMOS工藝是兼容的，可以做大規(guī)模集成。近十年我們一直圍繞這個(gè)器件來(lái)做其優(yōu)化和計(jì)算功能。

美國(guó)DARPA的FRANC項(xiàng)目提出用模擬信號(hào)處理方式來(lái)超越傳統(tǒng)的馮·諾依曼計(jì)算架構(gòu)，希望帶來(lái)計(jì)算性能系統(tǒng)的增加。任正非在2019年接受采訪時(shí)說(shuō)，未來(lái)在邊緣計(jì)算不是把CPU做到存儲(chǔ)器里，就是把存儲(chǔ)器做到CPU里，這就改變了馮·諾依曼結(jié)構(gòu)，存儲(chǔ)計(jì)算合而為一，速度快。阿里2020年的十大科技趨勢(shì)里提到計(jì)算存儲(chǔ)一體化，希望通過(guò)存算一體的架構(gòu)，突破AI算力瓶頸。存算一體的理念也是受大腦計(jì)算方式啟發(fā)的。

基于憶阻器的存算一體技術(shù)可以分為三個(gè)階段：第一個(gè)階段是單個(gè)器件的發(fā)展階段。2008年惠普實(shí)驗(yàn)室的Stan William教授首次在實(shí)驗(yàn)室制備了憶阻器，之后美國(guó)密西根大學(xué)的盧偉教授提出了電子突觸概念，美國(guó)UCSB大學(xué)的謝源教授提出了基于憶阻器的PRIME存算一體架構(gòu)，引起廣泛關(guān)注。第二個(gè)階段開始做陣列，2015年UCSB在12×12的陣列上演示了三個(gè)字母的識(shí)別，我們團(tuán)隊(duì)2017年在128×8的陣列上演示了三個(gè)人臉的識(shí)別，準(zhǔn)確率能夠大于95%，同時(shí)期還有IBM，UMass和HP等研究團(tuán)隊(duì)實(shí)驗(yàn)實(shí)現(xiàn)了在陣列上的存算一體;第三個(gè)階段是存算一體芯片，我們以芯片設(shè)計(jì)領(lǐng)域的頂會(huì)ISSCC上近幾年發(fā)表的文章為例，2018年松下展示了多層感知機(jī)的宏電路，2019年臺(tái)灣地區(qū)新竹清華大學(xué)和臺(tái)積電聯(lián)合演示了卷積核計(jì)算的宏電路，今年清華和斯坦福合作做的限制玻耳茲曼機(jī)宏電路。也是今年我們清華團(tuán)隊(duì)完成的一個(gè)全系統(tǒng)集成的完整的存算一體芯片，從系統(tǒng)測(cè)試結(jié)果來(lái)看，這個(gè)芯片能效高達(dá)78.4TOPs/W，是相當(dāng)高的。我們還做了一個(gè)對(duì)比，一個(gè)是存算一體的芯片和系統(tǒng)，一個(gè)是用了樹莓派28納米的CPU。我們的芯片跑完一萬(wàn)張圖片是3秒，而他們是59秒，我們的速度要快很多，準(zhǔn)確率卻相當(dāng)。

今年1月我們?cè)贜ature上發(fā)表了一個(gè)憶阻器存算一體系統(tǒng)的工作。這個(gè)工作主要是把多個(gè)陣列放在一起組成一個(gè)系統(tǒng)，并驗(yàn)證是否能用作模擬計(jì)算來(lái)實(shí)現(xiàn)AI的工作。我們提出新型混合訓(xùn)練算法，實(shí)現(xiàn)了與軟件相當(dāng)?shù)挠?jì)算精度。還提出了新型卷積空間并行架構(gòu),成倍提升了系統(tǒng)處理速度。

為什么憶阻器存算一體適合人工智能呢?因?yàn)榻徊骊嚵薪Y(jié)構(gòu)特別適合快速矩陣向量乘法。存算一體可以減少權(quán)重搬移帶來(lái)的功耗和延時(shí)，有效地解決目前算力的瓶頸。另外，人工智能更關(guān)注系統(tǒng)準(zhǔn)確性，而不是每個(gè)器件的精度，這特別符合憶阻器和模擬計(jì)算的特點(diǎn)。

我們還和畢國(guó)強(qiáng)老師合作了一篇綜述文章。利用腦啟發(fā)來(lái)設(shè)計(jì)人工智能芯片，我們把大腦從I/O通道，到突觸，神經(jīng)元，到神經(jīng)環(huán)路，到整個(gè)大腦的結(jié)構(gòu)，都和電子器件做了對(duì)比。文章題目叫《Bridging Biological and Artificial Neural Networks》，發(fā)表在2019年的Advanced Materials上面，如果大家感興趣可以讀這個(gè)文章。

展望未來(lái)，希望能夠做一個(gè)存算一體的計(jì)算機(jī)系統(tǒng)。以前是晶體管加布爾邏輯加馮·諾依曼架構(gòu)，現(xiàn)在是模擬型憶阻器加模擬計(jì)算和存算一體的非馮架構(gòu)。

人工智能無(wú)處不在，從云端到我們手機(jī)端都有很多人工智能也在深刻影響我們生活，前幾天聽說(shuō)谷歌用人工智能預(yù)測(cè)天氣預(yù)報(bào)，比過(guò)去物理模型做的好很多，所以說(shuō)人工智能的應(yīng)用會(huì)越來(lái)越廣泛。

分享三：《神經(jīng)元稀疏發(fā)放在視聽覺(jué)通路上的作用》

胡曉林 清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副教授

2007年在香港中文大學(xué)獲得自動(dòng)化與輔助工程專業(yè)博士學(xué)位，然后在清華大學(xué)計(jì)算機(jī)系從事博士后研究，2009年留校任教至今。他的研究領(lǐng)域包括人工神經(jīng)網(wǎng)絡(luò)和計(jì)算神經(jīng)科學(xué)，主要興趣包括開發(fā)受腦啟發(fā)的計(jì)算模型和揭示大腦處理視聽覺(jué)信息的機(jī)制。在IEEE Transactions on Neural Networks and Learning Systems, IEEE Transactions on Image Processing, IEEE Transactions on Cybernetics, PLoS Computational Biology, Neural Computation, European Journal of Neuroscience, Journal of Neurophysiology, Frontiers in Human Neuroscience, Frontiers in Computational Neuroscience等國(guó)際期刊和CVPR, NIPS, AAAI等國(guó)際會(huì)議上發(fā)表論文80余篇。他目前是IEEE Transactions on Image Processing和Cognitive Neurodynamics的編委，曾擔(dān)任IEEE Transactions on Neural Networks and Learning Systems的編委。

胡曉林：各位嘉賓好，各位在線朋友們好!非常榮幸今天有機(jī)會(huì)和大家交流，今天我分享的主題和前面兩位嘉賓分享的正好相反，前面兩位嘉賓講的都是我們神經(jīng)科學(xué)怎么樣啟發(fā)做新的器件，因?yàn)檫@個(gè)主題是AI和腦科學(xué)的交互，我來(lái)講另外一個(gè)方面的工作，就是AI的發(fā)展，神經(jīng)網(wǎng)絡(luò)的發(fā)展，怎么樣促進(jìn)神經(jīng)科學(xué)的研究。

我對(duì)神經(jīng)科學(xué)和AI方面都比較感興趣，兩方面的工作都在做。今天主要是講從AI到BI這方面的兩個(gè)小工作。我今天介紹的內(nèi)容和前兩位嘉賓有點(diǎn)不同，前兩位嘉賓講的都是非常宏大，我今天只是介紹兩個(gè)點(diǎn)上的工作。

神經(jīng)網(wǎng)絡(luò)和神經(jīng)科學(xué)與大腦視覺(jué)皮層是有一定關(guān)聯(lián)的

首先看一下背景。左邊是視覺(jué)系統(tǒng)大致的通路，信息從視網(wǎng)膜到LGN到腦皮層。中間是聽覺(jué)皮層，也是一個(gè)層次化結(jié)構(gòu)，信息從耳蝸一直傳到聽覺(jué)皮層。右邊是典型的神經(jīng)網(wǎng)絡(luò)。從圖上可以看到，至少我們現(xiàn)在的神經(jīng)網(wǎng)絡(luò)和視覺(jué)、聽覺(jué)系統(tǒng)有一定的相似性，至少是層次化的結(jié)構(gòu)?；谶@種相似性是不是可以利用現(xiàn)在神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展來(lái)促進(jìn)神經(jīng)科學(xué)的研究，促進(jìn)我們對(duì)大腦的視覺(jué)、聽覺(jué)或者其他感覺(jué)皮層工作機(jī)制的理解呢?這是我們今天要重點(diǎn)討論的問(wèn)題。

這個(gè)方面的工作，比較早期的一個(gè)工作，是2014年MIT的教授他們做的一個(gè)工作，他們用一個(gè)神經(jīng)網(wǎng)絡(luò)，一個(gè)CNN去訓(xùn)練了一個(gè)圖片分類的模型，然后同樣的圖片給猴子看，可以記錄猴子不同的視覺(jué)區(qū)域，比方說(shuō)V4和IT兩個(gè)區(qū)域神經(jīng)元的發(fā)放，最后去比較神經(jīng)網(wǎng)絡(luò)不同層和猴子的不同皮層V4和IT這兩個(gè)區(qū)域神經(jīng)元的相關(guān)性。發(fā)現(xiàn)不同神經(jīng)網(wǎng)絡(luò)層的神經(jīng)元反應(yīng)的特點(diǎn)正好對(duì)應(yīng)猴子IT、V4區(qū)域反應(yīng)的特點(diǎn)。這是第一次證明神經(jīng)網(wǎng)絡(luò)和神經(jīng)科學(xué)和大腦視覺(jué)皮層是有一定關(guān)聯(lián)的。

這是一個(gè)神經(jīng)科學(xué)的發(fā)現(xiàn)，我們先簡(jiǎn)單介紹一下這個(gè)神經(jīng)科學(xué)發(fā)現(xiàn)，然后對(duì)比一下。這是2013年紐約大學(xué)的一個(gè)工作，他們做了一個(gè)實(shí)驗(yàn)，讓猴子和人去看兩種不同的圖片，這是從原來(lái)的自然圖片通過(guò)算法合成的兩種不同的圖片，中間的比較像自然圖片，右邊是噪聲圖片，不完全是噪聲，是從自然圖片合成的噪聲。然后給猴子這兩類圖片，NT是中間那一列，SN是右側(cè)一列，V1區(qū)域記錄猴子的發(fā)放，發(fā)現(xiàn)V1的神經(jīng)元對(duì)這兩類圖片的反應(yīng)差不多，基本上分不開。但是到V2神經(jīng)元對(duì)于NT一類的圖片反應(yīng)高一些，對(duì)于SN類的圖片反應(yīng)低一些，也就是在V2有一個(gè)區(qū)分。他們定義了Index，一個(gè)神經(jīng)元的Index如果越高，就說(shuō)明這個(gè)神經(jīng)元越喜歡比較上面的圖片，那個(gè)圖片從數(shù)學(xué)定義上來(lái)講是含有高階統(tǒng)計(jì)特性的圖片，時(shí)間關(guān)系，不展開講它具體的數(shù)學(xué)定義，什么叫含有高階統(tǒng)計(jì)特性。總而言之V1區(qū)域，所有的神經(jīng)元的Modulation Index都集中在0附近，在0左右對(duì)稱。在V2，大部分神經(jīng)元的Modulation Index都是正的，也就是大部分的神經(jīng)元都是喜歡這種比較像自然圖片的圖片。

2015年的時(shí)候日本的一個(gè)研究小組在另外一個(gè)區(qū)域，就是猴子的V4區(qū)域，他們發(fā)現(xiàn)了同樣的結(jié)論。V4的神經(jīng)元相對(duì)V1來(lái)講，他們更喜歡具有高階統(tǒng)計(jì)特性比較像自然圖像的圖片，而不是噪聲。

為什么會(huì)又有這樣的結(jié)果?為什么V2和V4的神經(jīng)元他們喜歡像自然圖像的圖片而不是那種噪聲呢?為了研究這個(gè)問(wèn)題，有兩種選擇，一種是用傳統(tǒng)的計(jì)算模型，計(jì)算神經(jīng)科學(xué)領(lǐng)域早期的模型都是單層的，現(xiàn)在為了研究這個(gè)問(wèn)題顯然單層模型沒(méi)有辦法的，因?yàn)檠芯康氖且曈X(jué)皮層的高級(jí)皮層，如果沒(méi)有下面的這些層，上面就沒(méi)有辦法研究，所以需要一個(gè)層次化的模型，所以我們考慮用深度學(xué)習(xí)的模型來(lái)研究這個(gè)問(wèn)題。

這是我們的模型，我們構(gòu)建了這樣一個(gè)模型，這是很標(biāo)準(zhǔn)的深度學(xué)習(xí)模型，有輸入輸出，我們用同樣的方式從自然圖片中創(chuàng)造出一種像自然圖片的圖片，一種是噪聲圖片，這個(gè)噪聲不是隨機(jī)噪聲，它也是具有一定語(yǔ)義的，但是它和像自然圖片的圖片有所不同。我們把這兩類圖片輸入到模型里面去，然后記錄每一層神經(jīng)元的反應(yīng)。我們也可以定義每個(gè)神經(jīng)元的Modulation Index，這個(gè)Modulation Index比較大就說(shuō)明這個(gè)神經(jīng)元比較喜歡具有高階統(tǒng)計(jì)特性的圖片。

結(jié)果非常有意思。有三行，第一行是AlexNet，第二行是VggNet，大家如果做深度學(xué)習(xí)的話是非常熟悉的，這兩類非常典型的卷積神經(jīng)網(wǎng)絡(luò)。這兩個(gè)神經(jīng)網(wǎng)絡(luò)有很多層，我們把他們分成五個(gè)大層，AlexNet本身就有五個(gè)卷積層，Vgg因?yàn)橹虚g有很多max pooling，以此為界可以把相鄰的幾個(gè)卷積層分成一個(gè)大層，總共也會(huì)有五個(gè)層，統(tǒng)計(jì)每個(gè)大層的Modulation Index，就是藍(lán)色的柱狀圖，基本上隨著層數(shù)越高，它的Modulation Index越高，右邊的圖顯示的每一層，Modulation Index的分布，可以看到在LAYER1的時(shí)候，Modulation Index集中在O，左右差不多對(duì)稱，越往后面去，Modulation Index越來(lái)越正，最后大部分集中在1，也就是說(shuō)比較頂層LAYER5大部分神經(jīng)元就是特別喜歡高階統(tǒng)計(jì)特性的圖片。下面還有一個(gè)網(wǎng)絡(luò)這是一個(gè)無(wú)監(jiān)督模型，我們叫它SHMAX，它的結(jié)構(gòu)跟上面兩個(gè)結(jié)構(gòu)基本是一樣的，唯一區(qū)別是它的學(xué)習(xí)是一種無(wú)監(jiān)督學(xué)習(xí)，我們可以得到同樣的結(jié)果，藍(lán)色柱狀圖和后面的Modulation Index分布都是一樣的結(jié)論。剛才最后的模型，每一層的學(xué)習(xí)是Sparse codind，Sparse coding的公式在這兒，我想很多朋友應(yīng)該聽說(shuō)過(guò)這個(gè)模型，這是經(jīng)典模型，1996年就提出來(lái)了，這是一個(gè)無(wú)監(jiān)督學(xué)習(xí)模式，也就是對(duì)于圖片不需要監(jiān)督，就可以進(jìn)行學(xué)習(xí)。我把這個(gè)模型堆疊很多層，先學(xué)一層，把它的輸出作為下一層的輸入，在下一層繼續(xù)用同樣的過(guò)程進(jìn)行學(xué)習(xí)，就可以得到剛才說(shuō)的第三個(gè)模型。

也就是說(shuō)對(duì)于有監(jiān)督學(xué)習(xí)模型和無(wú)監(jiān)督學(xué)習(xí)模型，他們的Modulation Index都是隨著乘數(shù)的增加而增高的。到底是什么樣的因素導(dǎo)致了這些神經(jīng)網(wǎng)絡(luò)具有這樣的特性，我們考察了很多因素，最后我們發(fā)現(xiàn)，Response Sparseness非常重要，它跟Modulation Index成正相關(guān)的關(guān)系，比如我們看AlexNet、VggNet、以及SHMAX，你看他們的稀疏性Sparseness，你給它看很多圖片，很多時(shí)候神經(jīng)元是不發(fā)放的，因?yàn)樗幸粋€(gè)ReLU，有些時(shí)候是不發(fā)放的，有些時(shí)候是發(fā)放的，Sparseness定義的是神經(jīng)元在多大的比例是不發(fā)放的，可以看到隨著層數(shù)上升，Sparseness會(huì)越來(lái)越強(qiáng)，正好跟Modulation Index趨勢(shì)差不多，我們做了對(duì)照實(shí)驗(yàn)，AlexNet每一層的稀疏性越高，Modulation Index也會(huì)越高，SHMAX也是一樣，稀疏性越高，Modulation Index就會(huì)越高。

簡(jiǎn)單總結(jié)，我們通過(guò)三個(gè)深度學(xué)習(xí)模型上發(fā)現(xiàn)和猴子視覺(jué)皮層高層反應(yīng)特點(diǎn)類似的一個(gè)結(jié)論。當(dāng)然也可以做一些預(yù)測(cè)，時(shí)間關(guān)系，這些模型預(yù)測(cè)我就不講了。

稀疏發(fā)放的特點(diǎn)和神經(jīng)科學(xué)的發(fā)現(xiàn)是呈正相關(guān)的關(guān)系

第二個(gè)工作，這是一個(gè)關(guān)于聽覺(jué)的。剛才已經(jīng)提到聽覺(jué)皮層也是層次化的結(jié)構(gòu)，人們?cè)诼犛X(jué)通路上也發(fā)現(xiàn)了很多有意思的一些結(jié)果，比如說(shuō)在耳蝸后有一個(gè)nerve fiber(59：03)，你給它一些刺激，它的反映特別是呈這樣的小窩的形式，在下丘這個(gè)地方，這些神經(jīng)元它們的感受也是可以測(cè)出來(lái)的，橫軸是時(shí)間、縱軸是頻率。在聽覺(jué)皮層，人們發(fā)現(xiàn)在皮層里面有很多神經(jīng)元或者有很多Local area，他們可以特異性的一些音素比較喜歡，音素是比音節(jié)更小的單元，比如“a”里面有輔音“b”，元音“a”，元音輔音這些東西又叫音素。

作為計(jì)算能力科學(xué)怎么解釋這些結(jié)果?計(jì)算機(jī)科學(xué)已經(jīng)用Sparse coding解釋了nerve fiber 和下丘(IC)的神經(jīng)元的反映情況，具體是這樣的，這個(gè)模型還是Sparse coding模型，X是輸入、S是Response，如果你的輸入不再是圖片如果是語(yǔ)音，最后解出來(lái)A，A是每個(gè)神經(jīng)元的感受野，它就長(zhǎng)成這樣小波的形式。在IC區(qū)，用同樣模型只是把輸入改了一下，輸入不再用位子格式的輸入，而是進(jìn)行視頻轉(zhuǎn)換，輸入頻譜圖，把頻譜圖當(dāng)成X，再去求解一個(gè)Sparse coding模型，就會(huì)得到神經(jīng)元的感受點(diǎn)也呈這樣的形式，神經(jīng)科學(xué)家已經(jīng)發(fā)現(xiàn)IC區(qū)的神經(jīng)元的感受點(diǎn)的形狀就是長(zhǎng)這樣。

前面兩個(gè)層級(jí)的神經(jīng)元的反應(yīng)特點(diǎn)已經(jīng)被解釋了，第三層級(jí)，就是最高層，這個(gè)現(xiàn)象怎么解釋呢?核心含義是給病人插一些電極，做手術(shù)的病人插一些電極，可以發(fā)現(xiàn)有些電極特別喜歡d、g、e、h、k、t這幾個(gè)輔音，有些電極喜歡摩擦音，還有的喜歡元音o、e、i。總而言之他們發(fā)現(xiàn)在人類的Quarter上面，神經(jīng)元對(duì)音素有特異化的表達(dá)，這種表達(dá)是怎么出現(xiàn)的呢?就是我們要回答的問(wèn)題，我們?yōu)槭裁从羞@樣的表達(dá)。第二個(gè)問(wèn)題是前面比較低的皮層用Sparse coding解釋了他們的現(xiàn)象，同樣的Sparse coding模型能不能解釋高層的現(xiàn)象呢?為了回答這兩個(gè)問(wèn)題我們做了層次化的稀疏編碼模型，典型的CNN結(jié)構(gòu)，只不過(guò)我們每一層的學(xué)習(xí)不再用BP算法，而是用Sparse coding，第一層學(xué)習(xí)完以后再學(xué)習(xí)第二層，第二層學(xué)完以后再學(xué)第三層，就這樣從底層一直到高層學(xué)習(xí)，我們的輸入就是時(shí)頻格式的信號(hào)。

有意思的是，構(gòu)建了這樣的層次化的稀疏編碼模型，我們把靠中間的層拿出來(lái)，S2第二卷積層，把這個(gè)地方的神經(jīng)元的感受畫出來(lái)，可以看到這些感受野和神經(jīng)科學(xué)家在下丘測(cè)出來(lái)的神經(jīng)元的感受野有類似的形狀，這些感受野的形狀參數(shù)的分布也和在貓的下丘這個(gè)地方測(cè)的參數(shù)分布是一致的。最有意思的是到頂層以后，我們發(fā)現(xiàn)頂層Layer C6，這里很多神經(jīng)元特異性的喜歡一類音素，比如B、P、L、G，還有一些神經(jīng)元喜歡元音，a、o、e。而且聚集效應(yīng)在頂層最明顯，在下面這些層也有，只不過(guò)這個(gè)效應(yīng)低一些，數(shù)值越低就是說(shuō)它的聚集效應(yīng)低一點(diǎn)。也就是說(shuō)這個(gè)模式并不是陡然在頂層出現(xiàn)的，其實(shí)下面的層級(jí)也出現(xiàn)了，只不過(guò)神經(jīng)科學(xué)家們沒(méi)有測(cè)到下面那些區(qū)域神經(jīng)元有這樣的表達(dá)，當(dāng)然這是我們的推測(cè)。

總結(jié)一下，我們發(fā)現(xiàn)一些深度學(xué)習(xí)的模型在中層和高層這些地方，這些神經(jīng)元的反應(yīng)和視覺(jué)和聽覺(jué)的中層和高層的真實(shí)的神經(jīng)元的反應(yīng)有一定的一致性，這個(gè)結(jié)果并不是一個(gè)非常Trivial的結(jié)果，我們并沒(méi)有嘗試Fit數(shù)據(jù)，所有的學(xué)習(xí)準(zhǔn)則要么是使得分類的準(zhǔn)確率高，要么是使得重建的輸入準(zhǔn)確，并沒(méi)有Fit任何生理學(xué)的數(shù)據(jù)，但是就是出現(xiàn)了這樣的特性，所以我們覺(jué)得這樣的結(jié)果還是非常有意思的。第二個(gè)結(jié)論，稀疏編碼，前面研究的這些深度學(xué)習(xí)模型都有一個(gè)稀疏發(fā)放的特點(diǎn)，而且稀疏發(fā)放的特點(diǎn)和神經(jīng)科學(xué)的發(fā)現(xiàn)有重要的關(guān)系，當(dāng)然這些深度神經(jīng)網(wǎng)絡(luò)去研究神經(jīng)科學(xué)的問(wèn)題也是存在巨大的缺陷，就是他們模型的細(xì)節(jié)結(jié)構(gòu)和生物上的系統(tǒng)還是存在著非常大的差異，所以沒(méi)有辦法用很粗糙的學(xué)習(xí)模型去研究細(xì)節(jié)的神經(jīng)科學(xué)的問(wèn)題。

感謝大家!

討論環(huán)節(jié)

山世光：謝謝胡老師給我們分享了兩個(gè)非常具體的案例，試圖去建立AI特別是深度學(xué)習(xí)模型和我們腦的神經(jīng)網(wǎng)絡(luò)之間在某一些層面的一致性。

再次感謝三位嘉賓的精彩分享，接下來(lái)我們進(jìn)入嘉賓討論環(huán)節(jié)。

我們今天的討論嘉賓除了剛剛已經(jīng)給大家介紹過(guò)的作分享的三位老師外，我們有幸邀請(qǐng)到兩位討論嘉賓，他們分別是來(lái)自來(lái)自中國(guó)科學(xué)技術(shù)大學(xué)神經(jīng)生物學(xué)與生物物理學(xué)系系畢國(guó)強(qiáng)老師，來(lái)自北京大學(xué)信息科學(xué)技術(shù)學(xué)院長(zhǎng)聘教授吳思老師。

吳思：我先介紹一下自己，我是來(lái)自北京大學(xué)的吳思，我的研究方向是計(jì)算神經(jīng)科學(xué)。簡(jiǎn)單說(shuō)，計(jì)算神經(jīng)科學(xué)就是用計(jì)算的方法來(lái)研究腦科學(xué)，很顯然這樣的研究會(huì)有很多附產(chǎn)品，可以啟發(fā)我們發(fā)展人工智能的算法。

我課題組目前有50%的精力在做計(jì)算神經(jīng)科學(xué)，另外50%做類腦計(jì)算。目前比較關(guān)注的課題包括：神經(jīng)編碼的機(jī)制與模型，如大腦表征信息的正則化模型，大腦如何做貝葉斯推理，以及多模態(tài)信息整合的問(wèn)題;另一個(gè)大的方向是關(guān)于視覺(jué)信息的加工機(jī)制，如神經(jīng)反饋的作用，皮層下的視覺(jué)通路計(jì)算功能，以及皮層上和皮層下通路之間如何實(shí)現(xiàn)信息融合。另外，我們也做一些腦啟發(fā)的類腦計(jì)算研究，如用連續(xù)吸引子網(wǎng)絡(luò)大腦實(shí)現(xiàn)物體跟蹤，尤其是在加入負(fù)反饋的情況下實(shí)現(xiàn)預(yù)測(cè)跟蹤;同時(shí)受皮層下視覺(jué)通路啟發(fā)，我們也發(fā)展一些算法，可以做運(yùn)動(dòng)模式的識(shí)別、物體全局信息識(shí)別等，這些都太細(xì)節(jié)，這里就不詳細(xì)介紹。

首先感謝未來(lái)論壇的邀請(qǐng)，今天的主題是關(guān)于AI和腦科學(xué)之間的關(guān)系。在很多不同的場(chǎng)合總有人問(wèn)我這個(gè)問(wèn)題。從大的方面說(shuō)，AI就是我們要?jiǎng)?chuàng)造一個(gè)人工的智能體，這是個(gè)工程問(wèn)題;而腦科學(xué)，尤其腦科學(xué)中關(guān)注信息處理的研究，是要解析生物的智能體，這是一個(gè)科學(xué)問(wèn)題。因此，AI和腦科學(xué)的關(guān)系從某種意義上說(shuō)就是科學(xué)和工程的關(guān)系。在AI中，大家最近經(jīng)常強(qiáng)調(diào)深度學(xué)習(xí)的有可解釋性，就是我們要打開深度學(xué)習(xí)網(wǎng)絡(luò)的黑箱，這其實(shí)也是腦科學(xué)研究一直在干的事情，只不過(guò)打開的是生物體智能的黑箱。兩者都是在干同一個(gè)解析智能的問(wèn)題，一個(gè)是從工程的角度我們?cè)趺慈?chuàng)造一個(gè)智能體，而另一個(gè)是從科學(xué)的角度去解析大腦的工作原理。因此，兩者之間的互動(dòng)和互補(bǔ)是很顯然的。一方面，大腦是自然界已經(jīng)存在的智能體，我們了解它肯定能夠幫助AI發(fā)展;另一方面，創(chuàng)造AI也有助于我們真正了解生物智能。有一種說(shuō)法是了解一個(gè)事物，最佳的方法就是你去制造它。

AI和腦科學(xué)互助從邏輯上說(shuō)是非常自然的。大腦是宇宙中已知的最好的智能體，發(fā)展人工智能當(dāng)然要從大腦中去學(xué)。腦科學(xué)的確已經(jīng)給了AI啟發(fā)，但目前還遠(yuǎn)遠(yuǎn)不夠。從我自己的研究經(jīng)驗(yàn)看似乎經(jīng)常是AI幫助我做腦科學(xué)，而不是腦科學(xué)對(duì)AI有什么幫助。這個(gè)問(wèn)題出在什么地方呢?一個(gè)很大的問(wèn)題是吳華強(qiáng)老師剛才說(shuō)的，現(xiàn)在的算力不夠;即便計(jì)算神經(jīng)科學(xué)發(fā)展了一些好模型，如果沒(méi)有很好的算力，就實(shí)現(xiàn)不了，體現(xiàn)不出腦啟發(fā)的優(yōu)點(diǎn)。此外，我覺(jué)得還有兩個(gè)問(wèn)題經(jīng)常被大家忽視。一是目前AI的應(yīng)用其實(shí)關(guān)注的任務(wù)相比我們?nèi)四X的高級(jí)認(rèn)知功能來(lái)說(shuō)還是太簡(jiǎn)單。比如AI的很多應(yīng)用涉及的核心任務(wù)是目標(biāo)識(shí)別，但大腦在我們?nèi)粘Ｉ钏媾R的計(jì)算遠(yuǎn)遠(yuǎn)不是簡(jiǎn)單的目標(biāo)識(shí)別。當(dāng)AI應(yīng)用以后走向更復(fù)雜的任務(wù)，可能腦科學(xué)能夠提供更多的幫助。還有一個(gè)問(wèn)題涉及當(dāng)前實(shí)驗(yàn)室科學(xué)的研究，計(jì)算神經(jīng)科學(xué)要根據(jù)實(shí)驗(yàn)數(shù)據(jù)，但當(dāng)前的實(shí)驗(yàn)范式通常都太簡(jiǎn)單了，比如對(duì)猴子呈現(xiàn)一個(gè)簡(jiǎn)單的刺激，然后記錄大腦內(nèi)神經(jīng)元怎么反應(yīng)，即便我們把整個(gè)計(jì)算過(guò)程揭示出來(lái)，它對(duì)我們認(rèn)識(shí)大腦的高級(jí)認(rèn)知功能還相差很遠(yuǎn)。所以實(shí)驗(yàn)科學(xué)家也要加把勁，把整個(gè)實(shí)驗(yàn)范式設(shè)置的更復(fù)雜，更多揭示大腦如何實(shí)現(xiàn)高級(jí)認(rèn)知功能，在此基礎(chǔ)上計(jì)算神經(jīng)科學(xué)的建模、以及發(fā)展的算法才能對(duì)AI有用。

第一：腦科學(xué)已經(jīng)為AI發(fā)展提供了什么思想、方法和技術(shù)?有哪些典型案例?

畢國(guó)強(qiáng)：華強(qiáng)老師說(shuō)的樹突計(jì)算非常有意思，我聽到華強(qiáng)的結(jié)果也非常興奮，最后的效能提升是由于什么原因?是不是樹突的濾波性質(zhì)或樹突本身的構(gòu)架?這種構(gòu)架可能把突觸變得不太一樣，一般人工神經(jīng)網(wǎng)絡(luò)構(gòu)架中每個(gè)突觸的基本性質(zhì)是一樣的，樹突構(gòu)架可能引入了異質(zhì)性。另外，樹突結(jié)構(gòu)本身的層級(jí)結(jié)構(gòu)的復(fù)雜性也可能會(huì)對(duì)最終產(chǎn)生的計(jì)算能力有一些影響。關(guān)于異質(zhì)性，我剛提到的突觸可塑性，STDP應(yīng)用到人工神經(jīng)網(wǎng)絡(luò)效果不好，一個(gè)可能的原因就是異質(zhì)性。所以華強(qiáng)的這個(gè)工作，把樹突結(jié)構(gòu)加進(jìn)去，非常值得進(jìn)一步看到底是哪些特征產(chǎn)生了這些性能的提升或者改變。

當(dāng)然從哲學(xué)層次上來(lái)說(shuō)，生物的大腦和神經(jīng)系統(tǒng)是很多年進(jìn)化的結(jié)果，是經(jīng)過(guò)自然選擇，證明是能夠Work的東西。但這里面又有多個(gè)尺度上的復(fù)雜性，從最小尺度上，即使只是看突觸不到一微米大小的設(shè)備，其實(shí)真實(shí)的突觸非常復(fù)雜，然后到環(huán)路、到整個(gè)大腦的結(jié)構(gòu)。我們?nèi)ツ７麓竽X，可能在不同尺度、不同層次上都可以獲得不同的啟發(fā)。這個(gè)時(shí)候關(guān)鍵的一點(diǎn)是我們從中得到的東西要分析出來(lái)是哪些特性能夠?qū)I起到正面的作用。我覺(jué)得短時(shí)間內(nèi)要全面地模仿大腦肯定是不現(xiàn)實(shí)的，所以我們需要從復(fù)雜的層級(jí)結(jié)構(gòu)中抽提出關(guān)鍵特性一步一步模仿。

第二：從腦科學(xué)可以轉(zhuǎn)化到AI來(lái)的，大家可以不可以分享一些更好的案例?

胡曉林：剛才的問(wèn)題是問(wèn)腦科學(xué)已經(jīng)為AI提供了什么樣的幫助，有很多工作其實(shí)是從腦科學(xué)啟發(fā)過(guò)來(lái)，追根溯源到1943年，麥克和皮茨這兩個(gè)人第一次提出人工神經(jīng)元MP神經(jīng)元，如果沒(méi)有他們提出人工神經(jīng)元，后面的這些CNN等等都是不存在的，他們其實(shí)是做神經(jīng)科學(xué)的，他們嘗試發(fā)明計(jì)算模型并解釋大腦的工作，他們提出了這種邏輯運(yùn)算的MP神經(jīng)元。后來(lái)Rosenbaltt把MP神經(jīng)元擴(kuò)展了一下，得到了多層感知機(jī)。后來(lái)在1989年、1990年的時(shí)候Yan LeCun等人提出來(lái)CNN，當(dāng)時(shí)是受了Neocognitron模型的啟發(fā)，Neocognitron是日本人Fukushima提出來(lái)的，我真的找過(guò)他那篇論文，Neocognitron的結(jié)構(gòu)和現(xiàn)在CNN的結(jié)構(gòu)一模一樣，唯一區(qū)別是學(xué)習(xí)方法不一樣，Neocognitron在1980年提出來(lái)時(shí)還沒(méi)有BP算法。Neocognitron怎么來(lái)的呢?它是受到一個(gè)神經(jīng)科學(xué)的發(fā)現(xiàn)，在貓的視覺(jué)皮層有簡(jiǎn)單細(xì)胞、復(fù)雜細(xì)胞兩種細(xì)胞，從這兩種細(xì)胞的特點(diǎn)出發(fā)構(gòu)建了Neocognitron嘗試去解釋大腦怎么識(shí)別物體的。后來(lái)才發(fā)展到CNN。MP神經(jīng)元和Neocognitron這是兩個(gè)具有里程碑意義的方法，這是很典型的神經(jīng)科學(xué)給我們AI的啟發(fā)的工作，甚至可以說(shuō)是顛覆性的工作。

坦白說(shuō)到這次神經(jīng)網(wǎng)絡(luò)、人工智能的騰飛，這次騰飛期間我并沒(méi)有看到特別多令人非常興奮的腦啟發(fā)的工作，我本人也做了一些這方面的工作，發(fā)現(xiàn)目前一些受腦科學(xué)啟發(fā)的計(jì)算模型好像都沒(méi)有我剛才說(shuō)的那兩個(gè)模型的意義那么大。希望這個(gè)領(lǐng)域能出現(xiàn)一些新的腦啟發(fā)的方法，哪怕它們現(xiàn)在的性能非常差，但是十幾年、幾十年以后，它們也許會(huì)成為奠基性的工作。

山世光：SNN還需要時(shí)間再去進(jìn)一步觀察，因?yàn)槟壳斑€沒(méi)有到那么強(qiáng)大的地步。吳華強(qiáng)老師做存算一體，不知道很可能會(huì)成為未來(lái)值得關(guān)注受腦啟發(fā)做計(jì)算的模型。

胡曉林：有可能。

第三：AI怎么助力了腦科學(xué)的發(fā)展， AI對(duì)腦科學(xué)的發(fā)展有什么典型的幫助?

吳思：我們要看我們?cè)趺炊xAI。如果泛泛的包括信息理論、動(dòng)力學(xué)系統(tǒng)分析、統(tǒng)計(jì)學(xué)習(xí)等，那么這些都是計(jì)算神經(jīng)科學(xué)每天在用的工具，它們一直在助力腦科學(xué)的發(fā)展。如果一定要強(qiáng)調(diào)最新的，比如說(shuō)深度學(xué)習(xí)，那么如何將AI用于腦科學(xué)是目前的一個(gè)研究熱點(diǎn)。國(guó)際上有多個(gè)組，也包括清華的胡曉林老師，大家把視覺(jué)系統(tǒng)當(dāng)成一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)，然后訓(xùn)練這個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)，同時(shí)加入一些生物學(xué)的約束，然后用對(duì)比的方法看這個(gè)系統(tǒng)能學(xué)習(xí)到什么，進(jìn)而回答生物視覺(jué)認(rèn)知的問(wèn)題。

山世光：我們看到一些工作也都是在驗(yàn)證，深度網(wǎng)絡(luò)和人的大腦之間似乎在層上有一定的對(duì)應(yīng)性。

唐華錦：我補(bǔ)充一下吳思老師講的，在傳統(tǒng)上AI提供了很重要的大數(shù)據(jù)分析工具，視覺(jué)神經(jīng)、視覺(jué)皮層，現(xiàn)在的AI提供了很重要的大數(shù)據(jù)工具，尤其是在高通量的腦成像方面，建立非常精細(xì)的腦模型，AI大數(shù)據(jù)起到重要的作用。還有實(shí)時(shí)的腦活動(dòng)的分析上，比如斑馬魚的活動(dòng)，如何同時(shí)實(shí)時(shí)記錄以及把這些神經(jīng)元的活動(dòng)匹配到那些神經(jīng)元上，這是大量AI深度學(xué)習(xí)幫助腦科學(xué)家在分析數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)上，包括三維重建，包括樹突、軸突之間連接的結(jié)構(gòu)也會(huì)起到非常重要的作用，AI還是提供了很好的工具在深入的解釋上面。

胡曉林：我接著吳思老師剛才的觀點(diǎn)和大家分享，吳思說(shuō)現(xiàn)在國(guó)際有一個(gè)熱點(diǎn)，用深度學(xué)習(xí)的方式去研究以前在生物學(xué)實(shí)驗(yàn)當(dāng)中的結(jié)果，在這個(gè)模型當(dāng)中能不能出現(xiàn)這個(gè)結(jié)果。我想說(shuō)的一點(diǎn)，這是第一步，我們首先要來(lái)看一下深度學(xué)習(xí)模型是不是具有這樣的特點(diǎn)。如果發(fā)現(xiàn)它具有這樣的特點(diǎn)，你能干什么。深度學(xué)習(xí)模型是你自己構(gòu)造的，這個(gè)模型你所有神經(jīng)元都可以測(cè)。不像生物體會(huì)受到實(shí)驗(yàn)條件限制，有些地方測(cè)不到。這個(gè)模型是你自己構(gòu)造的，所有神經(jīng)元的特點(diǎn)都可以測(cè)。如果有了一個(gè)等價(jià)模型，在等價(jià)的人工智能模型上做一些實(shí)驗(yàn)和解釋，做一些原理性的探索，會(huì)比在動(dòng)物那種“黑箱”上做容易一些。

我給大家再分享一個(gè)話題，去年的時(shí)候MIT有一個(gè)組，DiCarlo實(shí)驗(yàn)室，剛才提到了他們2014年的工作，他們?nèi)ツ暧幸粋€(gè)更進(jìn)一步的工作，在猴子的高級(jí)皮層，神經(jīng)科學(xué)家很難用一個(gè)刺激讓這些神經(jīng)元能夠以一個(gè)很大的發(fā)放率去發(fā)放。如果做實(shí)驗(yàn)的話會(huì)發(fā)現(xiàn)，越往高層就越難讓一個(gè)神經(jīng)元發(fā)放。為解決這個(gè)問(wèn)題他們做了一個(gè)實(shí)驗(yàn)。他們先構(gòu)造了一個(gè)神經(jīng)網(wǎng)絡(luò)CNN，然后把中間的某一層L3層取出來(lái)和猴子V4區(qū)域的神經(jīng)元反應(yīng)做簡(jiǎn)單的映射，這個(gè)映射可能是一個(gè)小網(wǎng)絡(luò)，然后學(xué)出參數(shù)。學(xué)出來(lái)之后，他們認(rèn)為從視覺(jué)刺激(這只貓)到你的眼睛通過(guò)L1、L2、L3再到V4這是一個(gè)通路，這個(gè)通路上經(jīng)過(guò)的是人工神經(jīng)網(wǎng)絡(luò)，而不是真正的生物系統(tǒng)，真正的生物系統(tǒng)是下面的通路，看到這只貓然后經(jīng)過(guò)V1、V2、V3最后傳到V4。所以他們其實(shí)構(gòu)造了一個(gè)視覺(jué)通路的替代模型。你可以通過(guò)這個(gè)替代模型，這個(gè)神經(jīng)網(wǎng)絡(luò)，用BP算法反求一個(gè)刺激，使得V4區(qū)的神經(jīng)元反應(yīng)最大，最后發(fā)現(xiàn)反求出來(lái)的刺激像下面這張圖的樣子。然后再把這些刺激給猴子看，去測(cè)V4區(qū)神經(jīng)元反應(yīng)是不是最大。發(fā)現(xiàn)V4區(qū)的神經(jīng)元反應(yīng)遠(yuǎn)遠(yuǎn)超出以前用任何刺激所帶來(lái)的反應(yīng)，也就是說(shuō)如果不用他們這種反求的方式去做刺激，用自然數(shù)據(jù)是很難讓這個(gè)神經(jīng)元發(fā)放這么強(qiáng)烈的。這個(gè)就解決了他們做生理學(xué)實(shí)驗(yàn)的一個(gè)痛點(diǎn)。我和做聽覺(jué)的老師聊過(guò)，他們?cè)诤镒拥穆犛X(jué)皮層發(fā)現(xiàn)大部分神經(jīng)元都是不反應(yīng)的，很多人覺(jué)得猴子的聽覺(jué)神經(jīng)元不是干聽覺(jué)這件事的，很多人想不通為什么這樣，我覺(jué)得可能是我們沒(méi)有找到合適的刺激。

山世光：這本身對(duì)AI，我們現(xiàn)在深度學(xué)習(xí)的模型也是一個(gè)黑箱，在過(guò)去三年里AI領(lǐng)域已經(jīng)把AI的可解釋AI或者XAI這個(gè)研究問(wèn)題突出出來(lái)了，很多人做了非常漂亮的工作解釋黑盒子模型，我相信在接下來(lái)的時(shí)間里肯定會(huì)有更多的發(fā)展。這個(gè)話題還有哪位老師發(fā)言?

畢國(guó)強(qiáng)：我再補(bǔ)充一句，剛才幾位老師已經(jīng)說(shuō)的非常透徹了，AI在腦科學(xué)研究中能夠起到很多助力作用，從基本的大數(shù)據(jù)分析到更高層次的模擬，對(duì)大腦的模擬。在最后一步，對(duì)大腦的模擬有不同深度，早期的人工神經(jīng)網(wǎng)絡(luò)以及現(xiàn)在很多深度神經(jīng)網(wǎng)絡(luò)所模擬的只是神經(jīng)元和突觸連接的一些非?；镜男再|(zhì)。用這樣簡(jiǎn)單的性質(zhì)來(lái)模擬大腦，能夠得到的一些似乎和大腦里面發(fā)生的類似的現(xiàn)象，這確實(shí)反映了非常根本的機(jī)制。但是很可能很多事情是沒(méi)有辦法用目前的人工神經(jīng)網(wǎng)絡(luò)來(lái)解釋的，這時(shí)候需要用進(jìn)一步的模擬，也可能叫計(jì)算神經(jīng)科學(xué)的模擬，剛才吳思提到AI和計(jì)算神經(jīng)科學(xué)沒(méi)有本質(zhì)上的嚴(yán)格邊界，這種更深層次模型通過(guò)加入更多的腦神經(jīng)系統(tǒng)的特性就可能模擬神經(jīng)系統(tǒng)更多的行為，然后可以再反過(guò)來(lái)看哪些性質(zhì)是哪些行為必須的。當(dāng)然最后這還是一個(gè)大腦理解大腦的復(fù)雜性問(wèn)題。

第五：我們面臨的是兩個(gè)黑盒子，深度學(xué)習(xí)和大腦這兩個(gè)黑盒子怎么互相對(duì)比?能不能把這個(gè)黑盒子打開?

山世光：腦科學(xué)研究需要什么樣的AI技術(shù)來(lái)解決什么樣的前沿腦科學(xué)問(wèn)題，哪位老師就這個(gè)話題再說(shuō)幾句。

吳思：我特別期望望神經(jīng)形態(tài)研究的發(fā)展，就是唐華錦和吳華強(qiáng)老師他們將的東西來(lái)幫助來(lái)幫助計(jì)算神經(jīng)科學(xué)的發(fā)展。我們研究腦科學(xué)，提出了各種模型和機(jī)制后，如果有一個(gè)類腦的硬件系統(tǒng)驗(yàn)證一下，就能更好證明這個(gè)機(jī)制和模型是否生物學(xué)合理，能否在AI中得到應(yīng)用。

第六：我們還有一個(gè)話題關(guān)于人才培養(yǎng)，這是未來(lái)論壇秘書處覺(jué)得非常重要的話題，我們看哪位老師對(duì)交叉學(xué)科培養(yǎng)有經(jīng)驗(yàn)或者想法?

畢國(guó)強(qiáng)：這是非常重要的，可能目前整個(gè)領(lǐng)域，尤其是在國(guó)內(nèi)發(fā)展的真正瓶頸，就是怎么樣培養(yǎng)更多的交叉學(xué)科的優(yōu)秀人才。這是一個(gè)很大的挑戰(zhàn)，因?yàn)檎嬲腁I-腦科學(xué)交叉學(xué)科人才可能需要對(duì)兩個(gè)學(xué)科都要有充分的把握，而這兩個(gè)學(xué)科都是很難的學(xué)科，計(jì)算機(jī)科學(xué)、神經(jīng)生物學(xué)都很難，而且它中間重疊的部分又不多，不像是計(jì)算機(jī)和應(yīng)用數(shù)學(xué)，或者生物學(xué)和化學(xué)相對(duì)容易一些，如果想把AI和腦科學(xué)這兩個(gè)連在一起，你需要幾乎雙倍的專業(yè)知識(shí)。國(guó)外有很多值得借鑒的經(jīng)驗(yàn)，但最關(guān)鍵是需要鼓勵(lì)青年人追求自己的興趣，你如果感覺(jué)大腦很神奇或者AI很神奇，真的想研究它們，理解它們，那就花別人雙倍的力氣把這兩個(gè)學(xué)科都學(xué)好，這是最重要的。我讀物理研究生時(shí)很容易，英語(yǔ)聽不懂照樣去考試，但讀生物研究生的時(shí)候發(fā)現(xiàn)不光英語(yǔ)聽不懂，翻譯成中文也聽不懂，我只拿錄音機(jī)錄下來(lái)，仔細(xì)查，把所有東西一點(diǎn)一點(diǎn)搞清楚，這樣花了一個(gè)多學(xué)期的時(shí)間之后，就開始真正能理解生物學(xué)家說(shuō)的話，可以開始去做這方面的研究。另一方面，國(guó)內(nèi)很多課程設(shè)置有專業(yè)限制，不同專業(yè)間的壁壘還是很大的。在生物系和計(jì)算機(jī)系這兩個(gè)學(xué)科的要求差別非常大，這時(shí)候需要設(shè)計(jì)真正的交叉學(xué)科的課程體系，科大在這方面做過(guò)一些努力，比如溫泉老師教物理系學(xué)生計(jì)算神經(jīng)科學(xué)的課，深圳在建的中科院深圳理工大學(xué)也希望建立AI+腦科學(xué)的智能交叉學(xué)科專業(yè)方向，建成培養(yǎng)交叉學(xué)科頂尖人才的機(jī)制。我想后面會(huì)慢慢好的，大家在北大、清華、浙大，在這方面都有很重的責(zé)任。

山世光：我今天早上還在看心理所要設(shè)計(jì)本科專業(yè)，課程體系里我看到人工智能的課他們有一門，我就在想這個(gè)人工智能的課誰(shuí)來(lái)講、講什么，對(duì)他們來(lái)講前面沒(méi)有計(jì)算機(jī)變成課，上來(lái)就有人工智能，給心理所的人講，確實(shí)課程體系建設(shè)方面有有非常多的地方需要努力。

唐華錦：浙大這邊新招的人工智能專業(yè)本科生專業(yè)設(shè)置了AI+腦科學(xué)的交叉課程，在推動(dòng)培養(yǎng)新一代的AI+腦科學(xué)方面的交叉人才上已經(jīng)在布局，相信清華、北大也有類似課程的設(shè)計(jì)。

胡曉林：我個(gè)人認(rèn)為在畢老師你們那兒開人工智能課，前面沒(méi)有編程基礎(chǔ)，上來(lái)就講人工智能很難的。我覺(jué)得反過(guò)來(lái)，如果在信息科學(xué)這樣的院系開設(shè)腦科學(xué)相對(duì)來(lái)講應(yīng)該是比較容易的，因?yàn)榫臀疫@點(diǎn)不成功的經(jīng)驗(yàn)來(lái)講，學(xué)神經(jīng)科學(xué)可能不需要特別系統(tǒng)的、像數(shù)學(xué)、編程那樣要經(jīng)過(guò)好幾年的培養(yǎng)。浙大這樣的做法可能是比較好一點(diǎn)。在我的課題組，我是鼓勵(lì)同學(xué)們做一些腦科學(xué)的事兒，但是目前為止不是特別成功?，F(xiàn)在計(jì)算機(jī)信息學(xué)科的學(xué)生更加關(guān)注的還是AI，偏純AI，技術(shù)本身。這是另一個(gè)方面的困難。

山世光：也不容易，我本人也學(xué)了好幾年，現(xiàn)在剛剛能做到腦科學(xué)、神經(jīng)科學(xué)說(shuō)的詞匯我基本能理解，但是更深刻的思考也做不到，感覺(jué)也不是那么容易。

胡曉林：要真正有興趣，真的覺(jué)得這個(gè)東西不解決，AI這個(gè)領(lǐng)域可能也沒(méi)有特別大的發(fā)展。

山世光：還是要投入雙倍的時(shí)間和精力。

現(xiàn)場(chǎng)問(wèn)答環(huán)節(jié)

第七、 大腦如何完成學(xué)習(xí)-記憶融合的?能不能稍微展開講一下。

唐華錦：因?yàn)闀r(shí)間關(guān)系我簡(jiǎn)單陳述一下。這涉及到我們對(duì)記憶的理解問(wèn)題，首先記憶通過(guò)神經(jīng)元的群組編碼實(shí)現(xiàn)，比如對(duì)某個(gè)概念，必須有一組神經(jīng)元對(duì)這個(gè)概念進(jìn)行表述，這組神經(jīng)元就要通過(guò)學(xué)習(xí)對(duì)這個(gè)概念進(jìn)行響應(yīng)，比如通過(guò)快速學(xué)習(xí)，這個(gè)神經(jīng)元群組之間要加強(qiáng)它們之間的連接。把這個(gè)概念和另一個(gè)概念之間，如果它們之間存在聯(lián)想關(guān)系，不同的神經(jīng)元群組間要形成一個(gè)新連接，這個(gè)連接要把不同概念聯(lián)系起來(lái)。群組內(nèi)的神經(jīng)元連接以及群組間的神經(jīng)元連接都要通過(guò)學(xué)習(xí)方式實(shí)現(xiàn)。要么通過(guò)無(wú)監(jiān)督STDP學(xué)習(xí)規(guī)則，或者通過(guò)有監(jiān)督的學(xué)習(xí)規(guī)則來(lái)實(shí)現(xiàn)學(xué)習(xí)和記憶的融合。

第八、剛才提到多模態(tài)融合很感興趣，能不能介紹一下人腦是如何進(jìn)行多模態(tài)融合的?

吳思：多模態(tài)信息整合是我們大腦的一個(gè)基本功能。人為什么有五官?實(shí)際上它們是我們從不同的物理、化學(xué)和聲音等信號(hào)來(lái)感知這個(gè)外界世界，這些信號(hào)需要在大腦里有效地融合起來(lái)。從數(shù)學(xué)角度說(shuō)，多模態(tài)信息整合的最好算法是貝葉斯推理。有意思的是，行為上已經(jīng)證明大腦能做數(shù)學(xué)上優(yōu)化的貝葉斯多模態(tài)信息整合，在神經(jīng)數(shù)據(jù)上猴子實(shí)驗(yàn)也證明，在計(jì)算模型上也得到了驗(yàn)證。我們最近做一個(gè)模型工作來(lái)解釋其機(jī)理。基本的思想是各腦區(qū)有分工，分別負(fù)責(zé)處理視覺(jué)信號(hào)、聽覺(jué)信號(hào)等，但同時(shí)這些腦區(qū)之間又有連接，這些連接編碼不同信號(hào)之間關(guān)聯(lián)的先見(jiàn)知識(shí)。這樣多個(gè)腦區(qū)間通過(guò)信息交流，最終以并行分布的方式實(shí)現(xiàn)了優(yōu)化的多模態(tài)信息整合。

第九、突觸可塑性可以看成一種局部?jī)?yōu)化規(guī)則，大腦是如何進(jìn)行全局學(xué)習(xí)和調(diào)控的?

畢國(guó)強(qiáng)：這是一個(gè)很好的問(wèn)題，我剛才提到一點(diǎn)，我們研究學(xué)習(xí)或者可塑性，一方面是看突觸本身發(fā)生的變化，另一方面我們希望，實(shí)際上還沒(méi)有真正做到，就是在全局尺度上或者環(huán)路尺度上看這些可塑性是怎樣發(fā)生變化的。這也分多個(gè)層次，一是在全局上面，哪些突觸可以發(fā)生可塑性變化，這需要突觸前后神經(jīng)元的活動(dòng)，任何一個(gè)需要學(xué)習(xí)的內(nèi)容在整個(gè)網(wǎng)絡(luò)里面以不同的神經(jīng)元活動(dòng)表達(dá)出來(lái)的時(shí)候，就會(huì)有相應(yīng)的突觸發(fā)生變化。

另一方面，全局尺度上還有神經(jīng)調(diào)質(zhì)的作用，比如說(shuō)情緒或者是獎(jiǎng)勵(lì)的信號(hào)，受到獎(jiǎng)勵(lì)的時(shí)候大腦里多巴胺系統(tǒng)會(huì)對(duì)整個(gè)網(wǎng)絡(luò)有一個(gè)全面的調(diào)控。但調(diào)控具體影響還有待深入研究，但是一般來(lái)說(shuō)它可能讓在這段時(shí)間受到影響的突觸的可塑性變化更容易。這樣就在全局尺度上可以把很多突觸的變化協(xié)調(diào)起來(lái)。

第十、信息專業(yè)的學(xué)生如果希望自己入門腦科學(xué)相關(guān)內(nèi)容，應(yīng)該從哪里入手?

吳思：最好能進(jìn)到一個(gè)課題組，多聽報(bào)告，參與做具體的課題，這樣才更有效。如果光看書，剛開始堅(jiān)持一個(gè)月還可以，你能堅(jiān)持一年嗎?而且你學(xué)的東西得不到應(yīng)用，你可能很沮喪，你可能就放棄了。所以找一個(gè)合作課題是最佳的。

山世光：我一直在建議未來(lái)論壇青創(chuàng)聯(lián)盟我們搞一個(gè)獎(jiǎng)學(xué)金，能夠鼓勵(lì)一些信息科學(xué)或者腦科學(xué)的人互相進(jìn)入對(duì)方，然后給他們提供支持，當(dāng)然這也很難。

畢國(guó)強(qiáng)：這是非常好的辦法。我原來(lái)在的匹茲堡大學(xué)和CMU有一個(gè)聯(lián)合的CNBC Program，就是試圖把實(shí)驗(yàn)神經(jīng)生物學(xué)和計(jì)算神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室都聯(lián)合到一起，學(xué)生拿到CNBC的獎(jiǎng)學(xué)金，如果他屬于計(jì)算實(shí)驗(yàn)室的他需要到一個(gè)生物實(shí)驗(yàn)室去做一個(gè)學(xué)期或者更長(zhǎng)時(shí)間，反過(guò)來(lái)也是一樣。當(dāng)然對(duì)每個(gè)人，我還是要強(qiáng)調(diào)每個(gè)人的效果不同，最終還是要看個(gè)人的堅(jiān)持，你有多強(qiáng)烈的興趣和你想花多大的力氣。

剛才我提到花雙倍的力氣，很多人就有雙倍的力氣，這些人可能就適合做這件事情。

山世光：而且雙倍的力氣可能只是在開始。

唐華錦：確實(shí)建議很好，要放在一個(gè)具體團(tuán)隊(duì)或者項(xiàng)目里去做，一個(gè)是提升你的成就感，也不會(huì)學(xué)了一年之后感到很沮喪。中科院這一點(diǎn)做的很好，你們的“腦中心”甚至強(qiáng)制要求人工智能和神經(jīng)科學(xué)蹲點(diǎn)。還有浙大，“雙腦”中心也是強(qiáng)調(diào)人工智能和神經(jīng)科學(xué)在一塊兒在一個(gè)團(tuán)隊(duì)，至少你要找兩個(gè)這樣的導(dǎo)師，然后去做這方面的工作，效果會(huì)很好。

吳思：計(jì)算神經(jīng)科學(xué)的教材，網(wǎng)上有“cosya”(音)課程很好。我看觀眾提問(wèn)中已經(jīng)提到這一點(diǎn)。

山世光：從點(diǎn)到線再到面，不能上來(lái)就到面。

第十一、腦科學(xué)領(lǐng)域?qū)ΤＷR(shí)的研究，有哪些資料可以推薦?

唐華錦：回答是肯定的，一定是存在誤差反傳，比如說(shuō)肯定有全局信號(hào)、獎(jiǎng)勵(lì)信號(hào)，只是反傳方式不一樣，傳統(tǒng)人工智能的反傳是基于梯度下降，但是在神經(jīng)科學(xué)里很難實(shí)現(xiàn)，因?yàn)橐髮?duì)稱的傳播，我覺(jué)得是具體實(shí)驗(yàn)方式的不同，但是一定是存在的。如果對(duì)這個(gè)問(wèn)題感興趣可以看最近一篇論文“Backpropagation and the brain”(Nature Reviews Neuroscience，2020)。

山世光：今天非常高興，我們?nèi)谎葜v嘉賓和三位討論嘉賓給我們呈上了一盤豐盛的科學(xué)盛筵，今天的活動(dòng)到此結(jié)束，我們AI+科學(xué)的系列專題，下一期AI+科學(xué)計(jì)算將在5月10日舉行，歡迎大家關(guān)注，再次感謝各位嘉賓的分享，感謝大家。我們下次再見(jiàn)!