可編程電阻器是模擬深度學習的關鍵構件，就像晶體管是構建數(shù)字處理器的核心元素一樣。通過在復雜的層中重復排列可編程電阻器，科學家可以創(chuàng)建一個模擬人造 “神經(jīng)元”和 “突觸 ”網(wǎng)絡，就像數(shù)字神經(jīng)網(wǎng)絡一樣執(zhí)行計算。然后這個網(wǎng)絡可以被訓練來實現(xiàn)復雜的人工智能任務，如自然語言處理和圖像識別。

來自麻省理工學院的一個多學科研究小組著手挑戰(zhàn)他們之前開發(fā)的一種人類制造的模擬突觸的速度極限。他們在制造過程中采用了一種實用的無機材料，使他們的設備運行速度比以前的版本快100萬倍，這也比人腦中的突觸快約100萬倍。

此外，這種無機材料還使電阻的能效高得驚人。與他們早期版本的設備中使用的材料不同，新材料與硅制造技術兼容。這一變化使得在納米尺度上制造器件成為可能，并可能為整合到深度學習應用的商業(yè)計算硬件中鋪平道路。

(資料圖片僅供參考)

高級作者、麻省理工學院電氣工程和計算機科學系（EECS）的唐納教授Jesús A. del Alamo說：“憑借這一關鍵見解，以及我們在MIT.nano擁有的非常強大的納米制造技術，我們已經(jīng)能夠把這些碎片放在一起，并證明這些設備本質(zhì)上是非?？斓?，并在合理的電壓下運行。這項工作確實把這些設備放在了一個點上，它們現(xiàn)在看起來真的很有希望在未來應用。”

“該設備的工作機制是將最小的離子，即質(zhì)子，電化學地插入到絕緣氧化物中，以調(diào)節(jié)其電子傳導性。因為我們正在使用非常薄的設備，所以我們可以通過使用強電場來加速這個離子的運動，并將這些離子設備推向納秒級的操作制度，”資深作者、核科學與工程系和材料科學與工程系的Breene M. Kerr教授Bilge Yildiz解釋說。

高級作者、巴特爾能源聯(lián)盟核科學與工程系教授和材料科學與工程系教授Ju Li說：“生物細胞中的動作電位以毫秒的時間尺度上升和下降，因為大約0.1伏的電壓差受制于水的穩(wěn)定性。在這里，我們在一個特殊的納米級厚度的固體玻璃薄膜上施加高達10伏的電壓，該薄膜可以傳導質(zhì)子，而不會永久損壞它。而電場越強，離子設備就越快?！?/p>

這些可編程的電阻器極大地提高了神經(jīng)網(wǎng)絡的訓練速度，同時極大地降低了進行這種訓練的成本和能量。這可以幫助研究人員更快地開發(fā)深度學習模型，然后將其應用于自動駕駛汽車、欺詐檢測或醫(yī)學圖像分析等用途。

“一旦你擁有一個模擬處理器，你將不再是在訓練其他人正在研究的網(wǎng)絡。你將訓練具有前所未有的復雜度的網(wǎng)絡，而這些網(wǎng)絡是其他人無法承擔的，因此大大超過了他們所有人。換句話說，這不是一輛更快的汽車，而是一艘航天器。”主要作者、麻省理工學院博士后Murat Onen 補充說。

共同作者包括材料科學與工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。這項研究于7月28日發(fā)表在《科學》雜志上。

模擬深度學習比其數(shù)字同行更快、更節(jié)能，主要有兩個原因?！笆紫?，計算是在內(nèi)存中進行的，所以巨大的數(shù)據(jù)負載不會從內(nèi)存中來回傳輸?shù)教幚砥髦小?quot;模擬處理器還可以并行地進行操作。如果矩陣大小擴大，模擬處理器不需要更多時間來完成新的操作，因為所有的計算都是同時進行的?！?/p>

麻省理工學院新的模擬處理器技術的關鍵元素被稱為質(zhì)子可編程電阻。這些電阻器以納米為單位，排列成一個陣列，就像一個棋盤。

在人腦中，學習的發(fā)生是由于神經(jīng)元之間連接的加強和減弱，稱為突觸。深度神經(jīng)網(wǎng)絡長期以來一直采用這種策略，即通過訓練算法對網(wǎng)絡權重進行編程。在這個新的處理器的情況下，增加和減少質(zhì)子電阻的電導率可以實現(xiàn)模擬機器學習。

電導是由質(zhì)子的運動控制的。為了增加電導率，更多的質(zhì)子被推入電阻的一個通道，而為了減少電導率，質(zhì)子被取出來。這是用一種電解質(zhì)（類似于電池）來完成的，它可以傳導質(zhì)子，但阻止電子。

為了開發(fā)一種超快速和高能效的可編程質(zhì)子電阻，科學家們尋找了不同的電解質(zhì)材料。當其他設備使用有機化合物時，Onen專注于無機的磷硅酸鹽玻璃（PSG）。

PSG基本上是二氧化硅，它是一種粉狀的干燥劑材料，在新家具包裝盒中的小袋子中發(fā)現(xiàn)，用于去除水分。它被研究為燃料電池在濕潤條件下的質(zhì)子導體。它也是用于硅加工的最著名的氧化物。為了制造PSG，在硅中加入極少量的磷，使其具有質(zhì)子傳導的特殊特性。

Onen假設，經(jīng)過優(yōu)化的PSG可以在室溫下具有很高的質(zhì)子傳導性，而不需要水，這將使它成為這種應用的理想固體電解質(zhì)。他是對的。

PSG能夠?qū)崿F(xiàn)超快的質(zhì)子運動，因為它含有大量的納米級孔隙，其表面為質(zhì)子擴散提供了路徑。它還可以承受非常強大的脈沖電場。Onen解釋說，這一點很關鍵，因為向該設備施加更多的電壓能使質(zhì)子以驚人的速度移動。

“這個速度當然令人驚訝。通常情況下，我們不會在設備上施加如此極端的電場，以避免將它們變成灰燼。但相反，質(zhì)子最終以巨大的速度在設備堆棧中穿梭，特別是與我們之前的速度相比，快了一百萬倍。由于質(zhì)子的體積小、質(zhì)量低，這種運動不會損害任何東西?！彼f：“這幾乎就像遠距離傳輸?！?/p>

Li補充說：“納秒級的時間尺度意味著我們在如此極端的場下，接近質(zhì)子的彈道甚至量子隧道系統(tǒng)?！?/p>

由于質(zhì)子不會損壞材料，該電阻可以運行數(shù)百萬次而不發(fā)生故障。這種新的電解質(zhì)實現(xiàn)了可編程質(zhì)子電阻，比他們以前的設備快一百萬倍，并能在室溫下有效運行，這對于將其納入計算硬件非常重要。

由于PSG的絕緣性能，當質(zhì)子移動時幾乎沒有電流通過該材料。Onen補充說，這使得該設備非常節(jié)能。del Alamo說，既然他們已經(jīng)證明了這些可編程電阻器的有效性，科學家們計劃重新設計它們以進行大批量的生產(chǎn)。然后，他們可以研究電阻器陣列的特性，并擴大其規(guī)模，以便將其嵌入系統(tǒng)中。

同時，他們計劃研究這些材料，以消除限制有效地將質(zhì)子轉(zhuǎn)移到電解質(zhì)、通過電解質(zhì)和從電解質(zhì)中轉(zhuǎn)移出來所需電壓的瓶頸。

“這些離子設備可以實現(xiàn)的另一個令人興奮的方向是高能效的硬件，以模擬神經(jīng)科學中推導出的神經(jīng)回路和突觸可塑性規(guī)則，超越模擬深度神經(jīng)網(wǎng)絡?！盰ildiz補充說：“我們已經(jīng)開始了與神經(jīng)科學的這種合作，得到了麻省理工學院探索智能的支持?！?/p>

“我們的合作對于未來的創(chuàng)新將是至關重要的。前進的道路仍將是非常具有挑戰(zhàn)性的，但同時也是非常令人興奮的，” del Alamo說。

“嵌入反應，如在鋰離子電池中發(fā)現(xiàn)的那些反應，已經(jīng)被廣泛地探索用于存儲設備?！彼固垢４髮W材料科學與工程系副教授William Chueh說：“這項工作表明，基于質(zhì)子的存儲器件提供了令人印象深刻和令人驚訝的開關速度和持久性。它為一類新的存儲器件奠定了基礎，為深度學習算法提供動力?！彼麤]有參與這項研究?！?/p>

“這項工作表明，在生物啟發(fā)的電阻記憶裝置方面取得了重大突破。這些全固態(tài)質(zhì)子設備基于質(zhì)子的精致原子級控制，類似于生物突觸，但速率快了幾個數(shù)量級，”沒有參與這項工作的卡內(nèi)基梅隆大學泰迪和威爾頓-霍金斯特聘教授兼材料科學和工程系主任Elizabeth Dickey說?！拔屹潛P麻省理工學院的跨學科團隊的這一令人興奮的發(fā)展，它將使未來一代的計算設備成為可能?！?/p>