Ang Protonic Resistors ng MIT ay Pinapagana ang Malalim na Pag-aaral na Pumailanglang, Sa Analog

Ang isang pangkat ng mga mananaliksik sa Massachusetts Institute of Technology (MIT) ay nagtatrabaho sa isang bagong disenyo ng resistor ng hardware para sa susunod na panahon ng electronics scaling – lalo na sa mga gawain sa pagproseso ng AI tulad ng machine learning at mga neural network.

Ngunit sa kung ano ang tila isang throwback (kung ang isang throwback sa hinaharap ay maaaring umiral), ang kanilang trabaho ay nakatutok sa isang disenyo na mas analog kaysa digital sa kalikasan. Ipasok ang protonic programmable resistors – na binuo upang mapabilis ang mga network ng AI sa pamamagitan ng paggaya sa sarili nating mga neuron (at ang kanilang mga interconnecting synapses) habang pinapabilis ang kanilang operasyon nang isang milyong beses — at iyon ang aktwal na figure, hindi lamang hyperbole.

Ginagawa ang lahat ng ito habang binabawasan ang pagkonsumo ng enerhiya sa isang bahagi ng kung ano ang kinakailangan ng mga disenyong nakabatay sa transistor na kasalukuyang ginagamit para sa mga workload sa machine-learning, gaya ng Wafer Scale Engine 2 ng Cerebras’s’ record-breaking.

Bagama’t ang aming mga synapses at neuron ay lubhang kahanga-hanga mula sa isang computational na pananaw, ang mga ito ay nililimitahan ng kanilang “wetware” na medium: tubig.

Bagama’t sapat na ang pagpapadaloy ng kuryente ng tubig para gumana ang ating mga utak, gumagana ang mga de-koryenteng signal na ito sa pamamagitan ng mahihinang potensyal: mga signal na humigit-kumulang 100 millivolts na dumadami sa mga millisecond, sa pamamagitan ng mga puno ng magkakaugnay na neuron (ang mga synapses ay tumutugma sa mga junction kung saan nakikipag-usap ang mga neuron sa pamamagitan ng mga electrical signal). Ang isang isyu ay ang likidong tubig ay nabubulok sa mga boltahe na 1.23 V – higit pa o mas mababa sa parehong operating boltahe na ginagamit ng kasalukuyang pinakamahusay na mga CPU. Kaya’t may kahirapan sa simpleng “pag-repurposing” ng mga biological na disenyo para sa pag-compute.

“Ang gumaganang mekanismo ng aparato ay electrochemical insertion ng pinakamaliit na ion, ang proton, sa isang insulating oxide upang baguhin ang electronic conductivity nito. Dahil nagtatrabaho kami sa napakanipis na mga device, maaari naming pabilisin ang paggalaw ng ion na ito sa pamamagitan ng paggamit ng malakas na electric field, at itulak ang mga ionic device na ito sa nanosecond operation regime,” paliwanag ng senior author na si Bilge Yildiz, ang Breene M. Kerr Professor sa the mga departamento ng Nuclear Science at Engineering at Materials Science at Engineering.

Ang isa pang isyu ay ang mga biological neuron ay hindi binuo sa parehong sukat tulad ng mga modernong transistor. Mas malaki ang mga ito – mula sa 4 microns (.004 mm) hanggang 100 microns (.1 mm) ang diameter. Kapag ang pinakabagong available na mga GPU ay nagdadala na ng mga transistor sa hanay na 6 nm (na may nanometer na 1,000 beses na mas maliit kaysa sa isang micron), halos maiisip mo ang pagkakaiba sa sukat, at kung gaano karami sa mga artipisyal na neuron na ito ang maaari mong kasya sa parehong espasyo .

Nakatuon ang pananaliksik sa paglikha ng mga solid-state na resistor na, gaya ng ipinahihiwatig ng pangalan, ay lumilikha ng pagtutol sa pagdaan ng kuryente. Lalo na, nilalabanan nila ang iniutos na paggalaw ng mga electron (negatively-charged particles). Kung ang paggamit ng materyal na lumalaban sa paggalaw ng koryente (at sa gayon ay dapat na makabuo ng init) ay mukhang kontra-intuitive, mabuti, ito ay. Ngunit mayroong dalawang natatanging pakinabang sa analog deep-learning kumpara sa digital counterpart nito.

Una, sa mga resistor ng programming, kasama mo ang kinakailangang data para sa pagsasanay sa mga resistor mismo. Kapag na-program mo ang kanilang resistensya (sa kasong ito, sa pamamagitan ng pagtaas o pagbabawas ng bilang ng mga proton sa ilang partikular na bahagi ng chip), nagdaragdag ka ng mga halaga sa ilang partikular na istruktura ng chip. Nangangahulugan ito na ang impormasyon ay naroroon na sa mga analog chip: Hindi na kailangang magdala ng higit pa nito papasok at palabas patungo sa mga external memory bank, na kung ano mismo ang nangyayari sa karamihan sa mga kasalukuyang disenyo ng chip (at RAM o VRAM). Ang lahat ng ito ay nakakatipid ng latency at enerhiya.

Pangalawa, ang mga analog processor ng MIT ay naka-architect sa isang matrix (tandaan ang mga Tensor core ng Nvidia?). Nangangahulugan ito na mas katulad sila ng iyong mga GPU kaysa sa iyong mga CPU, dahil nagsasagawa sila ng mga operasyon nang magkatulad. Ang lahat ng pagkalkula ay nangyayari nang sabay-sabay.

Ang disenyo ng protonic resistor ng MIT ay gumagana sa temperatura ng silid, na mas madaling makuha kaysa sa 38.5 ºC hanggang 40 ºC ng ating utak. Gayunpaman, pinapayagan din nito ang modulasyon ng boltahe, isang kinakailangang tampok sa anumang modernong chip, na nagpapahintulot sa boltahe ng input na tumaas o bumaba ayon sa mga kinakailangan ng workload – na may mga kahihinatnan sa pagkonsumo ng kuryente at output ng temperatura.

Ayon sa mga mananaliksik, ang kanilang mga resistors ay isang milyong beses na mas mabilis (muli, isang aktwal na pigura) kaysa sa mga naunang henerasyong disenyo, dahil sa mga ito ay itinayo gamit ang phosphosilicate glass (PSG), isang inorganic na materyal na (nagulat) na katugma sa mga diskarte sa paggawa ng silikon. , dahil pangunahin itong silicon dioxide.

Nakita mo na ito mismo: Ang PSG ay ang powdery desiccant na materyal na matatagpuan sa maliliit na bag na iyon na kasama sa kahon na may mga bagong piraso ng hardware upang alisin ang kahalumigmigan.

“Gamit ang pangunahing insight na iyon, at ang napakalakas na nanofabrication technique na mayroon kami sa MIT.nano, napagsama-sama namin ang mga pirasong ito at naipakita na ang mga device na ito ay talagang napakabilis at gumagana sa mga makatwirang boltahe,” sabi ng senior author na si Jesús A. del Alamo, ang Donner Professor sa MIT’s Department of Electrical Engineering and Computer Science (EECS). “Ang gawaing ito ay talagang naglagay ng mga device na ito sa isang punto kung saan sila ngayon ay mukhang talagang nangangako para sa mga aplikasyon sa hinaharap.”

Tulad ng sa mga transistors, mas maraming resistors sa isang mas maliit na lugar, mas mataas ang compute density. Kapag naabot mo ang isang tiyak na punto, ang network na ito ay maaaring sanayin upang makamit ang mga kumplikadong gawain ng AI tulad ng pagkilala sa imahe at natural na pagproseso ng wika. At ang lahat ng ito ay ginagawa sa pinababang mga kinakailangan sa kuryente at labis na pagtaas ng pagganap.

Marahil ang pagsasaliksik ng mga materyales ay magliligtas sa Batas ni Moore mula sa maagang pagkamatay nito.