О своих нейроморфных амбициях заявляет и другой крупнейший производитель интегральных микросхем — корейская компания Samsung[1695]. В августе 2023 г. исследователи из компании IBM на страницах журнала Nature рассказали о новом нейроморфном процессоре, предназначенном для задач распознавания речи[1696]. В основе устройства: 35 млн PCM-элементов, объединённых в 34 ячейки, система массово-параллельного обмена данными между ячейками и аналоговая периферийная схема с низким энергопотреблением, которая позволяет достичь производительности 12,4 трлн синаптических операций в секунду на ватт потребляемой мощности. В своих тестах разработчики смогли успешно запустить на пяти таких процессорах нейросеть MLPerf8 с 45 млн параметров, основанную на архитектуре RNNT (Recurrent neural-network transducer, Рекуррентный нейросетевой трансдьюсер).
Практически одновременно другая группа исследователей из IBM опубликовала в Nature Electronics статью[1697] про гибридный процессор, предназначенный для инференса (исполнения) нейросетевых моделей. Этот процессор сочетает цифровые вычисления, выполняемые схемой, основанной на 14-нм комплементарной технологии металл — оксид — полупроводник, с аналоговыми вычислениями во встроенной PCM-памяти (Analogue in-memory computing, AIMC). Устройство состоит из 64 ядер, соединённых в единую сеть. В зависимости от выбранной степени точности процессор позволяет достичь производительности от 2,48 до 9,76 трлн операций в секунду на ватт. Исследователи успешно запустили на нём нейросети с архитектурами ResNet и LSTM, получив точность, практически не уступающую точности тензорных процессоров. Сегодня число проектов нейроморфных чипов, находящихся на разной степени готовности, перевалило за десяток. Это и DYNAP (Dynamic Neuromorphic Asynchronous Processor, Динамический нейроморфный асинхронный процессор) от компании aiCTX (AI Cortex)[1698], и Dynamic Vision Sensor (Динамический зрительный сенсор) от iniVation[1699] (обе компании связаны с ETH-Zürich), и нейроморфный процессор Akida от компании BrainChip, и RAMP (Reconfigurable Analog Modular Processor, Реконфигурируемый аналоговый модульный процессор) от Aspinity[1700], и совместный китайско-сингапурский Tianjic[1701], и Eyeriss от MIT[1702], и EIE (Efficient Inference Engine, Эффективный движок для выполнения [нейросетевых моделей]) из Стэнфорда[1703], и российский «Алтай» от новосибирской компании «Мотив»[1704] и так далее. Подробный обзор[1705] существующих нейроморфных систем был опубликован в конце июля 2020 г. в журнале Nature, однако новые устройства подобного рода появляются едва ли не ежемесячно — сегодня это весьма горячее направление развития технологий. Развитие специализированного оборудования для задач машинного обучения — мощный двигатель прогресса в области ИИ. И хотя новая коннекционистская весна опиралась по большей части на тензорные процессоры — главную сегодня «рабочую лошадку» индустрии глубокого обучения, — ситуация может измениться в любой момент, поскольку в наши дни множество усилий учёных и инженеров направлено на изучение существующих альтернатив, в первую очередь всевозможных нейроморфных архитектур. Исследователи из Национального института стандартов и технологий США разработали искусственные синапсы на базе нанотекстурированных магнитных джозефсоновских контактов[1706], китайские учёные предлагают искусственные синапсы на базе графеновых ферроэлектрических транзисторов[1707], в Южной Калифорнии разработаны синаптические транзисторы на базе выровненных углеродных нанотрубок[1708], разрабатываются различные типы оперативной памяти с интегрированными вычисляющими элементами (Computational RAM). В начале 2022 г. в журнале Science была опубликована работа[1709] группы американских учёных, которым удалось создать полностью реконфигурируемую нейроморфную структуру на базе никелата перовскита — по сути, речь идёт об устройстве, реализующем нейронную сеть, архитектура которой может изменяться под воздействием электрических импульсов. Всего через полторы недели после этой работы, уже в Nature Communications, увидела свет статья[1710] шведских учёных, посвящённая исследованию другого потенциального физического субстрата для нейроморфных вычислений — электромеханически переключаемых углеводородов на основе [8]аннуленов. Чаще всего экспериментальные мемристоры создаются на базе тех же технологий, что и различные массивы памяти, однако в 2022 г. в журнале Science вышла новая любопытная статья. В ней исследователи Массачусетского технологического института утверждают, что компоненты, оптимизированные для долговременного хранения информации, плохо подходят для осуществления регулярных переходов между состояниями, необходимых для постоянно подстраиваемых синаптических связей искусственной нейронной сети. Дело в том, что физические свойства, обеспечивающие долговременную стабильность, обычно плохо сочетаются со свойствами, обеспечивающими быстрое переключение. Для решения проблемы скорости исследователи разработали программируемые резисторы, проводимость которых регулируется введением или удалением протонов в канал, состоящий из фосфоросиликатного стекла (ФСС). Этот механизм отдалённо напоминает принцип работы биологических нейронов, в которых ионы переносят сигналы через синаптические щели. Разработанное устройство имеет три вывода, два из которых являются по существу входом и выходом синапса, а третий используется для применения электрического поля, которое в зависимости от направления стимулирует движение протонов из резервуара в канал из ФСС или обратно (чем больше протонов в канале, тем выше его сопротивление). Эту схему работы устройства исследователи придумали ещё в 2020 г., однако они не сразу догадались использовать ФСС. Именно такое решение позволило резко увеличить скорость переключения устройства: наноразмерные поры в структуре ФСС позволяют протонам очень быстро перемещаться через него, и ещё ФСС способно выдерживать очень сильные импульсы электрического поля, а более мощные электрические поля позволяют протонам перемещаться гораздо быстрее. Поскольку напряжение выше 1,23 вольта заставляет воду, составляющую основную часть клеток, расщепляться на водород и кислород, то электрические поля в мозге должны быть относительно слабыми. Во многом поэтому длительность неврологических процессов обычно составляет миллисекунды. В отличие от биологических синапсов вышеописанное устройство способно работать при напряжении до 10 вольт и с импульсами длительностью до 5 нс. Вдобавок размеры таких устройств измеряются всего лишь нанометрами, что делает их в 1000 раз меньше биологических синапсов[1711], [1712].
Создание систем такого рода открывает перед нейроморфной инженерией новые удивительные перспективы. 5.3.11 Перспективные вычислительные технологии В эпоху повсеместного торжества микроэлектроники учёные продолжают поиск альтернативных технологий, способных в будущем стать базой вычислительных машин. В качестве одной из возможных замен «классических» устройств рассматриваются машины, в основу которых будут положены эффекты квантовой физики, — так называемые квантовые компьютеры. По мнению учёных, они смогут решать многие вычислительные задачи намного быстрее, чем современные ЭВМ[1713]. вернуться Ham D., Park H., Hwang S., Kim K. (2021). Neuromorphic electronics based on copying and pasting the brain / Nature Electronics, Vol. 4, pp. 635—644 // https://doi.org/10.1038/s41928-021-00646-1 вернуться Ambrogio S., Narayanan P., Okazaki A., Fasoli A., Mackin C., Hosokawa K., Nomura A., Yasuda T., Chen A., Friz A., Ishii M., Luquin J., Kohda Y., Saulnier N., Brew K., Choi S., Ok I., Philip T., Chan V., Silvestre C., Ahsan I., Narayanan V., Tsai H., Burr G. W. (2023). An analog-AI chip for energy-efficient speech recognition and transcription / Nature, Vol. 620, pp. 768–775 // https://doi.org/10.1038/s41586-023-06337-5 вернуться Le Gallo M., Khaddam-Aljameh R., Stanisavljevic M., Vasilopoulos A., Kersting B., Dazzi M., Karunaratne G., Brändli M., Singh A., Müller S. M., Büchel J., Timoneda X., Joshi V., Rasch M. J., Egger U., Garofalo A., Petropoulos A., Antonakopoulos T., Brew K., Choi S., Ok I., Philip T., Chan V., Silvestre C., Ahsan I., Saulnier N., Narayanan V., Francese P. A., Eleftheriou E., Sebastian A. (2023). A 64-core mixed-signal in-memory compute chip based on phase-change memory for deep neural network inference / Nature Electronics, 10 August 2023 // https://doi.org/10.1038/s41928-023-01010-1 вернуться Moradi S., Qiao N., Stefanini F., Indiveri G. (2017). A Scalable Multicore Architecture With Heterogeneous Memory Structures for Dynamic Neuromorphic Asynchronous Processors (DYNAPs) / IEEE Transactions on Biomedical Circuits and Systems, Vol. 12, Iss. 1 // https://doi.org/10.1109/TBCAS.2017.2759700 вернуться Delbruck T. (2017). The development of the DVS and DAVIS sensors / ICRA 2017 workshop on Event-Based Vision, Singapore, June 2, 2017 // http://rpg.ifi.uzh.ch/docs/ICRA17workshop/Delbruck.pdf вернуться RAMP Technology: Stop wasting battery power on the digitization of irrelevant data / Aspinity // https://www.aspinity.com/Technology вернуться Pei J., Deng L., Song S., Zhao M., Zhang Y., Wu S., Wang G., Zou Z., Wu Z., He W., Chen F., Deng N., Wu S., Wang Y., Wu Y., Yang Z., Ma C., Li G., Han W., Li H., Wu H., Zhao R., Xie Y., Shi L. (2019). Towards artificial general intelligence with hybrid Tianjic chip architecture / Nature, Vol. 572, pp. 106—111 // https://doi.org/10.1038/s41586-019-1424-8 вернуться Chen Y., Krishna T., Emer J., Sze V. (2016). Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks / IEEE ISSCC 2016 // http://eyeriss.mit.edu/ вернуться Han S., Liu X., Mao H., Pu J., Pedram A., Horowitz M. A., Dally W. J. (2016). EIE: Efficient Inference Engine on Compressed Deep Neural Network / 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture // https://www.cs.virginia.edu/~smk9u/CS6501F16/p243-han.pdf вернуться Нейроморфный процессор «Алтай» (2019) / Мотив: Нейроморфные технологии // https://motivnt.ru/neurochip-altai/ вернуться Zhang W., Gao B., Tang J., Yao P., Yu S., Chang M.-F., Yoo H.-J., Qian H., Wu H. (2020). Neuro-inspired computing chips / Nature Electronics, Vol. 3, pp. 371—382 // https://doi.org/10.1038/s41928-020-0435-7 вернуться Schneider M. L., Donnelly C. A., Russek S. E., Baek B., Pufall M. R., Hopkins P. F., Dresselhaus P. D., Benz S. P., Rippard W. H. (2018). Ultralow power artificial synapses using nanotextured magnetic Josephson junctions / Science Advances, Vol. 4, no. 1 // https://doi.org/10.1126/sciadv.1701329 вернуться Chen Y., Zhou Y., Zhuge F., Tian B., Yan M., Li Y., He Y., Shui Miao X. (2019). Graphene–ferroelectric transistors as complementary synapses for supervised learning in spiking neural network / npj 2D Materials and Applications, 3, 31 // https://doi.org/10.1038/s41699-019-0114-6 вернуться Sanchez Esqueda I., Yan X., Rutherglen C., Kane A., Cain T., Marsh P., Liu Q., Galatsis K., Wang H., Zhou C. (2018). Aligned Carbon Nanotube Synaptic Transistors for Large-Scale Neuromorphic Computing / ACS Nano, Vol. 12, Iss. 7, pp. 7352—7361 // https://doi.org/10.1021/acsnano.8b03831 вернуться Zhang H.-T., Park T. J., Islam A. N. M. N., Tran D. S. J., Manna S., Wang Q., Mondal S., Yu H., Banik S., Cheng S., Zhou H., Gamage S., Mahapatra S., Zhu Y., Abate Y., Jiang N., Sankaranarayanan S. K. R. S., Sengupta A., Teuscher C., Ramanathan S. (2022). Reconfigurable perovskite nickelate electronics for artificial intelligence / Science, Vol. 375, Iss. 6580, pp. 533—539 // https://doi.org/10.1126/science.abj7943 вернуться Tasić M., Ivković J., Carlström G., Melcher M., Bollella P., Bendix J., Gorton L., Persson P., Uhlig J., Strand D. (2022). Electro-mechanically switchable hydrocarbons based on [8]annulenes / Nature Communications, Vol. 13, Iss. 860 // https://doi.org/10.1038/s41467-022-28384-8 вернуться Gent E. (2022). MIT Researchers Create Artificial Synapses 10,000x Faster Than Biological Ones. / Singularity hub, August 1, 2022 // https://singularityhub.com/2022/08/01/mit-researchers-created-artificial-synapses-10000x-faster-than-biological-ones/ вернуться Onen M., Emond N., Wang B., Zhang D., Ross F. M., Li J., Yildiz B., Del Alamo J. A. (2022). Nanosecond protonic programmable resistors for analog deep learning // https://doi.org/10.1126/science.abp8064 вернуться Fedorov A. K., Beloussov S. M. (2021). Quantum computing at the quantum advantage threshold / Unpublished paper. |
