半导体所在反型结构钙钛矿太阳能电池方面取得重要进展
半导体所等在莫尔异质结层间激子研究方面取得进展
半导体所等在手性分子产生自旋极化研究中取得新进展
半导体所在高功率、低噪声量子点DFB单模激光器研究方面取得重要进展
半导体所在硅基外延量子点激光器研究方面取得重要进展
半导体所在非互易光学介质几何理论方面取得进展
半导体所在氮化物材料外延研究中取得新进展
半导体所在硅上In线的光致相变机理中取得新进展
半导体所发现亚铁磁自旋调控新机理
半导体所成功研制一款极低电压低抖动低功耗频率综合器芯片
官方微信
友情链接

半导体所在仿生覆盖式神经元模型及学习方法研究方面取得进展

2023-12-01

人工神经网络是模拟人脑神经活动的重要模式识别工具,受到了众多科学家和学者的关注。然而,近年来DNN的改进与优化工作主要集中于网络结构和损失函数的设计,神经元模型的发展一直非常有限。神经生物学和认知神经科学的研究表明,神经元的学习能力是生物神经系统完成学习和记忆任务的重要基础,这些机理可促使我们在神经元设计和优化方面进一步提高DNN的性能。

受生物认知机制的启发,中国科学院半导体研究所高速电路与神经网络实验室李卫军研究员团队设计了一种具有高度柔性与可塑性的超香肠覆盖式神经元模型(HSCF neuron)(如图1所示)。研究团队定义了一种新的交叉熵和体积覆盖率损失函数,该损失函数可最大限度地压缩超香肠的体积,从而确保样本的类内紧凑性。研究团队引入了一种分裂迭代方法,将每个神经元模型视为一个弱分类器,并迭代增加弱分类器的数量,该迭代方法可自适应地确定HSCF神经元的最优数量,形成了端到端的学习框架(如图2所示)。最后,研究团队在模式识别领域的八个经典数据集上进行的对比实验和消融实验证明了该方法的有效性。超香肠覆盖式神经元模型可以应用于经典的DNN中以解决多种模式识别问题,具有广泛的应用与学术价值;此外,所提出的方法也证明了利用神经元可塑性增强DNN性能的可行性,为DNN的进一步发展提供了新的视角。

该研究成果近日以Hyper-sausage coverage function neuron model and learning algorithm for image classification”为题发表于模式识别领域TOP期刊《Pattern Recognition(136 (109216), 2023), 文章发表后相继入选ESI热点与ESI高倍引论文,并入选期刊2023Editors' Choice Paper(如图3所示)。论文第一作者为半导体所宁欣副研究员,通讯作者为李卫军研究员。本工作得到国家自然科学基金委项目的支持。

论文全文链接:https://doi.org/10.1016/j.patcog.2022.109216


1.超香肠覆盖式神经元模型及分类策略可视化表示


2. 基于超香肠覆盖式神经元模型的网络结构示意图


3. 入选Editors' Choice Paper证书




关于我们
下载视频观看
联系方式
通信地址

北京市海淀区清华东路甲35号(林大北路中段) 北京912信箱 (100083)

电话

010-82304210/010-82305052(传真)

E-mail

semi@semi.ac.cn

交通地图
版权所有 中国科学院半导体研究所

备案号:京ICP备05085259-1号 京公网安备110402500052 中国科学院半导体所声明