项目详情
- 名称:
- 负责人:
- 成员:
- 脉冲神经网络领域学习算法的研究
- 王淼（22级博）、张禹（23级研）
- 雷云霖（23级博），孙月异（22级本），陈顺章（21级本），尤鑫洋（20级本）
脉冲神经网络领域学习算法的研究
a.赫布族算法优化 受条件反射对应的巴浦洛夫学习法启发的赫布学习专注于局部突触在关联性激活时发生增强效应，并抑制其他非关联性激活，但这种突触修改的原则只能利用局部的信息，本研究专注于如何使赫布族算法解决信用分配问题，即如何利用全局信息进行赫布学习。 b.反馈对齐及目标传播 相对于反向传播BP在DNN中的应用，SNN的BP实现往往要求SNN设计伪梯度以满足求导性质，但除此外还应对错误信号在网络中的传导和错误信号对网络参数的修正机制进行研究，这种想法主要包括如反馈对齐、目标传播、扰动学习、均衡传播等新颖且有趣的非BP算法在SNN中的引入和优化，进一步探究类脑智能的学习机理。 预期成果产出形式： 1-2篇学术论文，形成SNN可自用的代码框架，方便之后的各种实验。 里程碑计划： Hebb族学习算法：12月前复现现有工作，建立baseline--->24年5月结合出新的学习算法--->24年8月产出 反馈和目标对齐算法：12月前复现现有工作，建立baseline--->24年5月结合出新的学习算法--->24年8月产出
研究背景
脉冲神经网络（SNN）由于其非连续的激活函数定义以及网络内部的离散型信号传递而难以使用传统的BP算法进行训练和优化，因此在SNN领域需要针对学习策略本身进行研究，其中包括了SNN既有的基于联想学习的赫布族算法的信用分配问题，也包含了对其他领域的一些新的学习策略、算法进行变体以应用于SNN。对学习算法和学习策略的研究是探寻类脑智能学习机制的基础，目标是为该领域建立基础的学习模型框架和新的算法优化。
脉冲神经网络（SNN）由于其非连续的激活函数定义以及网络内部的离散型信号传递而难以使用传统的BP算法进行训练和优化，因此在SNN领域需要针对学习策略本身进行研究，其中包括了SNN既有的基于联想学习的赫布族算法的信用分配问题，也包含了对其他领域的一些新的学习策略、算法进行变体以应用于SNN。对学习算法和学习策略的研究是探寻类脑智能学习机制的基础，目标是为该领域建立基础的学习模型框架和新的算法优化。
参考资料： 1.反馈对齐FA机理探究： [1] Launay J, Poli I, Krzakala F. Principled training of neural networks with direct feedback alignment[J]. arXiv preprint arXiv:1906.04554, 2019. [2]Refinetti M, D'Ascoli S, Ohana R, et al. Align, then memorise: the dynamics of learning with feedback alignment[C]//International Conference On Machine Learning, Vol 139. JMLR-JOURNAL MACHINE LEARNING RESEARCH, 2021, 139. 2.赫布族算法机理探究： [3]Payeur A, Guerguiev J, Zenke F, et al. Burst-dependent synaptic plasticity can coordinate learning in hierarchical circuits[J]. Nature neuroscience, 2021, 24(7): 1010-1019. [4]Yoon, HG., Kim, P. An STDP-based encoding method for associative and composite data. Sci Rep 12, 4666 (2022). https://doi.org/10.1038/s41598-022-08469-6 3.均衡传播、预测编码（基于能量的方法）： [1] Laborieux A, Zenke F. Holomorphic equilibrium propagation computes exact gradients through finite size oscillations[J]. Advances in Neural Information Processing Systems, 2022, 35: 12950-12963. [2]Salvatori T, Song Y, Millidge B, et al. Incremental predictive coding: A parallel and fully automatic learning algorithm[J]. arXiv preprint arXiv:2212.00720, 2022.