项目详情
- 名称:
- 负责人:
- 成员:
- 脉冲神经网络领域编码的研究
- 王淼（22级博）
- 陈顺章（21级本）
脉冲神经网络领域编码的研究
a.视觉信息编码 脉冲相机是一种模仿灵长类动物中央凹采样机制的新型神经形态视觉传感器，可以捕获光子并输出40000 Hz的二进制脉冲序列。 受益于异步采样机制，脉冲相机可以记录快速移动的物体，并且可以在任何指定的时间戳从脉冲流中恢复清晰的图像，而不会出现运动模糊。 尽管如此，由于离散脉冲序列的密集时序信息，将传统相机的现有算法直接应用并不容易，因此需要探索新的编码方式来应用这样的图片。 b.编码学习 (1)脉冲发放模式 有生物学证据来证明信息是通过大脑中脉冲的精确计时进行编码的，然而，在多层网络中训练一群脉冲神经元在多个精确时间发射脉冲仍然是一项具有挑战性的任务。 延迟学习以及延迟影响权重使SNN学习尚未得到彻底研究。因此需要探索SNN中内部编码模式对学习能力的影响。 (2) predictive coding 预期成果产出形式： 1-2篇学术论文，合适的编码方式 里程碑计划： 视觉信息编码：1月前完成调研+复现有价值的工作--->24年5月结合出新的编码--->24年8月产出 编码学习：1月前完成调研+复现有价值的工作--->24年5月结合出新的编码--->24年8月产出
研究背景
脉冲神经网络（SNN）由于脉冲神经元的输入输出是离散的脉冲序列，但并绝大多数数据集都不是脉冲序列，因此SNN的编码是一个重要的课题。SNN编码的相关研究大致分为两方面，一方面是视觉信息编码，包括了Spike Camera的呈现和图像编码；另一方面是通过改变神经元的编码方式来实现学习的过程。探索脉冲神经网络的编码方式有助于帮助我们理解生物大脑的对信息的理解，是类脑学习的基础。
脉冲神经网络（SNN）由于脉冲神经元的输入输出是离散的脉冲序列，但并绝大多数数据集都不是脉冲序列，因此SNN的编码是一个重要的课题。SNN编码的相关研究大致分为两方面，一方面是视觉信息编码，包括了Spike Camera的呈现和图像编码；另一方面是通过改变神经元的编码方式来实现学习的过程。探索脉冲神经网络的编码方式有助于帮助我们理解生物大脑的对信息的理解，是类脑学习的基础。
参考资料： 1.视觉编码相关： [1]Jiyuan Zhang, Shanshan Jia, Zhaofei Yu, Tiejun Huang: Learning Temporal-Ordered Representation for Spike Streams Based on Discrete Wavelet Transforms. AAAI 2023: 137-147 [2]Shanshan Jia, Xingyi Li, Tiejun Huang, Jian K. Liu, Zhaofei Yu: Representing the dynamics of high-dimensional data with non-redundant wavelets. Patterns 3(3): 100424 (2022) [3]Shanshan Jia, Zhaofei Yu, Arno Onken, Yonghong Tian, Tie-Jun Huang, Jian K. Liu: Neural System Identification With Spike-Triggered Non-Negative Matrix Factorization. IEEE Trans. Cybern. 52(6): 4772-4783 (2022) 2.编码学习： [1]A. Taherkhani, A. Belatreche, Y. Li and L. P. Maguire, "A Supervised Learning Algorithm for Learning Precise Timing of Multiple Spikes in Multilayer Spiking Neural Networks," in IEEE Transactions on Neural Networks and Learning Systems, vol. 29, no. 11, pp. 5394-5407, Nov. 2018, doi: 10.1109/TNNLS.2018.2797801