企业官网建设流程全解析

国外创意海报设计网站,网站建设柒金手指花总11,河南省新闻出版学校咋样,wordpress全站cdn第三节#xff1a;代理梯度法及ANN-to-SNN转换一、代理梯度#xff08;Surrogate Gradient#xff09;法#xff08;一#xff09;核心问题#xff1a;为什么需要代理梯度#xff1f;1. 代理梯度怎么做脉冲神经元的激活函数#xff08;发放脉冲#xff09;是一个不可微…第三节代理梯度法及ANN-to-SNN转换一、代理梯度Surrogate Gradient法一核心问题为什么需要代理梯度1. 代理梯度怎么做脉冲神经元的激活函数发放脉冲是一个不可微的阶跃函数。前向传播可以顺利工作。输入膜电位输出脉冲0或1。反向传播BP需要计算损失函数对权重的梯度。这涉及到计算脉冲输出对膜电分的导数。阶跃函数在阈值点处的导数是无穷大δ函数在其他点的导数为零。这直接导致梯度无法有效传播梯度消失使得标准的BP算法失效。2. 代理梯度法的核心思想在前向传播时使用真实的、不可微的脉冲函数但在反向传播计算梯度时用一个平滑的、可微的“代理”函数来替代它。(二) 工作机制1. 前向传播 (Forward Pass)使用真实的脉冲发放函数如LIF模型。计算膜电位 U_i[t]若超过阈值 U_{th} 则输出脉冲 S_i[t] 1否则为 0。膜电位随后被重置。2. 反向传播 (Backward Pass)当计算梯度 时忽略真实的脉冲函数而是使用一个预先定义好的、可微的代理函数 来替代真实的、不可微的导数。这个代理函数通常称为代理梯度或超梯度提供了梯度下降所需的方向信号。(三) 常用的代理梯度函数代理函数的选择是一种艺术其设计原则是形状上与真实的脉冲发放过程近似且易于计算。这些函数通常在膜电位 u 接近阈值 U_{th} 时产生一个非零的梯度峰值模拟了脉冲在此处发放的“敏感性”。(四) 优势与挑战1. 优势端到端训练可以直接使用成熟的基于梯度的优化器如Adam训练非常深的SNN。高性能在图像分类、语音识别等静态数据集上可以达到接近同等ANN的精度。灵活性可以构建复杂的网络结构如ResNet, VGG for SNN。2. 挑战生物合理性低并不是大脑中真实存在的学习机制。训练开销大需要沿时间展开BPTT计算和内存成本较高。性能-延迟权衡通常需要模拟足够多的时间步才能达到高精度这会增加推理时的延迟。二、ANN-to-SNN转换一核心思想1. 一种非常巧妙的迁移策略先训练一个高性能的传统人工神经网络ANN然后将其权重和结构尽可能地“转换”或“映射”到一个等价的脉冲神经网络SNN中。2. 理论基础在一定的条件下SNN中神经元的脉冲发放率 firing rate 可以近似模拟ANN中ReLU激活函数的输出值。(二) 转换流程与关键技术1. 训练一个ANN使用标准的深度学习方法和数据集如ImageNet训练一个ANN。关键限制该ANN的激活函数必须为 ReLU。因为ReLU的输出值≥0可以直接对应脉冲发放率≥0。2. 权重迁移将训练好的ANN的所有权重 $W$ 直接复制到SNN中对应的突触连接上。这是转换过程中最直接的一步。3. 激活值映射最核心的步骤需要将ANN中ReLU层的输出激活值 a转换为SNN中对应层神经元的脉冲发放率 r。核心挑战确定一个缩放因子。SNN的脉冲发放率有其上限最多在每个时间步都发放脉冲即 r_{max} 1而ReLU的输出值理论上无上限。解决方案权重归一化Weight Normalization。通过分析ANN各层的最大激活值对权重和阈值进行缩放确保SNN中所有的发放率都不会饱和即不会所有神经元始终以最大频率发放。常见方法是基于数据的归一化即使用一批数据遍历ANN记录每层的最大激活值并将其作为该层SNN神经元的阈值 U_{th} 的缩放基准。4. 模拟与推理转换完成后向SNN输入数据通常是静态图像重复输入多个时间步并统计输出层神经元在一段时间T个时间步内的脉冲发放数量。发放数量最多的神经元即为SNN的预测类别。三优势与挑战1. 优势性能强大可以轻松获得在ImageNet等复杂数据集上达到state-of-the-art精度的SNN而无需担心SNN训练不收敛的问题。无需训练SNN避免了直接训练SNN的所有困难。桥梁作用是连接成熟ANN领域和新兴SNN领域的强大工具。2. 挑战与不足高延迟为了精确地用发放率模拟ReLU值通常需要数百甚至上千个时间步进行模拟推理速度慢。无法利用时序信息转换过程完全忽略了脉冲的精确时序所包含的信息只利用了发放率。这浪费了SNN处理时空模式的内在优势。无法进行在线学习转换后的SNN是静态的其权重是固定的无法像使用STDP或代理梯度的SNN那样进行持续学习。四总结与对比代理梯度法与ANN-to-SNN转换的比对五前沿趋势当前的研究趋势并非是二选一而是融合与超越1. 混合训练先通过ANN-to-SNN转换得到一个不错的SNN初始模型再用代理梯度法进行微调fine-tuning兼顾高性能和低延迟。2. 直接训练低延迟SNN研究新的代理函数和训练技巧旨在用极短的时间步如4步或更少 直接训练出高性能SNN从根本上挑战ANN-to-SNN转换的地位。3. 量化感知训练将ANN-to-SNN转换视为一种极端的模型量化过程在ANN训练阶段就引入量化约束使得转换后的SNN精度损失更小、延迟更低。总之代理梯度法和ANN-to-SNN转换是推动SNN应用于实际问题的两大支柱。前者代表了SNN原生能力的未来后者则是在当前阶段利用现有资产实现高性能的务实策略。续完【免责声明】本文主要内容均源自公开信息和资料部分内容引用了Ai仅作参考不作任何依据责任自负。