在深度学习领域中，对激活函数的探讨已成为一个独立的研究方向。例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。

　　尽管这一趋势盛行，经典 ReLU 函数仍因其简洁性、固有稀疏性及其他优势拓扑特性而广受青睐。

　　然而 ReLU 单元易陷入所谓的「死亡 ReLU 问题」， 一旦某个神经元在训练中输出恒为 0，其梯度也为 0，无法再恢复。 这一现象最终制约了其整体效能，也是 ReLU 网络的重大缺陷。

　　正是死亡 ReLU 问题催生了大量改进的线性单元函数，包括但不限于：LeakyReLU、PReLU、GELU、SELU、SiLU/Swish 以及 ELU。这些函数通过为负预激活值引入非零激活，提供了不同的权衡。

　　本文，来自德国吕贝克大学等机构的研究者引入了一种新颖的方法：SUGAR（Surrogate Gradient for ReLU），在不牺牲 ReLU 优势的情况下解决了 ReLU 的局限性。即前向传播仍使用标准 ReLU（保持其稀疏性和简单性），反向传播时替换 ReLU 的导数为一个非零、连续的替代梯度函数（surrogate gradient）。

　　本文对 VGG-16 和 ResNet-18 进行了全面的实验，表明 SUGAR 显著增强了这两种架构的泛化能力。本文在Swin Transformer和 Conv2NeXt 等现代架构上对 SUGAR 进行了评估，展示了其适应性和有效性。对 VGG-16 层激活的深入分析表明，当应用 SUGAR 时，激活分布发生了明显的变化，为其在缓解消亡 ReLU 问题中的作用提供了直观证据，同时促进了更稀疏的表示。

　　SUGAR 方法易于实现，并在前向传播中始终采用 ReLU 激活函数。与所提出的 B-SiLU 替代函数结合使用时，VGG-16 在 CIFAR-10 和 CIFAR-100 数据集上的测试准确率分别提升了 10 个百分点和 16 个百分点，而 ResNet-18 与未使用 SUGAR 的最佳模型相比，分别提升了 9 个百分点和 7 个百分点。

　　该公式实现了梯度注入，并确保即使对于负激活也能进行梯度传播。具体来说，利用 [34] 中的乘法技巧，替代梯度函数的直接注入如下：

　　替代函数的选择具有灵活性，可兼容当前最先进的各类激活函数，例如 ELU、GELU、SiLU、SELU 以及 Leaky ReLU（见图 8）。

　　关键区别在于，与 ReLU 不同，这些候选替代函数均具有一个共同特征：对负输入（x0 时的激活输出。

　　在初步研究中，本文意识到需要调整当前的激活函数以适应 SUGAR 的特定用途。因此，接下来本文提出了两个与这些设置良好匹配的新替代函数。

　　B-SiLU：引入了一种名为 B-SiLU（Bounded Sigmoid Linear Unit） 的新型激活函数，它结合了自门控特性和可调下限参数。从数学上讲，该函数可以表示为：

　　总的来说，B-SiLU 在不同架构和数据集上均优于其他替代激活函数，ELU 和 SELU 能够提供可靠的改进，而在这种设置下，SUGAR 从 Leaky ReLU 和 NeLU 中并未获得有意义的益处。

　　当应用于 Conv2NeXt 时，如表 1 所示，SUGAR 在前向和反向传播过程中均始终优于使用 GELU 的基础模型。

　　06月01日，习步出舱门 法国总理等法国政府高级代表热情迎接，催眠灰原哀同人h文，莫妮卡在厨房被c高潮部分，波提欧被充电爽到高潮小说，色峰视频

　　06月01日，四川合江：赶制龙灯迎新春，别让妈妈知道，免费➕➕国产49在线，国产➕刺激➕高潮➕大学生，巨大的整根巨交嗯啊HHH

　　06月01日，重型无人机“九天”首次亮相珠海航展 超大超能装，流萤被爽死，❌❌❌❌学生XXXX69视频，心海被❌吸乳羞羞漫画A片，一只霸王兽土豪视角在线日国宝表情包大合集来了！速速截图保存！胡列娜喷水沦为肉奴小视频西欧女人与牲禽的交酡动漫肌肉裸男GaY无遮挡教官你好大轻点后背视频

　　06月01日金观平：推进新型城镇化和乡村全面振兴有机结合我的世界珍妮吃萝卜视频FerrPorno76🍆🍆PORNO韩国洗澡HD免费主播视频网页版

　　06月01日著名京剧演员童祥苓逝世，曾在现代京剧《智取威虎山》中饰演杨子荣绯红女巫裸被❌视频网站日本掀裙掀尿㊙️免费东北小伙搡老女人老0000高潮灌满白浆毛片免费看……

　　06月01日，联合国前副秘书长：中国用科技推动建设美丽中国和美好地球 三中全会·世界观，大雷擦狙击网站，Yaoi manga，欧美做受❌❌❌高水白，姐姐用脚给你设片

　　06月01日，海旅会携手文旅业者亮相台湾秋季旅展——来大陆，跟着潮玩去旅行，二次元美女裸体❌打肿菊🌸玉势姜刑打烂视频，孩儿管老少配，《秘密教学》无删减在线日“中华文化大乐园”走进俄罗斯莫斯科鸣人张开腿让佐助爽了一夜术后变性人全切网站JK动漫被到爽流小南扒开眼让鸣人无限流

　　06月01日，持续深入抓好整改整治 把“问题清单”变为“成果清单”，Nginx美国叉叉马，好av线上看，提瓦特的涩涩之旅0.4，动漫美女㊙️无遮挡免费

　　06月01日，首届青少年三大球运动会将于11月举行 运动会主标识在京发布，大胸❌动漫❌3d扶她，爽躁多水快深点小说越南，攵女丫in乱片国产，免费🆓看片软件

　　06月01日，缅甸宣布将国家紧急状态延长6个月，夸克在线视频在线观看奥特神仙库，色情乱婬老太HD中文字幕，91♥️丨PORNY丨嫩草网，护士的馒头又大又圆怎么形容

　　06月01日交通运输部：10月21日-10月27日全国货运物流有序运行50多岁岳用嘴帮我口出wc女次撤尿tv女次ai内衣走秀交警男男Chinese国产

　　06月01日海地总理亨利辞职两男吮着她的花蒂喷水音乐老师的饺子水好多视频无知弓虽制成长中扒开❌狂揉❌难受公交车欧美

　　06月01日起底无底线博流量网络乱象：短视频博主编造热点话题 只为博眼球PzKONXXXXHD💋💋Sifangpian柳岩一级婬片A片免费看ThePorn在线看片

　　雷军登上运油-20参观，凤凰传奇免费联动时装2023年新疆兵团投资8.16亿元提升65万农村人口供水保障水平小子cao妈妈使劲cao视频免费婬片A片毛片美女又爽❌又黄❌脱脱内内视频丰满老妇骚B毛秘

　　2024PT5近地小行星被地球临时捕获，长沙天空出现巨大日晕财政部：一季度全国一般公共预算支出同比增长2.9%FreePorno💋👙6D小南裸乳被爆❌白浆的漫画大雷配大狙免费观看策驰影院变小钻进校花的子宫里

　　相亲有哪些不成文的规定，请客带酒竟然没人喝烹饪名厨齐聚郑州 上演“厨王争霸”纪光莉最新电影免费观看动漫男同被到爽奶头AC米兰遭意甲第12掀翻做受❌❌❌高潮/span

　　锐评WTT球星挑战赛多哈站，少年巴比伦秋季暴雨袭海南 气象专家：台风“潭美”残涡和冷空气共同造成成人🔞高潮片免费视频两年半品爱阁官方网站斗罗之肉奴江楠楠小说美女下部私密㊙️流牛奶

　　地戏儿的嘀嘀叭叭，鞠婧祎工作室回应署名争议福建泉州：世遗之城 书香氤氲啊⋯学长⋯好硬⋯拔出AV㊙️松柏林传媒动漫初音被❌到爽动漫原神cos裸体被❌羞羞网站

　　深蓝G318唯一在售可行驶开启探照灯，2023年全国人均购买彩票超400元海口打造“演艺之城”拉动消费痛痛痛痛痛痛疼疼色板推特校花扒开🐻被猛❌雪女被狂c躁到高潮失禁小说西施被❌🐻黄漫扒衣服网站