期刊文献+
任意字段
题名或关键词
题名
关键词
摘要
作者
第一作者
机构
刊名
分类号
参考文献
作者简介
基金资助
栏目信息
共找到47篇文章
< 1 2 3 >
每页显示 20 50 100
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
显示方式：
基于CKKS全同态加密的插值型非交互式离散ReLU方案设计 认领 引用
1
作者 陈智罡 宋新霞 CHEN Liqun 《计算机工程与应用》 EI CSCD 北大核心 2026年第14期329-337,共9页
全同态加密在隐私保护机器学习中具有广泛应用前景,但在加密域中高效、精确地实现ReLU激活函数仍面临挑战。现有多项式近似方法往往输出为连续浮点数,存在误差不可控、离散性不足等问题。提出两种基于插值查表与自举机制的非交互式严格... 全同态加密在隐私保护机器学习中具有广泛应用前景,但在加密域中高效、精确地实现ReLU激活函数仍面临挑战。现有多项式近似方法往往输出为连续浮点数,存在误差不可控、离散性不足等问题。提出两种基于插值查表与自举机制的非交互式严格离散ReLU方案,兼顾精度与计算效率,适用于深度神经网络的隐私保护推理任务。第一种方案基于三角Hermite插值构造周期性Step函数,结合函数型Bootstrapping机制,同态完成符号提取与条件乘法,最终实现严格离散的ReLU计算;第二种方案基于迭代式MSB自举框架,通过多轮低位提取与精度恢复,实现对高精度密文的ReLU处理。两种方案均依赖密文模交换与插值查表机制,将浮点输入压缩为有限域整数,在LUT上精确执行符号函数。实验表明,相比多项式近似方法,提出的方法在查表空间开销更小、输出误差为零,且具备更高的计算精度与扩展性。特别地,三角插值方案在轻量级网络中具备更优性能,而迭代自举方案可支持任意精度,适用于对精度要求更高的复杂模型。实验结果表明在不牺牲分类准确率的前提下,该方案有效降低了激活误差和Bootstrapping开销,明显优于传统多项式逼近方法。该研究为非线性函数在加密域中的精确计算提供了新思路,为同态神经网络的实际部署提供了关键支撑,具有重要的理论意义与应用价值。 展开更多
关键词 全同态加密(FHE) CKKS算法 ReLU函数 函数型自举技术 同态插值查表
暂未订购 下载PDF
基于分段查找表与动态CG-NTT复用的同态ReLU加速 认领 引用
2
作者 廖颖龙 罗羽乔 +4 位作者 李丹婕 李灵武 姚磊 蒋琳 方俊彬 《网络与信息安全学报》 2026年第3期135-153,共19页
全同态加密不支持非线性同态计算,导致隐私保护机器学习中的同态ReLU评估难以直接实现。现有采用高阶多项式近似ReLU激活函数的方案设计大位宽模乘与高阶多项式乘法运算,使得系统吞吐量受限、资源利用率低。对此,提出了一种CPU-FPGA异... 全同态加密不支持非线性同态计算,导致隐私保护机器学习中的同态ReLU评估难以直接实现。现有采用高阶多项式近似ReLU激活函数的方案设计大位宽模乘与高阶多项式乘法运算,使得系统吞吐量受限、资源利用率低。对此,提出了一种CPU-FPGA异构协同的同态ReLU评估方案:由CPU端执行ReLU的高阶多项式近似,FPGA端执行同态多项式评估加速。具体而言,首先设计了分段查找表模运算方法,借助双级分解映射机制将大位宽模乘转化为并行高低位查表与线性组合,模乘时延较现有最优方案降低97%。其次,提出动态资源复用CG-NTT架构优化多项式乘法效率,依托固定访存模式实现动态表复用策略,相较于传统NTT架构,减少15%~37%计算单元,降低45%~50.8%运算时延。最后,构建CPU-FPGA异构加速框架,通过相位调优接口与资源协调机制,使同态ReLU评估获得21.4倍加速比。实验验证了该方案在加速密文推理中的可行性,但最耗时的自举操作仍需在CPU端执行。因此,未来研究将聚焦自举操作的硬件加速,以进一步提升密文推理系统的实用性能。 展开更多
关键词 全同态加密 查找表模运算 CG-NTT ReLU激活函数 CPU-FPGA异构协同
暂未订购 下载PDF
深度残差神经网络下滚动轴承非平稳故障诊断 认领 引用 被引量：2
3
作者 魏波 冯乃勤 刘翠芳 《机械设计与制造》 北大核心 2026年第1期201-206,共6页
滚动轴承是机械设备中的零部件。在工业现场中,轴承经常运行在转速转矩变化的非稳态工况下,信号中的周期性特征被时变工况破坏,频谱中的频率分量不断变化,相互混淆。滚动轴承在非平稳运行状态下,故障特征频率随转频变化,若不计算故障特... 滚动轴承是机械设备中的零部件。在工业现场中,轴承经常运行在转速转矩变化的非稳态工况下,信号中的周期性特征被时变工况破坏,频谱中的频率分量不断变化,相互混淆。滚动轴承在非平稳运行状态下,故障特征频率随转频变化,若不计算故障特征频率和因子,就无法准确把握故障特征与正常状态的差异,导致故障诊断的准确率较低。为此,引入深度残差神经网络,提出变转速滚动轴承非平稳故障诊断方法。引入深度残差神经网络,通过ReLU激活函数获取提取故障特征频率的误差值,学习不同工况下信号的内在规律,即使特征在频谱中混淆也能准确提取复杂非平稳信号中的故障特征频率和特征因子。通过构建深度残差神经网络模型,结合瞬时故障特征频率、故障特征因子的计算,分析其在非平稳状态下的频谱;调整深度残差神经网络的各项参数,引入阶比谱,通过分析一阶故障特征阶比和轴承转频阶比即可实现对滚动轴承非平稳故障的诊断。测试结果表明,所提方法可实现对故障轴承的精准诊断,且具有较好的抗干扰能力和最接近1的诊断F1值。 展开更多
关键词 深度残差神经网络 滚动轴承 ReLU激活函数 短时傅里叶变换 故障特征频率
暂未订购 下载PDF
基于改进动态ReLU和注意力机制模型的中药材粉末显微图像识别研究 认领 引用 被引量：13
4
作者 王一丁 姚毅 +2 位作者 李耀利 蔡少青 袁媛 《计算机应用研究》 CSCD 北大核心 2021年第9期2861-2865,2870,共5页
中药材粉末显微特征图像数据量少、样本类别分布不均衡、类间差异小,传统的图像识别方法分类效果不佳。针对以上问题提出一种基于动态ReLU和注意力机制模型的深度卷积神经网络改进方法。首先,采用对小样本数据分类效果明显的Xception作... 中药材粉末显微特征图像数据量少、样本类别分布不均衡、类间差异小,传统的图像识别方法分类效果不佳。针对以上问题提出一种基于动态ReLU和注意力机制模型的深度卷积神经网络改进方法。首先,采用对小样本数据分类效果明显的Xception作为基础网络;其次,将网络中的静态ReLU激活函数替换为改进的动态ReLU函数,让每个样本具有自己独特的ReLU参数;最后,在网络中嵌入改进的SE模块,使网络能够更好地自动学习到每个特征通道的重要程度。以上方法可以使网络更加注重于图像中的细节信息,能很好地解决样本类别分布不均衡、类间差异小的问题。实验结果表明,对56种中药材粉末导管图像进行分类识别,其准确率提升了约1.5%,达到93.8%,证明了所提研究方法相比于其他图像分类方法具有一定的优越性。 展开更多
关键词 卷积神经网络 中药材粉末显微特征图像识别 深度学习 动态ReLU函数 SE模块
暂未订购 下载PDF
基于注意力机制结合改进动态ReLU的输变电工程图纸智能评审方法 认领 引用 被引量：6
5
作者 陈晨 薛文杰 +2 位作者 董平先 翟育新 齐桓若 《沈阳工业大学学报》 CAS 北大核心 2024年第6期772-778,共7页
针对传统识别方法对输变电工程图纸的分类效果较差且精确度偏低的问题,在注意力机制和改进动态ReLU基础上,提出了一种基于深度学习的工程图纸智能评审方法。利用Xception基础网络与动态ReLU函数优化小样本数据的分类效果,进而完善样本... 针对传统识别方法对输变电工程图纸的分类效果较差且精确度偏低的问题,在注意力机制和改进动态ReLU基础上,提出了一种基于深度学习的工程图纸智能评审方法。利用Xception基础网络与动态ReLU函数优化小样本数据的分类效果,进而完善样本数据的ReLU参数分配。通过引入改进注意力机制模块,深化神经网络算法中特征图的权重分配,进一步提升了工程图纸的分类效果。仿真结果表明,与传统工程图纸识别方法相比,基于深度学习的工程图纸智能评审方法具有更优分类效果。 展开更多
关键词 输变电工程图纸 改进SE模块 ReLU函数 深度学习 Xception网络 图像识别 图像分类 卷积神经网络
暂未订购 下载PDF
具有ReLU函数的动力神经场方程稳定解的存在性 认领 引用 被引量：7
6
作者 秦子雁 陈芃合 金德泉 《广西大学学报（自然科学版）》 CAS 北大核心 2021年第1期231-235,共5页
为进一步探索动力神经场的相关性质,将单调递增但是无界的ReLU函数作为阈值函数运用在一维的Amari动力神经场中,这与将单调有界的阶跃函数或Sigmoid型函数作为阈值函数的传统动力神经场研究不同。在不考虑输入,且相互作用核为高斯函数... 为进一步探索动力神经场的相关性质,将单调递增但是无界的ReLU函数作为阈值函数运用在一维的Amari动力神经场中,这与将单调有界的阶跃函数或Sigmoid型函数作为阈值函数的传统动力神经场研究不同。在不考虑输入,且相互作用核为高斯函数的情况下,对3种不同的稳定解进行研究,得出Amari动力神经场稳定解的存在条件和相关性质。 展开更多
关键词 Amari动力神经场 稳定解 ReLU函数 高斯函数
暂未订购 下载PDF
基于Dynamic-YOLOv5的道路缺陷实时检测 认领 引用
7
作者 陈海 王明明 《计算机与现代化》 2026年第1期68-75,共8页
及时准确地检测出道路缺陷,可以有效地预防交通事故和降低道路养护成本。然而,传统的检测方法面临漏检、错检较多的情况,难以满足实际需求。为实现在小模型上高精准度的道路缺陷检测,本文提出一种基于YOLOv5s改进的道路缺陷检测模型,名... 及时准确地检测出道路缺陷,可以有效地预防交通事故和降低道路养护成本。然而,传统的检测方法面临漏检、错检较多的情况,难以满足实际需求。为实现在小模型上高精准度的道路缺陷检测,本文提出一种基于YOLOv5s改进的道路缺陷检测模型,名为Dynamic-YOLOv5。首先,在模型结构上,将原先模型中的检测头替换为Dynamic Head,通过引入动态注意力机制,显著提高目标检测头的表示能力,且不增加任何计算开销。其次,在损失函数方面,基于FocalEIoU对DIoU进行改进,得到了Focal-DIoU,并用其替换掉YOLOv5s模型中的CIoU损失函数,从而更好地处理目标框回归中的不平衡问题。最后,在激活函数的选择上,使用ReLU激活函数替换原先卷积层中的SiLU激活函数,进一步优化模型的训练效率和推理速度。实验结果表明,改进后的Dynamic-YOLOv5在GRDDC2020数据集上取得了具有竞争力的结果,与原有的模型相比,在模型仅增加了0.83 M参数的情况下,mAP提升了3.6百分点,达到了更好的检测精度和鲁棒性。本文的研究成果不仅为道路缺陷检测提供了一种高效的小模型解决方案,也为其他目标检测任务中的模型优化提供了新的思路和方法。 展开更多
关键词 道路缺陷检测 YOLOv5 动态头部 Focal-DIoU ReLU激活函数
暂未订购 下载PDF
基于ReLU函数的卷积神经网络的花卉识别算法 认领 引用 被引量：22
8
作者 郭子琰 舒心 +1 位作者 刘常燕 李雷 《计算机技术与发展》 2018年第5期154-157,163,共4页
目前对于花卉识别的工作较少,且在已有实验结果中,识别准确率和识别计算速度偏低,需要改进算法、改善实验结果。卷积神经网络由于其可以将图像直接作为输入对象从而避免人工提取特征过程的误差,且在各种外物因素下(光照、旋转、遮挡等)... 目前对于花卉识别的工作较少,且在已有实验结果中,识别准确率和识别计算速度偏低,需要改进算法、改善实验结果。卷积神经网络由于其可以将图像直接作为输入对象从而避免人工提取特征过程的误差,且在各种外物因素下(光照、旋转、遮挡等)具有良好的鲁棒性,所以在图像识别方面具有巨大的优势。因此选取卷积神经网络对花卉进行识别。在传统卷积神经网络中,一般选用Sigmoid函数作为激活函数,但是使用这种函数需要进行预训练,否则将会出现梯度消失无法收敛的问题。而采用近似生物神经激活函数ReLU则可以避免这一问题,提高机器学习的效果和速度。最终达到了92.5%的识别正确率。 展开更多
关键词 ReLU函数 卷积神经网络 花卉识别 近似生物神经激活函数
暂未订购 下载PDF
一种使用log函数的新型修正激活单元LogReLU 认领 引用 被引量：6
9
作者 王多民 刘淑芬 《吉林大学学报（理学版）》 CAS CSCD 北大核心 2017年第3期617-622,共6页
提出一种新型校正激活函数的改进,该新型校正激活函数带有一个可变参数,使用对数函数对正区域的梯度进行矫正,解决了预测准确率较低的问题.改进的激活函数使用两个不同参数分别控制正区域和负区域的梯度.通过对两个不同数据集进行仿真... 提出一种新型校正激活函数的改进,该新型校正激活函数带有一个可变参数,使用对数函数对正区域的梯度进行矫正,解决了预测准确率较低的问题.改进的激活函数使用两个不同参数分别控制正区域和负区域的梯度.通过对两个不同数据集进行仿真实验的结果表明,新提出的两种方法效果均好于原始的修正线性单元,带有两个参数的改进使验证错误率分别降低了0.14%和5.33%. 展开更多
关键词 人工智能 卷积神经网络 激活函数 ReLU
暂未订购 下载PDF
ReLU激活函数深度网络的构造与逼近 认领 引用 被引量：4
10
作者 刘爱丽 陈志祥 《绍兴文理学院学报》 2024年第2期58-68,共11页
研究ReLU激活函数深度网络的构造与逼近问题.以一个在[-1,1]上对x2具有指数逼近阶的深度ReLU网络作为子网络,构造逼近任意n次多项式的深度网络,并给出其逼近误差的上界估计.借助一元正交切比雪夫多项式、张量积理论和函数逼近的方法... 研究ReLU激活函数深度网络的构造与逼近问题.以一个在[-1,1]上对x2具有指数逼近阶的深度ReLU网络作为子网络,构造逼近任意n次多项式的深度网络,并给出其逼近误差的上界估计.借助一元正交切比雪夫多项式、张量积理论和函数逼近的方法,构造二元正交多项式和两个输入的深度网络,同时得到了对二元连续函数的逼近估计. 展开更多
关键词 ReLU激活函数 逼近 切比雪夫多项式 深度网络
暂未订购 下载PDF
卷积神经网络中ReLU激活函数优化设计 认领 引用 被引量：35
11
作者 王双印 滕国文 《信息通信》 2018年第1期42-43,共2页
卷积神经网络中的激活函数的作用是激活神经元的特征然后保留并映射出来,这是神经网络能模拟人脑机制,解决非线性问题的关键。ReLU函数更是其中的佼佼者,但同时其自身也存在不足之处。文章从两个方面对ReLU函数进行了优化设计。对使用... 卷积神经网络中的激活函数的作用是激活神经元的特征然后保留并映射出来,这是神经网络能模拟人脑机制,解决非线性问题的关键。ReLU函数更是其中的佼佼者,但同时其自身也存在不足之处。文章从两个方面对ReLU函数进行了优化设计。对使用梯度下降法的激活函数的学习率进行讨论研究并提出可行的学习率改进方法。提出一种新型校正激活函数,称其为e-ln函数,经过Mnist数据集仿真实验证明某些情况下其性能要优于ReLU。 展开更多
关键词 卷积神经网络 激活函数 ReLU 优化设计
暂未订购 下载PDF
卷积神经网络中SPReLU激活函数的优化研究 认领 引用 被引量：15
12
作者 吴婷婷 许晓东 吴云龙 《计算机与数字工程》 2021年第8期1637-1641,共5页
由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将“S”型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Softplus三种激活函数优... 由于激活函数本身的特性,使得卷积神经网络出现了梯度消失、神经元死亡、均值偏移、稀疏表达能力差等问题,针对这些问题,将“S”型激活函数和ReLU系激活函数进行了对比,分别讨论其优点和不足,并结合ReLU、PReLU和Softplus三种激活函数优点,提出了一种新型激活函数SPReLU。实验结果表明,SPReLU函数在性能上优于其他激活函数,收敛速度快,能有效降低训练误差,缓解梯度消失和神经元死亡等问题,能够有效地提高文本分类模型的准确性。 展开更多
关键词 卷积神经网络 激活函数 梯度消失 神经元死亡 ReLU
暂未订购 下载PDF
基于Softplus函数的神经网络的Reluplex算法验证研究 认领 引用
13
作者 陆明远 侯春燕 王劲松 《信息安全研究》 2022年第9期917-924,共8页
形式化验证是计算机科学中运用数理逻辑的方式验证某个系统是否可行的方法,而把形式化验证方法充分应用于神经网络领域,则能更好地研究神经网络的特性与应用.Reluplex是一种对深度神经网络进行验证的单纯形算法,它使用Relu作为激活函数,... 形式化验证是计算机科学中运用数理逻辑的方式验证某个系统是否可行的方法,而把形式化验证方法充分应用于神经网络领域,则能更好地研究神经网络的特性与应用.Reluplex是一种对深度神经网络进行验证的单纯形算法,它使用Relu作为激活函数,而Relu的神经元在训练过程中较脆弱并可能垂死.Softplus是与Relu近似但比Relu更平滑的激活函数,改进了Reluplex算法使之能检验采用Softplus激活函数的深度神经网络,随后获取了在Softplus激活函数下测试鲁棒对抗性得到的实验数据结果,通过与Relu测试结果进行对比,证明了Softplus的测试效率明显高于Relu,它比Relu更平衡,从而让神经网络的学习更快.该研究扩展了神经网络验证算法的功能并展开了相应的对比分析,有利于以后更好地验证和改进深度神经网络,以确保其安全性. 展开更多
关键词 神经网络 形式化验证 激活函数 Relu函数 Softplus函数
暂未订购 下载PDF
基于混合分位数回归长短期记忆神经网络的风电功率短期区间预测 认领 引用 被引量：5
14
作者 杨茂 张书天 +1 位作者 王勃 于欣楠 《太阳能学报》 EI CAS CSCD 北大核心 2025年第2期582-590,共9页
为进一步提升风电功率区间预测精度,提出一种基于混合分位数回归长短期记忆神经网络的风电功率短期区间预测方法。通过同时考虑复合、平滑和非交叉3个特点对传统分位数回归模型进行改进,首先使用平滑函数代替弹球损失函数,使长短期记忆... 为进一步提升风电功率区间预测精度,提出一种基于混合分位数回归长短期记忆神经网络的风电功率短期区间预测方法。通过同时考虑复合、平滑和非交叉3个特点对传统分位数回归模型进行改进,首先使用平滑函数代替弹球损失函数,使长短期记忆神经网络更易于拟合分位数回归模型。然后构建复合目标函数,使其能在给出多个分位数的条件下不重复训练多个独立模型。接着利用ReLU罚函数进行非交叉约束来避免分位数交叉现象的发生。最后将改进后的分位数回归与长短期记忆神经网络相结合并应用于中国甘肃省某风电场,运行结果表明所提模型在不同置信水平下对应PICP和PIAW分别提高了4.17个百分点和降低了2.31 MW,验证了方法的有效性。 展开更多
关键词 风电功率 深度学习 区间预测 复合非交叉 分位数回归 ReLU罚函数
暂未订购 下载PDF
一种新型激活函数的机床能耗预测神经网络研究 认领 引用 被引量：2
15
作者 刘晶晶 刘业峰 《控制工程》 CSCD 北大核心 2025年第3期492-499,共8页
构造一种适用于反向传播(backpropagation,BP)神经网络的新型激活函数Lfun(logarithmic series function),并使用基于该函数的BP神经网络进行机床能耗状态的预测。首先,分析Sigmoid系列和ReLU系列激活函数的特点和缺陷,结合对数函数,构... 构造一种适用于反向传播(backpropagation,BP)神经网络的新型激活函数Lfun(logarithmic series function),并使用基于该函数的BP神经网络进行机床能耗状态的预测。首先,分析Sigmoid系列和ReLU系列激活函数的特点和缺陷,结合对数函数,构造了一种非线性分段含参数激活函数。该函数可导且光滑、导数形式简单、单调递增、输出均值为零,且通过可变参数使函数形式更灵活;其次,通过数值仿真实验在公共数据集上将Lfun函数与Sigmoid、ReLU、tanh、Leaky_ReLU和ELU函数的性能进行对比;最后,使用基于Lfun函数的BP神经网络进行机床能耗状态的预测。实验结果表明,使用Lfun函数的BP神经网络相较于使用其他几种常用激活函数的网络具有更好的性能。 展开更多
关键词 激活函数 BP神经网络 机床能耗预测 Sigmoid函数 ReLU函数
暂未订购 下载PDF
Neural Networks on an FPGA and Hardware-Friendly Activation Functions 认领 引用
16
作者 Jiong Si Sarah L. Harris Evangelos Yfantis 《Journal of Computer and Communications》 2020年第12期251-277,共27页
This paper describes our implementation of several neural networks built on a field programmable gate array (FPGA) and used to recognize a handwritten digit dataset—the Modified National Institute of Standards and Te... This paper describes our implementation of several neural networks built on a field programmable gate array (FPGA) and used to recognize a handwritten digit dataset—the Modified National Institute of Standards and Technology (MNIST) database. We also propose a novel hardware-friendly activation function called the dynamic Rectifid Linear Unit (ReLU)—D-ReLU function that achieves higher performance than traditional activation functions at no cost to accuracy. We built a 2-layer online training multilayer perceptron (MLP) neural network on an FPGA with varying data width. Reducing the data width from 8 to 4 bits only reduces prediction accuracy by 11%, but the FPGA area decreases by 41%. Compared to networks that use the sigmoid functions, our proposed D-ReLU function uses 24% - 41% less area with no loss to prediction accuracy. Further reducing the data width of the 3-layer networks from 8 to 4 bits, the prediction accuracies only decrease by 3% - 5%, with area being reduced by 9% - 28%. Moreover, FPGA solutions have 29 times faster execution time, even despite running at a 60× lower clock rate. Thus, FPGA implementations of neural networks offer a high-performance, low power alternative to traditional software methods, and our novel D-ReLU activation function offers additional improvements to performance and power saving. 展开更多
关键词 Deep Learning D-ReLU Dynamic ReLU FPGA Hardware Acceleration Activation Function
暂未订购 下载PDF
可全域表达的高精度低延时脉冲网络转换方法 认领 引用
17
作者 马钟 徐克欣 +1 位作者 李申 王钟犀 《集成电路与嵌入式系统》 CSCD 2025年第3期15-23,共9页
不同于人工神经网络(ANN),脉冲神经网络(SNN)作为第三代神经网络技术的代表,基于生物神经元机制进行计算,使用脉冲信号序列来传递信息,展现出可观的能耗优势和海量数据的高速处理能力。然而,由于脉冲神经元具有复杂的动力学行为和脉冲... 不同于人工神经网络(ANN),脉冲神经网络(SNN)作为第三代神经网络技术的代表,基于生物神经元机制进行计算,使用脉冲信号序列来传递信息,展现出可观的能耗优势和海量数据的高速处理能力。然而,由于脉冲神经元具有复杂的动力学行为和脉冲计算不可微分的特性,现有的SNN直接训练方法效果欠佳,一定程度阻碍了SNN的广泛应用。目前,将高精度ANN转换为SNN被认为是最有前途的生成SNN的方法之一。然而,主流的ANN转换SNN方法存在局限性:首先,不支持负值脉冲,难以表达由动态视觉传感器相机采集的负向脉冲;其次,转换过程中低延时和高精度难以两全。针对以上问题,本文提出了一种可全域表达的新型脉冲神经元,对传统ANN中正负数值和DVS的正负极性均能进行全域表示,并且提出了一种阶梯式Leaky ReLU激活函数和一种区域收敛测试算法,以实现ANN至SNN的零误差转换。通过以上方法,实现可全域表达的高精度、低延迟和高鲁棒的ANN至SNN转换,本文方法在CIFAR10和CIFAR100数据集上表现出卓越性能。 展开更多
关键词 ANN转换SNN 阶梯式Leaky ReLU激活函数 区域收敛测试算法 全域表达 鲁棒性测试
暂未订购 下载PDF
用于图像分类的卷积神经网络中激活函数的设计 认领 引用 被引量：66
18
作者 王红霞 周家奇 +1 位作者 辜承昊 林泓 《浙江大学学报（工学版）》 EI CAS CSCD 北大核心 2019年第7期1363-1373,共11页
为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元"坏死"以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激... 为了提高图像分类效果,针对卷积神经网络中常用激活函数relu在x负半轴的导数恒为零,导致训练过程中容易造成神经元"坏死"以及现有组合激活函数relu-softplus在模型收敛情况下学习率过小导致收敛速度慢的问题,提出新的组合激活函数relu-softsign.分析激活函数在训练过程中的作用,给出激活函数在设计时需要考虑的要点;根据这些要点,将relu和softsign函数于x轴正、负半轴进行分段组合,使其x负半轴导数不再恒为零;分别在MNIST、PI100、CIFAR-100和Caltech256数据集上,与单一的激活函数和relu-softplus组合激活函数进行对比实验.实验结果表明,使用relu-softsign组合激活函数提高了模型分类准确率,简单有效地缓解了神经元不可逆"坏死"现象;加快了模型的收敛速度,在复杂数据集上该组合函数的收敛性能更好. 展开更多
关键词 图像分类 卷积神经网络 激活函数 relu 神经元坏死 组合激活函数
暂未订购 下载PDF
Interpretation and characterization of rate of penetration intelligent prediction model 认领 引用 被引量：6
19
作者 Zhi-Jun Pei Xian-Zhi Song +3 位作者 Hai-Tao Wang Yi-Qi Shi Shou-Ceng Tian Gen-Sheng Li 《Petroleum Science》 SCIE EI CAS CSCD 2024年第1期582-596,共15页
Accurate prediction of the rate of penetration(ROP)is significant for drilling optimization.While the intelligent ROP prediction model based on fully connected neural networks(FNN)outperforms traditional ROP equations... Accurate prediction of the rate of penetration(ROP)is significant for drilling optimization.While the intelligent ROP prediction model based on fully connected neural networks(FNN)outperforms traditional ROP equations and machine learning algorithms,its lack of interpretability undermines its credibility.This study proposes a novel interpretation and characterization method for the FNN ROP prediction model using the Rectified Linear Unit(ReLU)activation function.By leveraging the derivative of the ReLU function,the FNN function calculation process is transformed into vector operations.The FNN model is linearly characterized through further simplification,enabling its interpretation and analysis.The proposed method is applied in ROP prediction scenarios using drilling data from three vertical wells in the Tarim Oilfield.The results demonstrate that the FNN ROP prediction model with ReLU as the activation function performs exceptionally well.The relative activation frequency curve of hidden layer neurons aids in analyzing the overfitting of the FNN ROP model and determining drilling data similarity.In the well sections with similar drilling data,averaging the weight parameters enables linear characterization of the FNN ROP prediction model,leading to the establishment of a corresponding linear representation equation.Furthermore,the quantitative analysis of each feature's influence on ROP facilitates the proposal of drilling parameter optimization schemes for the current well section.The established linear characterization equation exhibits high precision,strong stability,and adaptability through the application and validation across multiple well sections. 展开更多
关键词 Fully connected neural network Explainable artificial intelligence Rate of penetration ReLU active function Deep learning Machine learning
暂未订购 下载PDF
基于卷积神经网络的火焰识别 认领 引用 被引量：6
20
作者 段锁林 刘福 +2 位作者 高仁洲 王一凡 潘礼正 《计算机工程与设计》 北大核心 2019年第11期3288-3292,3298,共5页
针对卷积神经网络在火焰识别应用中受复杂环境背景影响无法充分提取火焰特征的问题,提出一种多通道输入结合策略。在网络输入层,根据LMDB数据源制作过程中提供的火焰区域坐标获取火焰区域,对火焰区域的RGB这3个通道图像分别做灰度和二... 针对卷积神经网络在火焰识别应用中受复杂环境背景影响无法充分提取火焰特征的问题,提出一种多通道输入结合策略。在网络输入层,根据LMDB数据源制作过程中提供的火焰区域坐标获取火焰区域,对火焰区域的RGB这3个通道图像分别做灰度和二值化处理,结合形成9通道的三维数据作为网络的输入;提出一种改进的Relu激活函数,使用两个参数分别控制正负区域斜率,弥补原Relu函数负区域为0强制引入稀疏性的缺点,通过减小Relu正区域斜率,平衡特征数量,降低过拟合风险。实验中重新构建卷积神经网络模型,设置网络参数,通过实验获取最佳Relu改进参数,实验结果表明,该方法对火焰识别精度有显著提高。 展开更多
关键词 卷积神经网络 特征提取 火焰识别 多通道输入 Relu函数
暂未订购 下载PDF
已选0条
引用分析
参考文献
引证文献
 统计分析
检索结果
已选文献
上一页 1 2 3 下一页 到第 页
在线咨询 使用帮助 返回顶部 意见反馈