行业报告 AI展会 数据标注 数据集
投稿发布
您的当前位置:主页 > 机器学习 > 正文

Dynamic ReLU:微软推出提点神器,可能是最好的R

来源: 时间:2020-09-16
 
Introduction
ReLU是中很重要的里程碑,简单但强大,能够极大地提升的性能。目前也有很多ReLU的改进版,比如Leaky ReLU和 PReLU,而这些改进版和原版的最终参数都是固定的。所以论文自然而然地想到,如果能够根据输入特征来调整ReLU的参数可能会更好。

 

 

 
Definition and Implementation of Dynamic ReLU

 

 

Relation to Prior Work

 

 

Variations of Dynamic ReLU

 

论文提供了三种形态的DY-ReLU,在空间位置和维度上有不同的共享机制:
 

 

 

 

Experimental Results

 

图像分类对比实验。

 

关键点识别对比实验。

 

与ReLU在ImageNet上进行多方面对比。

 

与其它激活函数进行实验对比。

 

可视化DY-ReLU在不同block的输入输出以及斜率变化,可看出其动态性。
 
Conclustion
论文提出了动态ReLU,能够根据输入动态地调整对应的分段激活函数,与ReLU及其变种对比,仅需额外的少量计算即可带来大幅的性能提升,能无缝嵌入到当前的主流模型中。前面有提到一篇APReLU,也是做动态ReLU,子网结构十分相似,但DY-ReLU由于的存在,可能性和效果比APReLU更大。
 
声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编删除,谢谢
 
 

人工智能交流群扫码邀请
人工智能交流群扫码邀请


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
数据标注服务

Copyright©2005-2020 Sykv.com 可思数据 版权所有    京ICP备14056871号

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注行业联盟

人工智能资讯   人工智能资讯   人工智能资讯   人工智能资讯

人工智能资讯
扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭