导语
激活函数是神经网络模型的重要组成部分。了解常用激活函数的特性，并可以根据工程需要和模型表现选择合适的激活函数，是算法工程师的基本功。本篇文章，就让我们一起来复习一下这些常用的激活函数。
常用激活函数
点击上方“大数据与人工智能”，“星标或置顶公众号”
第一时间获取好内容
作者丨stephenDC
编辑丨zandy
这是作者的第17篇文章
常用的激活函数
![]()
小结
本文列举的一些激活函数，取自腾讯的开源项目Angel，都是工程上比较常用的。不过，本文为了说明问题，没有严格给出工程里的函数形式，工程里对Sigmoid函数和Tanh函数的输出，均做了一定阈值限定，当|x|≥t时，直接输出1。