荨默小说网

手机浏览器扫描二维码访问

第583章 激活函数（第1页）

激活函数是什么？——用故事和比喻讲解

故事比喻：门卫老张的筛选机制

想象一个大型科技公司的总部大楼，每天有很多人想进公司。但并不是所有人都能进去，只有符合某些条件的员工才能进入工作，而其他人要被拦在门外。

这座大楼的门口站着一个门卫——老张。他的任务是检查进来的人，决定谁能进，谁不能进。他的决策规则就像神经网络中的“激活函数”！

第一种情况：老张完全放行（恒等函数）

有一天，老张心情很好，他决定：“今天所有人都能进！”

?

不管是正式员工、游客，还是快递小哥，只要有人过来，老张就让他们进大楼。

?

这就像是**“线性函数”或“恒等函数”**（identity

function），没有任何筛选，数据怎么进来，就怎么传递出去。

问题：

?

如果门口有太多人，会导致办公楼人满为患，甚至干扰员工工作（信息过载）。

?

这种情况下，神经网络可能无法学习复杂的特征，因为它没有任何“过滤”或“激活”机制。

第二种情况：老张只让合格员工进（re露

激活函数）

第二天，公司老板告诉老张：“从现在开始，只有正式员工能进，其他人一律不准进！”

?

于是，如果有人出示正式员工证，老张就让他进去。

?

但如果是游客、闲杂人等，老张直接摇头：“不行，回去吧！”

这就像re露（修正线性单元）激活函数：

?

如果输入是正数（正式员工），就直接通过，传递给下一层神经网络。

?

如果输入是负数（闲杂人等），直接变成

0，相当于拒绝进入。

优点：

?

过滤掉无用信息（负数变成

0，相当于屏蔽了一些干扰）。

?

计算简单，速度快，不会引入复杂的计算。

问题：

?

我是赵梦凡  万星吞天诀  夺我灵根骂我狠？先天绝情圣体已成！  夫人算卦缺灵力，亲口冷面侯爷加气运  黄帝内经百姓版  我一身神功全靠努力，给我变身！  重生后被亿万富豪逼婚，渣男傻眼  女将带球跑后，死对头一夜哭白头  鬼怪奇谭：兵王与小仙女  黑芒科技之途  穿越兽世，日日扶腰求放过  尸之仙  神谕之十二生肖  开局校花太太向我道歉，东京末日  兵王在地府的甜蜜生活  徒儿快下山，你师姐等不及了  玉孤  混沌疯魔  迷雾中的真相：侦探手记  叶尘：重生在赘婿逆袭之路