手机浏览器扫描二维码访问
故事比喻:只有积极反馈的老师(ReLU函数)
在一所小学里,有一位特别的数学老师——小张老师,他的教学方式很独特:
1.如果学生答对了题目,他就会大声表扬:“很好!
继续加油!”
2.如果学生答错了,他什么都不说,不批评也不惩罚,就像没听见一样。
这个老师的教学方式就像ReLU(修正线性单元)激活函数——它只保留正面的信息(正值),对负面的信息(负值)完全忽略。
ReLU的数学规则
ReLU函数的公式是:
简单来说:
?输入是正数(好消息)→保留!
?输入是负数(坏消息)→直接归零!
这就像小张老师的教学方式,学生回答正确(正反馈),他给予鼓励;学生回答错误(负反馈),他不做任何反应,不给负面打击。
另一种比喻:运动员的训练(ReLU只关注正面成长)
想象一位跑步训练的运动员,他每天都记录自己的跑步成绩:
1.如果今天比昨天跑得快了(进步了),他就把这次成绩记录下来。
2.如果今天比昨天慢了(退步了),他就忽略这次成绩,不让它影响心态。
这个训练方法就像ReLU,它专注于“有用的进步”
,而不会让负面的信息拖后腿。
为什么AI需要ReLU?
在神经网络里,ReLU的作用就像让学习过程更高效:
只关注有用的信息:
?如果某个神经元的计算结果是正的(有用的特征),ReLU让它通过。
?如果结果是负的(没用的特征),ReLU直接丢弃,避免干扰学习。
计算简单,速度快:
?传统的Sigmoid函数有复杂的指数计算,而ReLU只需要判断**“大于0还是小于0”
**,计算更快,更适合深度学习。
让神经网络更深更强:
?在深度学习里,ReLU能防止梯度消失问题,使神经网络能够学习更复杂的模式。
结论:ReLU让神经网络专注于“有用的成长”
它就像一位“只给正面反馈的老师”
或“专注于进步的运动员”
,让AI更快地学习有效的信息,丢弃无用的数据,从而提高计算效率!
思考:你在生活中,有没有遇到类似ReLU的情境?比如某些人只关注好消息,而不理会坏消息?这种策略在什么情况下是优点,什么情况下可能有缺点?
ReLU的优缺点:只关注“好消息”
,但可能忽略重要信息
虽然ReLU在神经网络中非常流行,但它并不是完美的,它的特点决定了它既有优点,也有一些潜在的问题。
ReLU的优点:更快、更强、更稳定
1.计算速度快
ReLU只需要简单地判断**“是否大于0”
**,不像Sigmoid或tanh需要复杂的指数运算,因此它能让神经网络计算得更快。
当樊雅下定决心解除与容浔这场充斥着背叛死亡痛苦的婚姻时,她狗血的遇到了车祸,然后更狗血的,重生在五年婚姻噩梦的开端,她跟他的新婚夜,既然老天让她再活一遍,她就按照自己的心意好好活一遍,改变她的生活状态,开拓她的事业,最重要的是,远离容浔。远离了他,噩梦就只会是场梦了。可她都已经主动离开了,怎么反而他靠近了过来,明明,他根本不爱她的。看名门千金一跃而成商业贵女,谁说,娇生惯养的公主只能与王子在一起,她一转身,便是光芒璀璨的骄傲女皇。红薯网授权作品...
新书绝望之城已经上传,请支持雪花的读者同样支持我的新书! 下划线 2020年,美国雷塞尔研究室研究出一款可以将人类变成僵尸的生化病毒,这个本应该被销毁的灾难却因为人类的贪婪而在人群中爆发出来,无数人被感染,城市变成了废墟,田野上到处都是游荡着的僵尸,当末日来临之后,只有极少数的人类幸存了下来。 本书讲诉的就是在末日之后一个少年带领着他的追随者们重建家园的故事。 末日过后书友交流Q群56475246 火爆收人中。...
诅咒篇芽幺本是花鸟高中一名隐世的道士,却被一群诅咒任务执行者牵扯进无尽诅咒鬼魂之中,他现自己所遇见的鬼魂和平常的鬼魂不一样。于是,他对诅咒源头展开了调查,最后惊骇的现禁忌鬼术篇心术不正的鬼术道士,为寻长生之方,残忍的用活人来当祭品,延长自己的寿命。养小鬼,纵鬼行凶妖界王位篇身负妖族血脉的芽幺被卷入妖界的王位王位争夺中,且看他如何勇斗妖族王子墓穴僵尸篇听说s市的一座千年古墓内有消除诅咒的物品,芽幺第一时间赶了过去,开始了他的古墓之旅,却没料到斗魔篇顾名思义,与魔界争斗,为了破开诅咒救出深陷诅咒的人阳阴灵术兄弟书阴阳邪术...
...
如果你余下的生命,只有几个小时,你会做什么?是安静的等待,度过最后的时光,还是放手一搏,为生存而耗尽最后一丝力气?行走在阴影之中,暗黑是最好的掩护,邪恶的符文印刻在眼中,用手中的匕首,刺破死亡的浓雾!本书Q群228047473,喜欢本书的朋友进来聊天打屁新书绝世武圣已上传,求各种支持!...
麻雀变千金,千金变麻雀,据说被抱错交换回来的战斗家族夙家嫡女夙夜,资质平庸,个性懦弱,是个处处被人嘲笑与欺负的废物,却爱上了从小与她指腹为婚的罗兰国丞相之子白子诺。本以为白子诺是她的良人,却不想她所爱非人,被当场退婚不说,白子诺还直言想娶的是莫家千金莫雪晴,那个抢了她身份十六年的人来自华夏国中国龙组的夙夜,一朝重生醒来面对所有人的嘲笑,眼神中却充满了讥诮和不屑。说她是废物的人被她狠狠打了脸,她可是召唤师药剂师全能魔法师如果她都是废物,谁还能比她更天才?今岂看一代枭雄如何光芒万丈,又如何谱写属于自己的传奇,并过上勾搭美男吃吃喝喝的幸福生活。小剧场某日穆泽与好友下棋之时,嘲笑叶绝是个妻管严,宫女忽然飞扑而至跪地。不好了不好了,皇妃把宫里的侍卫给打了。哦,让她打。过了一会另一名宫女飞扑而至,跪了下来。不好了皇妃打了人,拿了宫中的几件宝物离宫出走了哦,让她拿。又过了一会又一名宫女飞扑而至,跪地呐喊不好了,皇妃穆泽皱眉,这都今天第三个不好了,还让不让人好好下棋了,于是他冷声道皇妃又怎么了?小宫女支支吾吾了半天总算说出一句完整的话皇妃把宫中新选出的美男全部带出去了。话还没说完穆泽就不见了身影,叶绝讽刺一笑,笑意还未达眼底,宫女再次启唇,怀瑾王妃也在一起。...