手机浏览器扫描二维码访问
第606章 用故事解释softmax函数的溢出问题（第1页）
用故事解释softmax函数的溢出问题
故事背景：龙族宴会上的金碗
在一座神秘的龙族王国，龙族每年都会举行一次盛大的宴会，宴会上有一个传统：每条龙要把自己的财富（金币数量）放进一个金碗，然后让智慧长老计算每条龙的“财富占比”，来决定谁是这一年的财富之王。
宴会当天，四条龙分别报出了自己的金币数量：
?
火龙：100万金币
?
冰龙：200万金币
?
雷龙：300万金币
?
风龙：10亿金币
智慧长老准备使用一个古老的计算方法——softmax规则，将这些财富转换成概率来比较。但他很快发现了一个严重的问题：
金碗炸了！
为什么？因为按照softmax的计算方法，他需要计算每个金币数量的指数值：
但这些数值实在是太大了，远远超出了王国的计算能力，直接导致金碗崩溃（计算溢出）。
智慧长老陷入了困境，他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧：
“我们不直接放金币，我们可以先让大家的金币数减去最大的金币数！”
于是，他重新计算：
?
火龙的金币数变为
100万
-
10亿
=
-9.99亿
?
冰龙的金币数变为
200万
-
10亿
=
-9.98亿
?
雷龙的金币数变为
300万
黑芒科技之途 穿越兽世，日日扶腰求放过 玉孤 万星吞天诀 迷雾中的真相：侦探手记 夺我灵根骂我狠？先天绝情圣体已成！ 女将带球跑后，死对头一夜哭白头 我是赵梦凡 兵王在地府的甜蜜生活 开局校花太太向我道歉，东京末日 徒儿快下山，你师姐等不及了 混沌疯魔 神谕之十二生肖 鬼怪奇谭：兵王与小仙女 重生后被亿万富豪逼婚，渣男傻眼 黄帝内经百姓版 我一身神功全靠努力，给我变身！ 叶尘：重生在赘婿逆袭之路 夫人算卦缺灵力，亲口冷面侯爷加气运 尸之仙
娱乐春秋
架空异界，武道百家。现代人告诉他们，除了修行，还有很多方法可以得到你想要的东西。要做江湖上人人追捧的少侠？嗯，这个简单，只是要看你的诚意比如让你师妹来...
我家娘子乖巧，一掌呼飞全城老少
战火纷飞的西域，封小侯爷浑身血污从前线下来，伤痕累累。眉目娇软的小姑娘默默不说话，只是看着浑身是伤的少年啪嗒啪嗒掉眼泪，俊美张扬，惊才绝艳的少年哭笑不得，粗粝的指腹给她抹泪，宝贝儿，别哭，小爷没事儿！小姑娘点点头，然后委屈的擦着泪，趁封小侯爷休憩的时候排兵布阵，一举拿下了西域。国子监人骚嘴贱封小侯爷×身份神秘软...
晚明
...
女侠且慢
女侠且慢，你可知我是什么人？知道，女帝身边的宠臣，反贼头目的相好，江湖名门的少主。脚踏三只船，我砍得就是你！...
抗战之血肉丛林
关于抗战之血肉丛林岛寇荼毒，痛及滇西，谁无血气，忍弃边陲，桓桓将士，不顾艰危，十荡十决，甘死如饴，座中有圹，名勒丰碑，檩檩大义，昭示来兹。谨以此文献给曾经为了保卫国家出国在缅甸与倭寇决一死战的远征军将士们！历史不会忘记，中国人不会忘记，虽然你们曾经被记忆尘封，但是时间也绝不会让你们永远蒙尘！...
大豪门
馅饼，说好的豪门风云世家恩怨呢？有。自己看书！馅饼，说好的江湖快意儿女情仇呢？有。自己看书！馅饼，说好的纨绔嚣张衙内跋扈呢？有。自己看书！馅饼，说好的狗血装逼扮猪吃虎呢？有。自己看书！馅饼，说好的医卜星象天机莫测呢？嚓，你有完没完？有，都有！不会自己看书啊？好，我看书去了，看得不爽，削你！那看得爽了呢？要不要给票？...