梯度消失的几何条件，这本质上是一个连续线性映射的范数放缩问题。”
齐物抬手在虚空中比划了一下：“將第l层到第l层的反向传播看作是多个雅可比矩阵的连乘：
j=n（k=l）→（l-1）diag（σz^（k））w^（k+1）
取其谱范数‖j‖?。如果每一层的权重矩阵初始化使得‖w‖?·‖σ‖∞amp;lt;1，那么根据范数的次乘法性，连乘后的雅可比矩阵谱范数將以指数级衰减，即liml→∞‖j‖?=0。这就是梯度消失的必然几何条件。
反之，若大於1，则发生梯度爆炸。
为了避免这个问题，你需要引入残差连接或者正交初始化策略。
这里一时半会说不清楚，我要下课了，再见哈。”
齐物说完，拿起手机，转身走向教学楼。
小林坐在长椅上，嘴巴张得能塞下一个鸡蛋。
草稿纸都没用，就给出了张量表达式？
这傢伙绝对不是学渣，成绩榜有误！
他连忙掏出手机，拨通了张宙的电话，激动地道：“张总，信息有误，齐物……他绝不是学渣！我出了两道题考他，都是不到一分钟就算出来了！
他可能就是我们要找的人！”
电话那头的张宙沉默了半晌，道：“我知道了。”
此时他刚跟著王德发主任，踏进了兰苍二中陈校长的办公室。
他放下手机，道：“张局、陈校长、王主任，重新认识一下，我是阿力八八达摩院首席ai科学家，张宙。”
王德发愣住了：“啊？您不是来设置奖学金的吗？”
“不全是。”
张宙道，“我星夜兼程，从杭城赶到兰苍县，只为了寻找贵校一名叫齐物的学生。”
“齐物？”
王德发再次愣住，齐物的大名已经传到杭城了吗？
不仅琅琊一中抢人，就连阿力八八这种华夏顶级大企业都对他感兴趣？
“齐物？摸底考数学物理满分的那名同学吗？”
陈校长也没想到阿力八八首席科学家竟然会亲自蒞临兰苍二中，亲切地沏茶，“他摸底考600多分吧。”
“是的，校长，齐物摸底考数理满分，总分615。”
我去……
张宙倒吸一口凉气。
看来信息果然有误！
他刚刚才看过，两个月前的高二期末考试，齐物的成绩仅仅是452，数理不及格。
两个月，提分160，数理双满分？
亏贼！
差点错过一个天才！
他接过陈校长的茶，又抖出一个惊天消息：“陈校长，王主任，贵校的齐物同学，在我们阿力八八全球数学竞赛预赛中的成绩，排名全球第一。我此次前来，是为了和齐物见个面，拍点物料宣传视频，请贵校大力支持。”