企业官网建设流程全解析

网站建设功能的策划书,网站建设交付形式,网站后台登陆验证码不显示,做百度关键词网站从数值微分到梯度下降#xff1a;深度学习的基石 在深度学习的世界里#xff0c;梯度下降算法是训练神经网络的基石。而要理解梯度下降#xff0c;首先要掌握数值微分这个关键概念。 导数#xff1a;变化的瞬间捕捉 想象你正在跑马拉松#xff0c;前10分钟跑了2千米。你的…从数值微分到梯度下降深度学习的基石在深度学习的世界里梯度下降算法是训练神经网络的基石。而要理解梯度下降首先要掌握数值微分这个关键概念。导数变化的瞬间捕捉想象你正在跑马拉松前10分钟跑了2千米。你的平均速度是0.2千米/分但真正的速度是瞬间变化量这就是导数的本质。数学上导数定义为df(x)dxlim⁡h→0f(xh)−f(x)h \frac{df(x)}{dx} \lim_{h \to 0} \frac{f(xh) - f(x)}{h}dxdf(x)​h→0lim​hf(xh)−f(x)​数值微分的实现陷阱初学者可能会这样实现# 不好的实现示例defnumerical_diff(f,x):h10e-50return(f(xh)-f(x))/h这里有两个问题舍入误差h太小会导致计算机精度问题前向差分不准确不是真正的切线斜率改进方案中心差分法defnumerical_diff(f,x):h1e-4# 0.0001避免舍入误差return(f(xh)-f(x-h))/(2*h)# 中心差分更准确图4-5展示了真导数蓝色切线与数值微分红色近似线的区别前向差分计算(xh)和x之间的斜率中心差分以x为中心计算左右两侧的平均斜率误差更小实战示例简单函数的数值微分考虑二次函数y0.01x20.1x y 0.01x^2 0.1xy0.01x20.1xPython实现deffunction_1(x):return0.01*x**20.1*x# 计算在x5处的数值微分print(numerical_diff(function_1,5))# 输出0.1999999999990898解析解为dydx0.02x0.1\frac{dy}{dx} 0.02x 0.1dxdy​0.02x0.1在x5处真导数为0.2。我们的数值微分结果0.1999999999990898误差极小图4-7展示了用数值微分计算的切线在x5和x10处红色切线完美贴合蓝色曲线。多变量函数偏导数的挑战当函数有多个变量时如f(x0,x1)x02x12 f(x_0, x_1) x_0^2 x_1^2f(x0​,x1​)x02​x12​我们需要计算偏导数只对一个变量求导其他变量视为常数。计算x03,x14x_03, x_14x0​3,x1​4时关于x0x_0x0​的偏导数# 固定x14创建单变量函数deffunction_tmp1(x0):returnx0*x04.0**2.0print(numerical_diff(function_tmp1,3.0))# 输出6.00000000000378解析解 vs 数值解解析求导基于数学公式推导如ddxx22x\frac{d}{dx}x^2 2xdxd​x22x数值微分基于微小差分近似有计算误差但通用性强为什么这对深度学习重要神经网络训练梯度下降需要计算损失函数对每个参数的偏导数反向传播核心是链式法则求导数值微分可用于验证无法解析求导时某些复杂函数没有简单导数公式数值微分是唯一选择关键要点数值微分用有限差分近似导数中心差分比前向差分更准确偏导数是多变量函数沿特定方向的变化率h的选择很关键太小有舍入误差太大近似不准确数值微分是理解梯度的第一步为优化算法奠定基础掌握数值微分不仅帮助你理解数学原理更是打开深度学习大门的钥匙。在下篇文章中我们将探讨如何从数值微分扩展到梯度下降算法敬请期待