积极 AI Logo 积极 AI

最小二乘问题的不同正则化方法比较

最小二乘问题的不同正则化方法比较
几何画板及绘图内容加载中，请稍等……
2016-03-11 22:55
向量函数概率统计矩阵最值优化
该范例通过二维矩阵A和向量b，演示了最小二乘函数f(x)=0.5*||Ax-b||^2在不同正则化过程下的极小化路径。核心数学概念包括最小二乘、正则化（如Tikhonov）、奇异值分解、噪声扰动以及解的稳定性。作图要点：利用GeoGebra的RandomNormal生成随机噪声，CurveCartesian绘制中心路径和噪声解区域，If条件控制停止规则；涉及对象包括矩阵A、向量b、噪声向量、奇异值分解的U和V、特征值lambda，以及alpha参数和停止规则alpha_stopping rule。适合大学线性代数、数值分析或优化课程，用于直观理解正则化如何平衡拟合误差与解范数，以及噪声对解的影响。

GeoGebra 命令及参数

  1. RandomNormal(0, delta) → rand_y
  2. RandomNormal(0, delta) → rand_x
  3. CurveCartesian((coord_x(u, b_1 + x(epsilon), b_2 + y(epsilon)), coord_y(u, b_1 + x(epsilon), b_2 + y(epsilon))), u, 0, 200) → NoisyCentralPath
  4. CurveCartesian((coord_x(u, b_1, b_2), coord_y(u, b_1, b_2)), u, 0, 200) → CentralPath
  5. If(lambda_1 ≠ 0, 1 / lambda_1, 0) → invLambda_1
  6. If(lambda_2 ≠ 0, 1 / lambda_2, 0) → invLambda_2
  7. CurveCartesian(x(x_{solution}) + exptAA_x(t, x(x_0) - x(x_{solution}), y(x_0) - y(x_{solution})), y(x_{solution}) + exptAA_y(t, x(x_0) - x(x_{solution}), y(x_0) - y(x_{solution})), t, 0, NumberIterationSteepestDescent) → SteepestDescent
  8. CurveCartesian(x(x_{Noisy solution}) + exptAA_x(t, x(x_0) - x(x_{Noisy solution}), y(x_0) - y(x_{Noisy solution})), y(x_{Noisy solution}) + exptAA_y(t, x(x_0) - x(x_{Noisy solution}), y(x_0) - y(x_{Noisy solution})), t, 0, NumberIterationSteepestDescent) → NoisySteepestDescent
  9. CurveCartesian((1 / (1 + t) * exptAA_x(t, x(x_0 - x_{solution}) + invtAA_x(x(x_{solution}), y(x_{solution})), y(x_0 - x_{solution}) + invtAA_y(x(x_{solution}), y(x_{solution})))) - (1 / (1 + t) * invtAA_x(x(x_{solution}), y(x_{solution}))) + x(x_{solution}), (1 / (1 + t) * exptAA_y(t, x(x_0 - x_{solution}) + invtAA_x(x(x_{solution}), y(x_{solution})), y(x_0 - x_{solution}) + invtAA_y(x(x_{solution}), y(x_{solution})))) - (1 / (1 + t) * invtAA_y(x(x_{solution}), y(x_{solution}))) + y(x_{solution}), t, 0, (2 * NumberIterationSteepestDescent)) → DiagonalTikhonov_1
  10. CurveCartesian((1 / (1 + t) * exptAA_x(t, x(x_0 - x_{Noisy solution}) + invtAA_x(x(x_{Noisy solution}), y(x_{Noisy solution})), y(x_0 - x_{Noisy solution}) + invtAA_y(x(x_{Noisy solution}), y(x_{Noisy solution})))) - (1 / (1 + t) * invtAA_x(x(x_{Noisy solution}), y(x_{Noisy solution}))) + x(x_{Noisy solution}), (1 / (1 + t) * exptAA_y(t, x(x_0 - x_{Noisy solution}) + invtAA_x(x(x_{Noisy solution}), y(x_{Noisy solution})), y(x_0 - x_{Noisy solution}) + invtAA_y(x(x_{Noisy solution}), y(x_{Noisy solution})))) - (1 / (1 + t) * invtAA_y(x(x_{Noisy solution}), y(x_{Noisy solution}))) + y(x_{Noisy solution}), t, 0, (2 * NumberIterationSteepestDescent)) → NoisyDiagonalTikhonov

AI 绘图提示语参考

绘制一个数学图形，展示最小二乘函数f(x)=0.5*||Ax-b||^2的极小化过程，包含中心路径和受随机噪声影响的解区域。图形需突出不同正则化方法（如Tikhonov）对解路径的影响，并可视化噪声扰动下的停止规则。关键对象包括一个2x2矩阵、一个2x1向量、噪声向量和SVD分解的组件（U、V、特征值），以及正则化参数。中心路径和噪声区域用曲线表示，正则化路径通过迭代下降法得到，展示解的稳定性。
以上提示语为根据原始绘图命令整理而来，仅供参考。