机器学习重点（面试/期末）

1 回归问题1.1 线性回归1.1.1 定义回归机器学习里用来预测连续数值的任务。线性自变量和预测目标之间满足一次函数关系图像是直线 / 平面 / 超平面没有曲线、弯折。线性回归就是用线性函数根据已知特征预测一个连续型数值。1.1.2 案例(银行贷款额度)1. 问题设定目标银行根据年龄(X1X_1X1​)、月工资(X2X_2X2​)预测可发放的贷款额度(YYY)这就是二元线性回归2个特征、1个预测值。自变量特征X1X_1X1​ 年龄X2X_2X2​ 月工资因变量预测目标YYY 银行贷款额度2. 多元线性回归公式二元线性回归通用方程Yw0w1X1w2X2 Y w_0 w_1 X_1 w_2 X_2Yw0​w1​X1​w2​X2​符号解释结合贷款场景w0w_0w0​偏置项基础贷款额度所有人默认的基准额度w1w_1w1​年龄权重w2w_2w2​工资权重3. 几何理解一元线性回归是二维直线二元线性回归是三维空间中的一个平面。(1) 坐标轴定义三维图三维坐标系三个轴X轴 (X1X_1X1​)年龄横向轴Y轴 (X2X_2X2​)月工资纵深轴Z轴 (YYY)贷款额度垂直高度轴(2) 图形含义每一组(年龄, 工资, 贷款额)就是三维空间里一个散点线性回归的目标找到一个平面让所有真实散点尽量贴近这个平面这个平面方程就是Zw0w1X1w2X2\boldsymbol{Z w_0 w_1 X_1 w_2 X_2}Zw0​w1​X1​w2​X2​。3. 模型训练逻辑简单版银行手里有大量历史客户数据(年龄, 工资, 实际放款额)随机初始化w0,w1,w2w_0,w_1,w_2w0​,w1​,w2​得到一个初始平面计算预测贷款额和真实贷款额的差距损失/误差不断调整w0,w1,w2w_0,w_1,w_2w0​,w1​,w2​让误差越来越小误差最小时平面固定模型训练完成即可用来给新客户预估贷款。