4.3 线性回归的改进-岭回归

学习目标

  • 目标
    • 说明岭回归的原理即与线性回归的不同之处
    • 说明正则化对于权重参数的影响
    • 说明L1和L2正则化的区别
  • 应用
    • 波士顿房价预测
  • 内容预览
    • 4.3.1 带有L2正则化的线性回归-岭回归
      • 1 API
      • 2 观察正则化程度的变化,对结果的影响?
      • 3 波士顿房价预测

4.3.1 带有L2正则化的线性回归-岭回归

岭回归,其实也是一种线性回归。只不过在算法建立回归方程时候,加上正则化的限制,从而达到解决过拟合的效果

1 API

  • sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver="auto", normalize=False)
    • 具有l2正则化的线性回归
    • alpha:正则化力度,也叫 λ
      • λ取值:0~1 1~10
    • solver:会根据数据自动选择优化方法
      • sag:如果数据集、特征都比较大,选择该随机梯度下降优化
    • normalize:数据是否进行标准化
      • normalize=False:可以在fit之前调用preprocessing.StandardScaler标准化数据
    • Ridge.coef_:回归权重
    • Ridge.intercept_:回归偏置
All last four solvers support both dense and sparse data. However,
only 'sag' supports sparse input when `fit_intercept` is True.

Ridge方法相当于SGDRegressor(penalty='l2', loss="squared_loss"),只不过SGDRegressor实现了一个普通的随机梯度下降学习,推荐使用Ridge(实现了SAG)

  • sklearn.linear_model.RidgeCV(_BaseRidgeCV, RegressorMixin)
    • 具有l2正则化的线性回归,可以进行交叉验证
    • coef_:回归系数
class _BaseRidgeCV(LinearModel):
    def __init__(self, alphas=(0.1, 1.0, 10.0),
                 fit_intercept=True, normalize=False, scoring=None,
                 cv=None, gcv_mode=None,
                 store_cv_values=False):

2 观察正则化程度的变化,对结果的影响?

正则化力度

  • 正则化力度越大,权重系数会越小
  • 正则化力度越小,权重系数会越大

3 波士顿房价预测

def linear3():
    """
    用岭回归的方法进行对波士顿房价预测的案例
    :return: None
    """
    # 1、获取数据集
    boston = load_boston()
    # print("boston:\n", boston)
    # 2、划分数据集
    x_train, x_test, y_train, y_test = train_test_split(boston.data, boston.target, random_state=6)
    # 3、特征工程:标准化
    # 1)实例化一个转换器类
    transfer = StandardScaler()
    # 2)调用fit_transform
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
    # 4、线性回归的预估器流程
    estimator = Ridge()
    estimator.fit(x_train, y_train)
    y_predict = estimator.predict(x_test)
    print("岭回归求出模型参数的方法预测的房屋价格为:\n", y_predict)
    # 5、得出模型
    print("岭回归求出的回归系数为:\n", estimator.coef_)
    print("岭回归求出的偏置为:\n", estimator.intercept_)
    # 6、模型评估——均方误差
    error = mean_squared_error(y_test, y_predict)
    print("岭回归的均方误差为:\n", error)
    return None