admin 管理员组文章数量: 887021
拉钩招聘数据机器学习建模(GBDT,XGBoost,LightGBM)⑤
boosting族算法:将一组弱学习器提升为强学习器的框架算法
以下boosting的分类:
Adaboost
GBDT
XGBoost
lightGBM
…
了解机器学习建模详情请戳
1.GBDT
GBDT 是常用的机器学习算法之一,因其出色的特征自动组合能力和高效的运算大受欢迎。
这里简单介绍一下 GBDT 算法的原理,以及实战。
1.1 决策树的分类
决策树分为两大类,分类树和回归树。
分类树用于分类标签值,如晴天/阴天/雾/雨、用户性别、网页是否是垃圾页面;
回归树用于预测实数值,如明天的温度、用户的年龄、网页的相关程度;
1.2 两者的区别:
分类树的结果不能进行加减运算,晴天 晴天没有实际意义;
回归树的结果是预测一个数值,可以进行加减运算,例如 20 岁 3 岁=23 岁。
GBDT 中的决策树是回归树,预测结果是一个数值,在点击率预测方面常用 GBDT,例如用户点击某个内容的概率、例如明天的温度、用户的年龄等等,而且对基于回归树所得到的数值进行加减是有意义的(例如10岁+5岁-3岁=12岁),这是区别于分类树的一个显著特征(毕竟男+女=是男是女?,这样的运算是毫无道理的)。GBDT在运行时就使用到了回归树的这个性质,它将累加所有树的结果作为最终结果。所以,GBDT中的所有决策树都是回归树,而非分类树。
1.3 GBDT 概念
GBDT 的全称是 Gradient Boosting Decision Tree,梯度提升决策树。
要理解 GBDT,首先就要理解这个 B(Boosting)。
Boosting 是一族可将弱学习器提升为强学习器的算法,属于集成学习(ensemble learning)的范畴。Boosting 方法基于这样一种思想:对于一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,要比其中任何一个专家单独的判断要好。通俗地说,就是"三个臭皮匠顶个诸葛亮"的道理。
基于梯度提升算法的学习器叫做 GBM(Gradient Boosting Machine)。理论上,GBM 可以选择各种不同的学习算法作为基学习器。GBDT 实际上是 GBM 的一种情况。
为什么梯度提升方法倾向于选择决策树作为基学习器呢?(也就是 GB 为什么要和 DT 结合,形成 GBDT) 决策树可以认为是 if-then 规则的集合,易于理解,可解释性强,预测速度快。同时,决策树算法相比于其他的算法需要更少的特征工程,比如可以不用做特征标准化,可以很好的处理字段缺失的数据,也可以不用关心特征间是否相互依赖等。决策树能够自动组合多个特征。
不过,单独使用决策树算法时,有容易过拟合缺点。所幸的是,通过各种方法,抑制决策树的复杂性,降低单颗决策树的拟合能力,再通过梯度提升的方法集成多个决策树,最终能够很好的解决过拟合的问题。由此可见,梯度提升方法和决策树学习算法可以互相取长补短,是一对完美的搭档。
至于抑制单颗决策树的复杂度的方法有很多,比如限制树的最大深度、限制叶子节点的最少样本数量、限制节点分裂时的最少样本数量、吸收 bagging 的思想对训练样本采样(subsample),在学习单颗决策树时只使用一部分训练样本、借鉴随机森林的思路在学习单颗决策树时只采样一部分特征、在目标函数中添加正则项惩罚复杂的树结构等。
1.4 GBDT实战
1.4.1 观察数据
import pandas as pd
import numpy as npdf = pd.read_csv('./lagou_featured.csv', encoding='gbk')
print(df.shape)
pd.options.display.max_columns = 999
print(df.head())
1.4.2 数据准备训练集,测试集
import matplotlib.pyplot as plt
plt.hist(df['salary'])
plt.show()
X = df.drop(['salary'], axis=1).values
y = df['salary'].values.reshape((-1, 1))
#print(X.shape, y.shape)
1.4.3 建立GradientBoostingRegressor模型
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)#划分训练集,测试集
print(X_train.shape, y_train.shape, X_test.shape, y_test.shape)
from sklearn.ensemble import GradientBoostingRegressor
model = GradientBoostingRegressor(n_estimators = 100, max_depth = 5)
model.fit(X_train, y_train)from sklearn.metrics import mean_squared_error
y_pred = model.predict(X_test)
print(np.sqrt(mean_squared_error(y_test, y_pred)))##均方误差
print(y_pred[:10])
print(y_test[:10].flatten())
plt.plot(y_pred)
plt.plot(y_test)
plt.legend(['y_pred', 'y_test'])
plt.show()
效果一般,预测出中心值,无法预测两端的值
1.4.4 目标变量对数化处理
X_train, X_test, y_train, y_test = train_test_split(X, np.log(y), test_size=0.3, random_state=42)
model = GradientBoostingRegressor(n_estimators = 100, max_depth = 5)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print(np.sqrt(mean_squared_error(y_test, y_pred)))
print(y_pred[:10])
print(y_test[:10].flatten())
plt.plot(np.exp(y_pred))
plt.plot(np.exp(y_test))
plt.legend(['y_pred', 'y_test'])
plt.show()
2.XGBoost
2.1 XGBoost
XGBoost是boosting算法的其中一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型,所以它是将许多树模型集成在一起,形成一个很强的分类器。而所用到的树模型则是CART回归树模型。
该算法思想就是不断地添加树,不断地进行特征分裂来生长一棵树,每次添加一个树,其实是学习一个新函数,去拟合上次预测的残差。当我们训练完成得到k棵树,我们要预测一个样本的分数,其实就是根据这个样本的特征,在每棵树中会落到对应的一个叶子节点,每个叶子节点就对应一个分数,最后只需要将每棵树对应的分数加起来就是该样本的预测值。
2.2 Xgboost 和 GBDT 的区别:
GBDT:
GBDT 它的非线性变换比较多,表达能力强,而且不需要做复杂的特征工程和特征变换。
GBDT 的缺点也很明显,Boost 是一个串行过程,不好并行化,而且计算复杂度高,同时不太适合高维稀疏特征;
传统 GBDT 在优化时只用到一阶导数信息。
Xgboost:
它有以下几个优良的特性:
- 显示的把树模型复杂度作为正则项加到优化目标中。
- 公式推导中用到了二阶导数,用了二阶泰勒展开。(GBDT 用牛顿法貌似也是二阶信息)
- 实现了分裂点寻找近似算法。
- 利用了特征的稀疏性。
- 数据事先排序并且以 block 形式存储,有利于并行计算。
- 基于分布式通信框架 rabit,可以运行在 MPI 和 yarn 上。(最新已经不基于 rabit 了)
- 实现做了面向体系结构的优化,针对 cache 和内存做了性能优化。
2.3 Xgboost实战
from sklearn.model_selection import KFold
import xgboost as xgb
from sklearn.metrics import mean_squared_error
import timekf = KFold(n_splits=5, random_state=123, shuffle=True)def evalerror(preds, dtrain):labels = dtrain.get_label()return 'mse', mean_squared_error(np.exp(preds), np.exp(labels))y = np.log(y)
valid_preds = np.zeros((330, 5))time_start = time.time()for i, (train_ind, valid_ind) in enumerate(kf.split(X)):print('Fold', i+1, 'out of', 5)X_train, y_train = X[train_ind], y[train_ind]X_valid, y_valid = X[valid_ind], y[valid_ind]xgb_params = {'eta': 0.01, 'max_depth': 6, 'subsample': 0.9, 'colsample_bytree': 0.9, 'objective': 'reg:linear', 'eval_metric': 'rmse', 'seed': 99, 'silent': True}d_train = xgb.DMatrix(X_train, y_train)d_valid = xgb.DMatrix(X_valid, y_valid)watchlist = [(d_train, 'train'), (d_valid, 'valid')]model = xgb.train(xgb_params, d_train, 2000,watchlist,verbose_eval=100,
# feval=evalerror,early_stopping_rounds=1000)
# valid_preds[:, i] = np.exp(model.predict(d_valid))# valid_pred = valid_preds.means(axis=1)
# print('outline score:{}'.format(np.sqrt(mean_squared_error(y_pred, valid_pred)*0.5)))
print('cv training time {} seconds'.format(time.time() - time_start))
X = df.drop(['salary'], axis=1).values
y = np.log(df['salary'].values.reshape((-1, 1))).ravel()
print(type(X), type(y))
3.lightGBM
import lightgbm as lgb
from sklearn.model_selection import KFold
from sklearn.metrics import mean_squared_errordef evalerror(preds, dtrain):labels = dtrain.get_label()return 'mse', mean_squared_error(np.exp(preds), np.exp(labels))params = {'learning_rate': 0.01,'boosting_type': 'gbdt','objective': 'regression','metric': 'mse','sub_feature': 0.7,'num_leaves': 17,'colsample_bytree': 0.7,'feature_fraction': 0.7,'min_data': 100,'min_hessian': 1,'verbose': -1,
}print('begin cv 5-fold training...')
scores = []
start_time = time.time()kf = KFold(n_splits=5, shuffle=True, random_state=27)
for i, (train_index, valid_index) in enumerate(kf.split(X)):print('Fold', i+1, 'out of', 5)X_train, y_train = X[train_index], y[train_index]X_valid, y_valid = X[valid_index], y[valid_index]lgb_train = lgb.Dataset(X_train, y_train)lgb_valid = lgb.Dataset(X_valid, y_valid)model = lgb.train(params,lgb_train,num_boost_round=2000,valid_sets=lgb_valid,verbose_eval=200,
# feval=evalerror,early_stopping_rounds=1000)
# feat_importance = pd.Series(model.feature_importance(), index=X.columns).sort_values(ascending=False)
# test_preds[:, i] = model.predict(lgb_valid)
# print('outline score:{}'.format(np.sqrt(mean_squared_error(y_pred, valid_pred)*0.5)))
print('cv training time {} seconds'.format(time.time() - time_start))
针对于GBDT,XGBoost,LightGBM的区别,可以参考这篇文章
.shtml
本文标签: 拉钩招聘数据机器学习建模(GBDT XGBoost LightGBM)⑤
版权声明:本文标题:拉钩招聘数据机器学习建模(GBDT,XGBoost,LightGBM)⑤ 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://www.freenas.com.cn/free/1698368410h296106.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论