本章会介绍如何使用py进行Adaboost算法
一、导入相关的库
import pandas as pd
from sklearn.preprocessing import LabelEncoder # 标签编码器
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier # 集成学习，AdaBoost用的决策树
from sklearn.metrics import accuracy_score
二、获取数据集
df_wine = pd.read_csv("wine0501.csv")
print(df_wine.info())
print(df_wine['Class label'].unique()) # [1,2,3] 葡萄酒类别有三种，但是决策树只能识别二叉树
三、数据预处理
3.1 从标签列（class label)中，过滤掉1类别，剩下2，3类别
df_wine = df_wine[df_wine['Class label'] != 1]
print(df_wine['Class label'].unique())
3.2 获取特征列和标签列
x = df_wine[['Alcohol','Hue']] # 酒精和色泽
y = df_wine['Class label']
3.3 打印数据
print(x[:5])
print(y[:5])
3.4 通过标签编码器，把标签列转换为数值列
le = LabelEncoder()
y = le.fit_transform(y)
print(y) #[2,3] --> [0,1]
3.5 训练集、测试集划分
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.2,random_state=23,stratify=y) #随机划分有可能出现极端情况，比如测试集里全是类别 1，类别 0 很少，导致测试集不能代表整体数据分布，模型评估结果失真。加上stratify可以保证抽样不会出现这种情况
四、特征工程，此处略
五、模型训练，预测，评估
5.1 场景1：单一决策树，充当弱分类器
# 4.1 创建模型对象
estimator1 = DecisionTreeClassifier(max_depth=3)
# 4.2 训练模型
estimator1.fit(x_train,y_train)
# 4.3 模型预测
y_pred1 = estimator1.predict(x_test)
print(f"单一决策树预测结果：{y_pred1}")
# 4.4 模型评估
print(f'单一决策树预测率{estimator1.score(x_test,y_test)}')
print(f'单一决策树预测率{accuracy_score(y_test,y_pred1)}') #这俩结果是一样的
5.2 场景2：AdaBoost -->集成学习，CART树，200棵
# 4.1 创建模型对象
# 参1：弱分类器（决策树对象），参2：弱分类器个数，参3：学习率，参4：集成算法
estimator2 = AdaBoostClassifier(estimator=estimator1, n_estimators=200,learning_rate=0.1,algorithm='SAMME')
# 4.2 训练模型
estimator2.fit(x_train,y_train)
# 4.3 模型预测
y_pred2 = estimator2.predict(x_test)
print(f"单一决策树预测结果：{y_pred2}")
# 4.4 模型评估
print(f'单一决策树预测率{estimator2.score(x_test,y_test)}')
print(f'单一决策树预测率{accuracy_score(y_test,y_pred2)}') #这俩结果是一样的