Optunaを使ったXGBoostのハイパーパラメータ最適化

本記事はZennに移動しました
https://zenn.dev/ottantachinque/articles/2021-09-16_optuna_xgboost

コメント（2件）

伊藤　雅夫より:
2022年6月25日 9:54 AM
当方、機械学習を勉強し始めたばかりです。いろいろなサイトの情報を参考にさせていただいております。
１．複数回の試行をして、結果(model.score(df_X, df_y))が異なります。別のサイトで、
sampler=optuna.samplers.TPESampler(seed=42)
を知りました。
具体的には
study = optuna.create_study(sampler=optuna.samplers.TPESampler(seed=42))
これにより、複数回の試行でも、同じ値を得ることができました。
２．その上で、lambda有り無しをチェックしました。
def objective(trial):
study.optimize(objective, n_trials=100)
確かに、結果は同じになりました。
念の為に、codeを示します(理解の行き違いをなくすため、但し、小生のシステムはanaconda3,64bit Python 3.10,Bostonのデータはwarningに従い、ダウンロード元を変更しています)
import numpy as np
import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn.datasets import load_boston
import optuna
import xgboost as xgb
from xgboost import XGBRegressor
optuna.logging.disable_default_handler() # 非表示
#optuna.logging.enable_default_handler() # 表示
data_url = “http://lib.stat.cmu.edu/datasets/boston”
raw_df = pd.read_csv(data_url, sep=”\s+”, skiprows=22, header=None)
df_X = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
df_y = raw_df.values[1::2, 2]
#def objective(trial,df_X,df_y): # <————-引数に　,df_X,df_y　あり
def objective(trial): # <————————引数に　,df_X,df_y　なし
#評価するハイパーパラメータの値を規定
params ={
'max_depth':trial.suggest_int("max_depth",1,10),
'min_child_weight':trial.suggest_int('min_child_weight',1,5),
'gamma':trial.suggest_uniform('gamma',0,1),
'subsample':trial.suggest_uniform('subsample',0,1),
'colsample_bytree':trial.suggest_uniform('colsample_bytree',0,1),
'reg_alpha':trial.suggest_loguniform('reg_alpha',1e-5,100),
'reg_lambda':trial.suggest_loguniform('reg_lambda',1e-5,100),
'learning_rate':trial.suggest_uniform('learning_rate',0,1)}
model = xgb.XGBRegressor(n_estimators=100,
verbosity=0,
n_jobs=-1,
random_state=0,
**params)
#交差検証
scores = cross_val_score(model, df_X, df_y, scoring='neg_mean_squared_error',cv=5)
score_mean = -1 * np.mean(scores)
return score_mean
#optuna.create_study()でoptuna.studyインスタンスを作る。
study = optuna.create_study(sampler=optuna.samplers.TPESampler(seed=42))
# <—— #複数の試行で、結果を同じにするため
#studyインスタンスのoptimize()に作った関数を渡して最適化する。
#study.optimize(lambda trial: objective(trial,df_X,df_y), n_trials=100) # <– lambdaあり
study.optimize(objective, n_trials=100) # <—– lambdaなし
params = study.best_params
model = XGBRegressor(**params)
# 再度学習を実施する
print(f"best_value(cv): {study.best_value}")
print(f"best_params : {study.best_params}")
print(f'model : {model}')
model.fit(df_X, df_y)
best_score=model.score(df_X, df_y)
print(f"best_score : {best_score}")
#score_X_valid=model.score(X_valid, y_valid)
#print(f"score(X_valid): {score_X_valid}")
print(f"\n{'='*20}")
出力結果は、下記(でも、同じにはならない気がします。なぜ異なるのかはわかりませんが)
best_value(cv): 18.35950639764233
best_params : {'max_depth': 3, 'min_child_weight': 5, 'gamma': 0.4103331140543905, 'subsample': 0.950028384919545, 'colsample_bytree': 0.9470860473190347, 'reg_alpha': 0.00011500631113721802, 'reg_lambda': 0.0003546282369289078, 'learning_rate': 0.12150384104074101}
model : XGBRegressor(base_score=None, booster=None, colsample_bylevel=None,
colsample_bynode=None, colsample_bytree=0.9470860473190347,
enable_categorical=False, gamma=0.4103331140543905, gpu_id=None,
importance_type=None, interaction_constraints=None,
learning_rate=0.12150384104074101, max_delta_step=None,
max_depth=3, min_child_weight=5, missing=nan,
monotone_constraints=None, n_estimators=100, n_jobs=None,
num_parallel_tree=None, predictor=None, random_state=None,
reg_alpha=0.00011500631113721802, reg_lambda=0.0003546282369289078,
scale_pos_weight=None, subsample=0.950028384919545,
tree_method=None, validate_parameters=None, verbosity=None)
best_score : 0.9749697299350986
====================
何かサジェスチョンいただければ、ありがたいです。
返信
- ottantacinque より:
  2022年7月31日 8:52 AM
  コメントありがとうございます。
  seedを固定しているため、結果が同じになるということで認識あってますでしょうか？
  返信