データ分析SHAP を用いた機械学習への解釈性付与
（noteの「クリエイターを応援する」で応援していただけると嬉しいです。よろしくお願いします） SHAP（SHapley Additive exPlanations）とは 背景 昨今では機械学習モデルに解釈性や説明性が強く求められるようにな...
データ分析
機械学習catBoostの概要と使い方
CatBoostについて（ざっくり） 勾配ブースティング決定木 (Gradient Boosting Decision Tree) を扱うためのフレームワーク LightGBM や XGBoost と並んでよく用いられている。予測精度や速...
機械学習LightGBM Tunerを使ったハイパーパラメータ最適化
lightGBM Tunerについて Preferred NetworksによってOptunaの拡張機能として開発された、LightGBMのハイパーパラメータ自動最適化モジュール。 通常のハイパーパラメータ最適化では、最適化したいパラメー...
機械学習lightGBMの使い方とハイパーパラメータについて
lightGBMについて（ざっくり） 回帰・クラス分類手法の一つ（XGBoostと並んでKaggleでもよく使われる人気の手法） 決定木ベースの勾配ブースティング手法（Gradient Boosting Dicision Tree） アン...
tipsXGBoost, lightGBM, Catboost をGoogle ColaboratoryのGPUで実行する方法
Boosting系モデル(XGBoost, lightGBM, CatBoost)の計算をGoogle ColaboratoryのGPUで実行する方法 準備 準備 Google Colabでipynbファイルを開き以下の操作を行なっておく。...
データ分析テーブルデータ分析コンペに参加して（メモ）
データ分析コンペ（テーブルコンペ｜ビギナー用）に参加した際に自分なりに工夫した点のメモ。 （ちなみにコンペの結果は7位でした） コンペの内容 中古マンションの価格を予想するというもの。 2000年第1四半期〜2020年第2四半期までのデータ...
機械学習Optunaを使ったXGBoostのハイパーパラメータ最適化
optunaとは PFNにより公開されている最適化用のライブラリ。 TPE (Tree-structured Parzen Estimato)という、ベイズ最適化の一種を使って関数をいい感じで最適化するらしい。 XGBoost などのハイパ...
データ分析カテゴリ変数のエンコーディングについて
データ分析において、カテゴリ変数は何らかの数値に変換する必要がある。 その変換方法とコードについてのまとめ。 エンコーディングの種類（概要） One-Hot エンコーディング：変数におけるラベルの種類ごとに特徴量（列）を生成し、True(...
可視化bokeh入門（インタラクティブなグラフ作成）
bokeh とは インタラクティブなデータ可視化ライブラリ （参考:bokehを使ったデータ可視化例） （作成したグラフの例） bokehのチュートリアル（First steps）のうち、必要そうな部分をまとめた。 Step 1-3. グラ...
tipsショートカットファイルのリンク先ファイルを一括取得するpythonコード（windows）
フォルダ内のショートカットファイル（.lnk）を全て、参照元のファイルと置き換えるpythonコード import win32com.client import os import shutil import glob #処理するフォルダ...