機械学習

catBoostの概要と使い方

CatBoostについて(ざっくり) 勾配ブースティング決定木 (Gradient Boosting Decision Tree) を扱うためのフレームワーク LightGBM や XGBoost と並んでよく用いられている。予測精度や速...
機械学習

LightGBM Tunerを使ったハイパーパラメータ最適化

lightGBM Tunerについて Preferred NetworksによってOptunaの拡張機能として開発された、LightGBMのハイパーパラメータ自動最適化モジュール。 通常のハイパーパラメータ最適化では、最適化したいパラメー...
機械学習

lightGBMの使い方とハイパーパラメータについて

lightGBMについて(ざっくり) 回帰・クラス分類手法の一つ(XGBoostと並んでKaggleでもよく使われる人気の手法) 決定木ベースの勾配ブースティング手法(Gradient Boosting Dicision Tree) アン...
tips

XGBoost, lightGBM, Catboost をGoogle ColaboratoryのGPUで実行する方法

Boosting系モデル(XGBoost, lightGBM, CatBoost)の計算をGoogle ColaboratoryのGPUで実行する方法 準備 準備 Google Colabでipynbファイルを開き以下の操作を行なっておく。...
データ分析

テーブルデータ分析コンペに参加して(メモ)

データ分析コンペ(テーブルコンペ|ビギナー用)に参加した際に自分なりに工夫した点のメモ。 (ちなみにコンペの結果は7位でした) コンペの内容 中古マンションの価格を予想するというもの。 2000年第1四半期〜2020年第2四半期までのデータ...
機械学習

Optunaを使ったXGBoostのハイパーパラメータ最適化

optunaとは PFNにより公開されている最適化用のライブラリ。 TPE (Tree-structured Parzen Estimato)という、ベイズ最適化の一種を使って関数をいい感じで最適化するらしい。 XGBoost などのハイパ...
データ分析

カテゴリ変数のエンコーディングについて

データ分析において、カテゴリ変数は何らかの数値に変換する必要がある。 その変換方法とコードについてのまとめ。 エンコーディングの種類(概要) One-Hot エンコーディング:変数におけるラベルの種類ごとに特徴量(列)を生成し、True(...
可視化

bokeh入門(インタラクティブなグラフ作成)

bokeh とは インタラクティブなデータ可視化ライブラリ (参考:bokehを使ったデータ可視化例) (作成したグラフの例) bokehのチュートリアル(First steps)のうち、必要そうな部分をまとめた。 Step 1-3. グラ...
tips

ショートカットファイルのリンク先ファイルを一括取得するpythonコード(windows)

フォルダ内のショートカットファイル(.lnk)を全て、参照元のファイルと置き換えるpythonコード import win32com.client import os import shutil import glob #処理するフォルダ...
高分子化学

ポリマーのガラス転移温度について

ケモインフォマティクスでの高分子の解析事例として度々登場するガラス転移温度についてまとめた。 (ここの記事はポリマーのガラス転移温度に関する内容です) ガラス転移点とは (樹脂,ポリマーの場合)ゴム状態から固化状態(ガラス状態)になる境界の...