機械学習Optunaを使ったXGBoostのハイパーパラメータ最適化
optunaとは PFNにより公開されている最適化用のライブラリ。 TPE (Tree-structured Parzen Estimato)という、ベイズ最適化の一種を使って関数をいい感じで最適化するらしい。 XGBoost などのハイパ...
機械学習
データ分析カテゴリ変数のエンコーディングについて
データ分析において、カテゴリ変数は何らかの数値に変換する必要がある。 その変換方法とコードについてのまとめ。 エンコーディングの種類（概要） One-Hot エンコーディング：変数におけるラベルの種類ごとに特徴量（列）を生成し、True(...
可視化bokeh入門（インタラクティブなグラフ作成）
bokeh とは インタラクティブなデータ可視化ライブラリ （参考:bokehを使ったデータ可視化例） （作成したグラフの例） bokehのチュートリアル（First steps）のうち、必要そうな部分をまとめた。 Step 1-3. グラ...
tipsショートカットファイルのリンク先ファイルを一括取得するpythonコード（windows）
フォルダ内のショートカットファイル（.lnk）を全て、参照元のファイルと置き換えるpythonコード import win32com.client import os import shutil import glob #処理するフォルダ...
高分子化学ポリマーのガラス転移温度について
ケモインフォマティクスでの高分子の解析事例として度々登場するガラス転移温度についてまとめた。 （ここの記事はポリマーのガラス転移温度に関する内容です） ガラス転移点とは （樹脂,ポリマーの場合）ゴム状態から固化状態（ガラス状態）になる境界の...
可視化変数のクラスタリングとデンドログラム作成
回帰分析やクラス分類をする際、ある2つの説明変数間に強い相関がある（=相関係数の絶対値が大きい）とき、それらの変数のうちどちらか1つの変数を削除する必要がある。単に、説明変数の数を減らすだけならこの方法で問題ないが、モデルに解釈な必要な変数...
データベーススクレイピングで化合物データを試薬サイトから収集する
はじめに マテリアルズインフォマティクス、材料分野におけるデータ解析では、データがないという問題に直面することが多々ある。試薬サイトには化合物の基礎物性情報が集約されているため、そこからデータを収集してみた。（試薬サイトのサイト名、サイトU...
高分子化学ハンセン溶解度パラメーターと溶解パラメーター（SP値）について
ハンセン溶解度パラメーターとは 物質の溶解性に用いられる値（Charles M. Hansenが1967年に博士論文で発表した） HSP（Hansen solubility parameter）とも呼ばれる 以下の3つのパラメーターから構...
tipsMatplotlibで3次元の散布図を描画する
コード from matplotlib import pyplot as plt import numpy as np from mpl_toolkits.mplot3d.axes3d import Axes3D #グラフをポップアップで...
tipsクロスバリデーションでの分割数の目安
1000 サンプル以上 : 2-fold クロスバリデーション 1000 から 100 くらいまで : 5-fold クロスバリデーション 100 から 30 くらいまで : 10-fold クロスバリデーション 30 以下 : leav...