データ分析欠損値の補完や取り扱いについて（python）
分析に利用するデータには多くの場合、なんらかの理由により記録されなかった値、欠損値 (missing data) が含まれる。 欠損値があると統計的処理や、機械学習の処理がそのまま適用できなかったり、結果にバイアスが生じてしまうので、デ...
データ分析
グラフィカルモデリンググラフィカルモデリングさわってみた（python）
本記事は無向グラフィカルモデリングに関して、以下の参考HP（主に1）の内容をまとめた。個人的メモです ※言葉の定義や内容が厳密でない場合があります。定義が間違っている場合はご指摘いただきたいです。 【偽物の相関を見極めろ！】グラフィカルモ...
統計基礎偏相関係数の概要と求め方（python）
偏相関係数とは ある変数（$x_1,x_2,\dots, x_n$）がある時、他の変数全てを固定した時の $x_i$ と $x_j$ の相関係数を $x_i$ と $x_j$ の 偏相関係数という。 なぜ偏相関係数を計算する必要があるのか？...
機械学習scikit-learn準拠の変換器,推定器を自作する
こちらの記事、でscikit-learnのpipelineモジュールを用いた機械学習パイプラインの作成を紹介した。 pipelineモジュールに組み込めるのは、fit, transformメソッドなど持つ、sklean準拠の変換器（tran...
機械学習scikit-learnを用いた機械学習パイプラインの作成
パイプラインとは何か パイプライン処理とは、ある処理プログラムの出力が次の処理プログラムの入力となるようにした複数の処理プログラムを直列に連結したもの。 機械学習パイプラインでは、複数の変換器と予測器を直列に繋げ、一連の処理（前処理1 → ...
その他メモLineBotの作り方（python）
LineBotを使って、自動でメッセージを送る方法。 1. （自作の）公式ラインアカウントを作成して送る方法 2. Line Notifyを使って、送る方法 の2種類がある。 1の方法は、よくある企業アカウントの様なイメージ。登録者全員に一...
その他メモtwitter bot の作成方法（Python）
本ブログにて、京都市の体育館の最新情報を発信しています。 これは、京都市のHPにて各条件（体育館と日時）を選択して一件ずつ確認しなければならなかった予約状況を、一つの表にまとめて表示したものです。 4時間おきに以下のプログラムが自動で走...
その他メモwordpress への自動投稿（python）
本ブログにて、京都市の体育館の最新情報を発信しています。 これは、京都市のHPにて各条件（体育館と日時）を選択して一件ずつ確認しなければならなかった予約状況を、一つの表にまとめて表示したものです。 4時間おきに以下のプログラムが自動で走...
その他メモ京都市体育館予約状況
table{ font-size: 65%; text-align: center; } ...
化学データ可視化SHAPを使った構造物性相関の予測根拠可視化
以前、構造物性相関解析（QSPR）でフィンガープリントを変数として回帰分析した際に、化学構造のどの部分が物性に寄与しているかを可視化するという記事を書いた（フィンガープリントによる化合物の予測根拠可視化）。 ただ、以前用いた方法は線形回帰...