統計基礎

統計基礎

データの標準化とは(pythonコードあり)

標準化とは あるデータを変換して、その平均を0、分散を1にすること 元のデータを$x$とおくと、以下の式で標準化後のデータ$x'$を求めることができる。 ($\bar{x}$は平均値、$s$は標準偏差) $$x'= \frac{x-\bar...
統計基礎

変数の種類と尺度水準について

変数の尺度 統計やデータ分析において、変数はその性質に応じて質的変数と量的変数に分けられる。 さらに質的変数と量的変数はその性質に応じて以下4つの種類に分けることができる 質的変数 名義尺度: 他と区別し分類するための名称のようなもの(数...
統計基礎

クロス集計表の作成(pythonコードあり)

クロス集計表とは 2つのカテゴリーに属するデータをそれぞれのカテゴリーで分類、集計した表のこと。 行、列にそれぞれのカテゴリーを記入し、各カテゴリが交わるセルにカウントデータを記入する。 クロス集計表の作成方法 次のような各生徒の性別と所属...
統計モデリング

一般化線形モデルについて

本記事は、データ解析のための統計モデリング入門(通称緑本)の3,4,5章を参考にしています。 (もし内容に不備等あればご一報ください) (function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=...
統計モデリング

最尤推定について

本記事は、データ解析のための統計モデリング入門(通称緑本)の2章を参考にしています。 (もし内容に不備等あればご一報ください) R,Pythonコード、使用しているデータはこちら (function(b,c,f,g,a,d,e){b.M...
数学

ヤコビアンについて(メモ)

2変数関数の重積分(面積)を考えた場合。 $xy$平面→ $uv$平面の変数変換によるヤコビアン(ヤコビ行列; Jacobian matrix)は $$ J(u,v) = \begin{vmatrix} \frac{\partial x}{...
統計基礎

誤差について(メモ)

はじめに 測定には誤差が必ず伴うため、測定によって得られた値には不確かさがあることに留意する。 誤差が測定ごとにランダムであると仮定すれば、データを統計処理することで不確かさを小さくすることができる。 誤差(測定誤差) 誤差:測定値と真値と...
検定

多重検定問題を回避した変数選択(ホルム法|Holm法)

前回は、多重検定問題を回避する方法の一つとして知られるBonferroni法(ボンフェローニ法)についてまとめたが、ついでに今回はHolm法(ホルム法)についてまとめた。 多重の多重性について 検定の多重性とは、仮設検定を何度も繰り返すこと...
検定

多重検定問題を回避した変数選択(Bonferroni法)

多重検定問題を回避する方法の一つとして知られるBonferroni法(ボンフェローニ法)についてまとめた。 多重の多重性について 検定の多重性とは、仮説検定を何度も繰り返すことで、発生する問題のことをさす。 例えば、回帰や分類問題の解析にお...
検定

無相関検定(概要とpython実装)

ある因子(変数)ペアに互に相関があるか検定できる無相関検定についてまとめた。 無相関検定について 標本から得られた相関係数から「母集団にも同様の相関がある」と言えるかどうかを検定するもの。 帰無仮説を「母相関係数は0である (同様の相関は...