![\"Open](\"https://colab.research.google.com/assets/colab-badge.svg\"){kind=icon}
"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "Oy4cp14Yxt9i"
},
"source": [
"# 主成分分析 （主成分解析、Principal component analysis : PCA）"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "FRvRDhfoxt9w"
},
"source": [
"## 概要\n",
"\n",
"- 主成分分析は、教師なし線形変換法の１つ\n",
" - データセットの座標軸を、データの分散が最大になる方向に変換し、元の次元と同じもしくは、元の次元数より低い新しい特徴部分空間を作成する手法\n",
"- 主なタスク\n",
" - 次元削減\n",
"- 次元削減を行うことで以下の目的を達成できる\n",
" - 特徴抽出\n",
" - データの可視化\n",
"- 次元削減を行うメリット\n",
" - 計算コスト（計算時間、メモリ使用量）を削減できる\n",
" - 特徴量を削減したことによる情報の喪失をできるだけ小さくする\n",
" - モデルを簡素化できる（パラメータが減る）ため、オーバーフィッティングを防げる\n",
" - 人間が理解可能な空間にデータを投影することができる（非常に高次元な空間を、身近な3次元、2次元に落とし込むことができる）"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "vXsQZ8aVBw9x"
},
"source": [
"## 応用例\n",
"\n",
"- タンパク質分子の立体構造モデルの構造空間の次元削減と可視化\n",
"- タンパク質の全原子モデルの立体構造は、分子内に含まれる原子の座標情報で表すことができる （原子数 × 3 (x, y, z) 次元のベクトル）\n",
"\n",
"以下は、タンパク質の分子シミュレーションで使われるモデルの1例。 \n",
"（紫色とオレンジ色で表されたリボンモデルがタンパク質で、周りに水とイオンが表示されている） \n",
"（この場合、3547 個の原子 --> 10641 次元）\n",
"\n",
"![](\"https://github.com/hnishi/hnishi_da_handson/blob/master/images/cdr-h3-pbc.png?raw=true\")
\n",
"\n",
"主成分分析により、この立体構造空間を、2次元空間に投影することができる。 \n",
"以下は、その投影に対して自由エネルギーを計算した図。\n",
"\n",
"\n",
"\n",
"2次元空間上の1点が、1つの立体構造を表している。 \n",
"つまり、この例では、もともと10641次元あった空間を2次元にまで削減している。\n",
"\n",
"Ref) [Nishigami, H., Kamiya, N., & Nakamura, H. (2016). Revisiting antibody modeling assessment for CDR-H3 loop. Protein Engineering, Design and Selection, 29(11), 477-484.](https://academic.oup.com/peds/article/29/11/477/2462452)"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "leHV9cUixt9x"
},
"source": [
"## 主成分分析 (PCA) が行う座標変換のイメージ\n",
"\n",
"以下は、PCAが行う座標変換の例\n",
"\n",
"$x_1$ , $x_2$ は、データセットの元々の座標軸であり、 \n",
"PC1, PC2 は座標変換後に得られる新しい座標軸、主成分1、主成分2 である (Principal Components)。 \n",
"\n"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "qwwB0trAxv3n"
},
"source": [
"![](\"https://github.com/rasbt/python-machine-learning-book-2nd-edition/blob/master/code/ch05/images/05_01.png?raw=true\")
"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "W6Ht0VniKJFj"
},
"source": [
"\n",
"- PCA は、高次元データにおいて分散が最大となる方向を見つけ出し、座標を変換する （これはつまり、すべての主成分が、他の主成分と相関がない（直交する) ように座標変換している)\n",
"- 最初の主成分 (PC1) の分散が最大となる"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "mZ5tZLKQxt91"
},
"source": [
"## 主成分分析の主要な手順\n",
"\n",
"d 次元のデータを k 次元に削減する場合\n",
"\n",
"1. d 次元のデータの標準化（特徴量間のスケールが異なる場合のみ）\n",
"1. 分散共分散行列の作成\n",
"1. 分散共分散行列の固有値と固有ベクトルを求める\n",
"1. 固有値を降順にソートして、固有ベクトルをランク付けする\n",
"1. 最も大きい k 個の固有値に対応する k 個の固有ベクトルを選択 (k ≦ d)\n",
"1. k 個の固有ベクトルから射影(変換)行列 W を作成\n",
"1. 射影(変換)行列を使って d 次元の入力データセットを新しい k 次元の特徴部分空間を取得する\n",
"\n",
"---\n",
"\n",
"固有値問題を解くことで、線形独立な基底ベクトルを得ることができる。 \n",
"詳細は、線形代数の書籍等を参考にする（ここでは詳細な解説をしない）。\n",
"\n",
"参考） \n",
"\n",
"https://dora.bk.tsukuba.ac.jp/~takeuchi/?%E7%B7%9A%E5%BD%A2%E4%BB%A3%E6%95%B0II%2F%E5%9B%BA%E6%9C%89%E5%80%A4%E5%95%8F%E9%A1%8C%E3%83%BB%E5%9B%BA%E6%9C%89%E7%A9%BA%E9%96%93%E3%83%BB%E3%82%B9%E3%83%9A%E3%82%AF%E3%83%88%E3%83%AB%E5%88%86%E8%A7%A3"
]
},
{
"cell_type": "markdown",
"metadata": {
"id": "cGB2Wx_GMUrK"
},
"source": [
"## python による PCA の実行\n",
"\n",
"以下、Python を使った PCA の実行を順番に見ていく。 \n",
"その後、scikit-learn ライブラリを使った PCA の簡単で効率のよい実装を見る。 \n",
"\n",
"### データセット\n",
"\n",
"- データセットは、 [Wine](https://archive.ics.uci.edu/ml/datasets/Wine) というオープンソースのデータセットを使う。 \n",
"- 178 行のワインサンプルと、それらの化学的性質を表す 13 列の特徴量で構成されている。\n",
"- それぞれのサンプルに、クラス 1, 2, 3 のいずれかがラベルされており、 \n",
"イタリアの同じ地域で栽培されている異なる品種のブドウを表している \n",
"（PCA は教師なし学習なので、学習時にラベルは使わない）。\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"id": "y-cEu_epxt9t"
},
"outputs": [],
"source": [
"from IPython.display import Image\n",
"%matplotlib inline"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {
"colab": {
"base_uri": "https://localhost:8080/",
"height": 258
},
"id": "x0XoyvCoxt92",
"outputId": "856600d0-90cb-43e8-c07b-3c10123a337d"
},
"outputs": [
{
"data": {
"text/html": [
"| \n", " | Class label | \n", "Alcohol | \n", "Malic acid | \n", "Ash | \n", "Alcalinity of ash | \n", "Magnesium | \n", "Total phenols | \n", "Flavanoids | \n", "Nonflavanoid phenols | \n", "Proanthocyanins | \n", "Color intensity | \n", "Hue | \n", "OD280/OD315 of diluted wines | \n", "Proline | \n", "
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | \n", "1 | \n", "14.23 | \n", "1.71 | \n", "2.43 | \n", "15.6 | \n", "127 | \n", "2.80 | \n", "3.06 | \n", "0.28 | \n", "2.29 | \n", "5.64 | \n", "1.04 | \n", "3.92 | \n", "1065 | \n", "
| 1 | \n", "1 | \n", "13.20 | \n", "1.78 | \n", "2.14 | \n", "11.2 | \n", "100 | \n", "2.65 | \n", "2.76 | \n", "0.26 | \n", "1.28 | \n", "4.38 | \n", "1.05 | \n", "3.40 | \n", "1050 | \n", "
| 2 | \n", "1 | \n", "13.16 | \n", "2.36 | \n", "2.67 | \n", "18.6 | \n", "101 | \n", "2.80 | \n", "3.24 | \n", "0.30 | \n", "2.81 | \n", "5.68 | \n", "1.03 | \n", "3.17 | \n", "1185 | \n", "
| 3 | \n", "1 | \n", "14.37 | \n", "1.95 | \n", "2.50 | \n", "16.8 | \n", "113 | \n", "3.85 | \n", "3.49 | \n", "0.24 | \n", "2.18 | \n", "7.80 | \n", "0.86 | \n", "3.45 | \n", "1480 | \n", "
| 4 | \n", "1 | \n", "13.24 | \n", "2.59 | \n", "2.87 | \n", "21.0 | \n", "118 | \n", "2.80 | \n", "2.69 | \n", "0.39 | \n", "1.82 | \n", "4.32 | \n", "1.04 | \n", "2.93 | \n", "735 | \n", "
| \n", " | PC1 | \n", "PC2 | \n", "
|---|---|---|
| Flavanoids | \n", "-0.417351 | \n", "-0.022873 | \n", "
| Total phenols | \n", "-0.393770 | \n", "0.050801 | \n", "
| OD280/OD315 of diluted wines | \n", "-0.368610 | \n", "-0.249025 | \n", "
| Hue | \n", "-0.326133 | \n", "-0.207164 | \n", "
| Proanthocyanins | \n", "-0.306683 | \n", "0.008352 | \n", "
| Proline | \n", "-0.296697 | \n", "0.380229 | \n", "
| Magnesium | \n", "-0.154366 | \n", "0.289745 | \n", "
| Alcohol | \n", "-0.137242 | \n", "0.503035 | \n", "
| Ash | \n", "-0.025452 | \n", "0.244565 | \n", "
| Color intensity | \n", "0.075541 | \n", "0.549776 | \n", "
| Alcalinity of ash | \n", "0.206945 | \n", "-0.113529 | \n", "
| Malic acid | \n", "0.247243 | \n", "0.164871 | \n", "
| Nonflavanoid phenols | \n", "0.305729 | \n", "0.090489 | \n", "