Day 16_PCA_HR_DataSet

# -*- coding: utf-8 -*-
"""Day 22_PCA.ipynb

Automatically generated by Colaboratory.

Original file is located at
    https://colab.research.google.com/drive/1e7UxuOQUHJfM4itcHDfOmyqhOFUO79B4
"""
 
from google.colab import drive
drive.mount('/gdrive')
 
PATH = "/gdrive/My Drive/Colab Notebooks/resources/"
 
import matplotlib.pyplot as plt
from tensorflow import keras
import tensorflow as tf
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
 
print(tf.__version__)
 
#칼로리, 식습관 운동습관과 그에 따른 체형 데이터를
 
df = pd.DataFrame(columns=['calory', 'breakfast', 'lunch', 'dinner', 'exercise', 'body_shape'])
 
df.loc[0] = [1200, 1, 0, 0, 2, 'Skinny']
df.loc[1] = [2800, 1, 1, 1, 1, 'Normal']
df.loc[2] = [3500, 2, 2, 1, 0, 'Fat']
df.loc[3] = [1400, 0, 1, 0, 3, 'Skinny']
df.loc[4] = [5000, 2, 2, 2, 0, 'Fat']
df.loc[5] = [1300, 0, 0, 1, 2, 'Skinny']
df.loc[6] = [3000, 1, 0, 1, 1, 'Normal']
df.loc[7] = [4000, 2, 2, 2, 0, 'Fat']
df.loc[8] = [2600, 0, 2, 0, 0, 'Normal']
df.loc[9] = [3000, 1, 2, 1, 1, 'Fat']
 
from sklearn.decomposition import PCA
X = df[['calory', 'breakfast', 'lunch',    'dinner',    'exercise']]
Y = df['body_shape']
 
from sklearn.preprocessing import StandardScaler
x_std = StandardScaler().fit_transform(X)
print(x_std)
 
## 공분산 행렬
## 피처가 컬럼에 있는데 row로 바꾸기 위해 변환
 
features = x_std.T
features
 
cov_matrix = np.cov(features)
 
cov_matrix
 
## 공분산 행렬로부터 아이겐 벡터와 아이겐 벨류 추출
eig_vals, eig_vecs = np.linalg.eig(cov_matrix)
 
print('고유벡터 %s' % eig_vecs)
print('고유 값 %s ' % eig_vals)
 
eig_vals / sum(eig_vals)  # 73% 정보를 표현
 
## 첫번째 축에 해당하는 데이터를 주축으로 73%의 정보를 담고 있는 컬럼 생성.
projected_X = x_std.dot(eig_vecs.T[0])
 
res = pd.DataFrame(projected_X, columns = ['PC1'])
 
res['yaxis'] = 0.0
res['label'] = Y
res
 
import seaborn as sns
sns.lmplot('PC1', 'yaxis',data = res, hue = 'label' )
 
df = pd.read_csv(PATH + "data/HR_comma_sep.csv")
 
columns = df.columns.tolist()
 
df[:2]
 
correlation = df.corr()
 
plt.figure(figsize = (10, 10))
sns.heatmap(correlation, annot = True, cmap = 'cubehelix')
 
df['sales'].unique()
 
## 부서별 각 컬럼의 합계
sales = df.groupby('sales').sum()
 
groupby_sales = df.groupby('sales').mean()
groupby_sales
 
sales = {}
for i in groupby_sales['satisfaction_level'].index
    sales[str(i)] = groupby_sales['satisfaction_level'][i]
 
sales
 
## 컬럼의 이동.
df.head()
 
df_drop = df.drop( labels = ['sales', 'salary'], axis = 1 )
df_drop
 
## left라는 컬럼을 제일 앞으로 이동 시키고자 한다.
 
cols = df_drop.columns.tolist()
cols
 
## left 컬럼의 위치
cols.index('left')
cols.insert(0, cols.pop(cols.index('left')))
 
## 위에서 만든 컬럼 순서대로 리인덱스.
df_drop = df_drop.reindex( columns = cols )
df_drop
 
x = df_drop.iloc[ : , 1:8 ].values
y = df_drop.iloc[ : , 0   ].values
 
np.shape(x), np.shape(y)
 
X_std = StandardScaler().fit_transform(x)
 
#공분산 행렬
mean_vec = np.mean(X_std , axis = 0 )
mean_vec
cov_mat = ((X_std - mean_vec).T.dot((X_std - mean_vec)) / X_std.shape[0] - 1)
 
cov_mat
 
## 주의! 열이 행인덱스에 오도록 해서 계산한다.
cov_mat = np.cov(X_std.T)
 
sns.heatmap(cov_mat, cmap = 'cubehelix', annot = True , square = True )
 
eig_vals , eig_vecs = np.linalg.eig(cov_mat)
print("eigen vector %s" % eig_vecs)
print("eigen values %s" % eig_vals)
 
eigen_pairs = [ (eig_vals[i], eig_vecs[: ,i]) for i in range(len( eig_vals )) ]
 
eigen_pairs
 
## key = 튜플 안에서 정렬할 기준
## 튜플 정렬
eigen_pairs.sort( key = lambda x : x[0] , reverse = True )
eigen_pairs
 
# for i in eigen_pairs:
    # print( i[0] )
 
tot = sum(eig_vals) 
 
## 내림 차순 정렬
var_exp = [i / tot for i in sorted(eig_vals, reverse = True )] 
var_exp
 
pca = PCA().fit(X_std)
 
## 각 고유값이 포함하고 있는 분산의 정도. 몇차원으로 줄여야 할지 판단 가능.
plt.plot( np.cumsum( pca.explained_variance_ratio_ ) )
 
## 6차원으로 축소
sk_pca = PCA(n_components = 6)
y_sk = sk_pca.fit_transform(X_std)
 
 
## 7차원 데이터가 6차원으로 축소 되었다.
y_sk