Google Analytics のデータを python でコレスポンデンス分析する

python3 -m pip install gspread --user
python3 -m pip install oauth2client --user
python3 -m pip install df2gspread --user

from oauth2client.service_account import ServiceAccountCredentials
def download_as_df(sheet_id, wks_name):
    """
    Google Spread Sheet からデータを取得、pandas data frame として返す。
    """
    from df2gspread import gspread2df as g2d
    # key_file 以下の指定方法だと、notebook と同じディレクトリにあるキーファイルを取得しています。
    key_file = "spreadsheet_api_key.json"
    scope = ['https://spreadsheets.google.com/feeds']
    credentials = ServiceAccountCredentials.from_json_keyfile_name(key_file, scope)    
    df = g2d.download(sheet_id, wks_name=wks_name, col_names=True, row_names=False, credentials=credentials, start_cell = 'A15')
    return df

# ファイルのダウンロード
df = download_as_df("1ruwQJIt35zFDXrcFlibwqJcMn1QJwtoJsTBQw7L-1WQ","ユーザの好みと、ページカテゴリの関係")

# データ出力
df

# Affinity Category 　の日本語化をするファンクションの定義
import requests

translation_dictionary = {}

def create_dictionary():
    r = requests.get("https://gist.githubusercontent.com/kemsakurai/6c287eab5aa45415bf5c50df1e61a47f/raw/3ea1cf361a8914ad20c70ac46e8473e2590597e9/AffinityCategoryTranslation.tsv")
    lines = r.text.split("\n")
    index = 0
    for line in lines:
        index = index + 1
        if index == 1:
            continue
        elems = line.split("\t")
        translation_dictionary.update({elems[0]: elems[1]})

def translate_affinity_category(english_string):
    results = []
    for elem in english_string.split("/"):
        results.append(translation_dictionary.get(elem, "undefined"))
    return '/'.join(results)

# 辞書の初期化
create_dictionary()

# 大カテゴリのみを切り出し
df["ga:interestAffinityCategory"] = [i.split("/")[0] for i in df["ga:interestAffinityCategory"]] 
# 切り出したカテゴリを日本語に変換
df["ga:interestAffinityCategory_ja"] =  [translate_affinity_category(i) for i in df["ga:interestAffinityCategory"]] 
# 後続の集計処理がうまく計算できないので、整数に変換する
df["ga:pageviews"] = df["ga:pageviews"].astype(int)
# 結果の出力
df

# 不要なカラムを削除
del df["ga:interestAffinityCategory"]
del df["ga:pagePath"]
#  再集計
df = df.groupby(['ga:dimension6','ga:interestAffinityCategory_ja'])['ga:pageviews'].sum().reset_index()
#  ソート
df = df.sort_values(by="ga:pageviews",ascending=False) 
# 結果の出力
df

# クロス集計
df = df.pivot_table(values='ga:pageviews', index='ga:dimension6', columns='ga:interestAffinityCategory_ja', aggfunc = 'sum')
# クロス集計結果を整数に変換
df = df.fillna(0).astype(int)
# 結果の出力
df

# コレスポンデンス分析のライブラリ
import mca
# コレスポンデンス分析
ncols = df.shape[1]
# Benzécri? 補正するかどうか、データ構造の問題か、True だとエラーとなったため、False で設定
mca_ben = mca.MCA(df, ncols=ncols, benzecri=False)
mca_ben.fs_r(N=2)

array([[  4.04399401e-01,  -1.52979611e-01],
       [  1.32693892e-01,   2.68842331e-01],
       [ -2.23112167e-01,   3.42928950e-02],
       [ -1.59749683e-01,   2.37024719e-02],
       [  1.30182305e-01,  -5.47186735e-02],
       [  6.84718573e-01,  -1.58233299e-01],
       [  4.44952860e-01,   4.10821376e-03],
       [  2.85366767e-02,   6.05926046e-01],
       [  5.39503680e-01,   3.58668344e-02],
       [  8.45671201e-02,   3.06657490e-01],
       [ -1.22543395e-01,   4.62416906e-02],
       [  1.23966422e+00,  -2.25021302e-01],
       [ -5.67431872e-02,  -6.78476641e-02],
       [  7.72658336e-01,   4.27289369e-01],
       [  7.21808152e-01,   2.17287190e-01],
       [  4.30533385e-01,  -4.64137005e-02],
       [  6.54749307e-01,   4.96416905e-01],
       [  1.02923931e+00,  -3.24243400e-02],
       [ -1.24779452e-02,   5.91214264e-02],
       [ -2.55507110e-02,   1.04271517e-01],
       [ -7.17114562e-02,  -2.35859666e-02],
       [  8.42241200e-02,  -1.78772790e-01],
       [  1.24523117e+00,  -2.02165463e-01],
       [  4.49509345e-01,  -3.42900571e-01],
       [  5.81775959e-02,  -2.59105041e-01],
       [  6.35473732e-01,  -2.65732128e-01],
       [ -1.23921506e-01,   1.17432604e-01],
       [  9.62526283e-01,   4.09888658e-02],
       [  2.68648888e-01,   3.02809495e-01],
       [  1.02700453e+00,   7.05955985e-04],
       [ -7.98232747e-02,   1.09810136e-01],
       [ -1.03646230e-01,  -6.40915368e-02],
       [  3.98004987e-01,  -7.22225097e-02],
       [  7.19449170e-01,  -3.80962202e-02],
       [  1.26361260e+00,  -1.26698070e-01],
       [  8.72559804e-01,   1.77653717e-01]])

mca_ben.fs_c(N=2)

array([[-0.09804034,  0.11634891],
       [-0.30316912, -0.00814008],
       [-0.43927978, -0.03347052],
       [-0.16271903,  0.36136428],
       [-0.19793054, -0.17165508],
       [ 0.11685867,  0.06648366],
       [ 0.30667071, -0.01747563],
       [-0.26910795,  0.33520229],
       [-0.53301903, -0.1729311 ],
       [ 0.29456212, -0.0457295 ],
       [-0.39228832,  0.36158167]])

import pandas as pd
# 表頭の座標を書き出す
result_row = pd.DataFrame(mca_ben.fs_r(N=2))
result_row.index = list(df.index)
result_row

# 表側の座標を書き出す
result_col = pd.DataFrame(mca_ben.fs_c(N=2))
result_col.index = list(df.columns)
result_col

# 作図用ライブラリ
import matplotlib.pyplot as plt
import matplotlib
%matplotlib inline

plt.rcParams['font.family'] = 'IPAPGothic' #全体のフォントを設定
plt.rcParams["figure.figsize"] = [20, 12] # グラフのサイズを指定
plt.rcParams['font.size'] = 12 #フォントサイズを設定 default : 12
plt.rcParams['xtick.labelsize'] = 10 # 横軸のフォントサイズ
plt.rcParams['ytick.labelsize'] = 10 # 縦軸のフォントサイズ
matplotlib.font_manager._rebuild()

import random as rnd

# 図の設定（任意）
plt.figure(figsize=(10,10))
plt.rcParams["font.size"] = 10

<matplotlib.figure.Figure at 0x1089c03c8>

# 表頭をプロット
plt.scatter(result_col[0], result_col[1], s=100, marker="o")

# ラベル付け
cnt = 0
for label in list(result_col.index):
    r = rnd.random() * 0.1
    plt.text(result_col.iloc[cnt, 0]+r, result_col.iloc[cnt, 1]+r, label)
    plt.plot([result_col.iloc[cnt, 0]+r, result_col.iloc[cnt, 0]], [result_col.iloc[cnt, 1]+r, result_col.iloc[cnt, 1]])
    cnt += 1

# 表側をプロット
plt.scatter(result_row[0], result_row[1], s=100, marker="o")
# ラベル付け
cnt = 0
for label in list(result_row.index):
    r = rnd.random() * 0.1
    plt.text(result_row.iloc[cnt, 0]+r, result_row.iloc[cnt, 1]+r, label)
    plt.plot([result_row.iloc[cnt, 0]+r, result_row.iloc[cnt, 0]], [result_row.iloc[cnt, 1]+r, result_row.iloc[cnt, 1]])
    cnt += 1