python で GA のデータを、ユーザーあたりのpageviewでセグメント分けする

python3 -m pip install gspread --user
python3 -m pip install oauth2client --user
python3 -m pip install df2gspread --user
python3 -m pip install pandas --user
python3 -m pip install sklearn --user
python3 -m pip install matplotlib --user
python3 -m pip install plotly --user

from oauth2client.service_account import ServiceAccountCredentials
def download_as_df(sheet_id, wks_name):
    from df2gspread import gspread2df as g2d
    # key_file 以下の指定方法だと、notebook と同じディレクトリにあるキーファイルを取得しています。
    key_file = "spreadsheet_api_key.json"
    scope = ['https://spreadsheets.google.com/feeds']
    credentials = ServiceAccountCredentials.from_json_keyfile_name(key_file, scope)    
    df = g2d.download(sheet_id, wks_name=wks_name, col_names=True, row_names=False, credentials=credentials, start_cell = 'A15')
    df = df.sort_values(by='ga:date') 
    return df

# 201710月-201712月のデータを取得する   
df_201710 = download_as_df("1brCpWvk2uofc3MEt-ASb2cuZ-u8Zmx-ICxSTltlbVBQ","ユーザーの行動レポート 201710")
df_201711 = download_as_df("1brCpWvk2uofc3MEt-ASb2cuZ-u8Zmx-ICxSTltlbVBQ","ユーザーの行動レポート 201711")
df_201712 = download_as_df("1brCpWvk2uofc3MEt-ASb2cuZ-u8Zmx-ICxSTltlbVBQ","ユーザーの行動レポート 201712")

# dataframeのマージ
import pandas as pd
df = pd.concat([df_201710, df_201711, df_201712])

# clientID 単位にページVIEWを集計
df_groupby = df.groupby("ga:dimension8",as_index=True)
# groupby した結果の ga:pageviews をカウント カウント結果をソートする
df_count_page_views = df_groupby.agg({"ga:pageviews": "count"}).sort_values("ga:pageviews",ascending=False)

# データの分布をvalue_counts()で出力、結果をソートする
series_counts = df_count_page_views["ga:pageviews"].value_counts().sort_index(0)
series_counts

# plotlyで折れ線グラフを表示
import plotly
plotly.offline.init_notebook_mode(connected=False)
plotly.offline.iplot([{
    'x': series_counts.index,
    'y': series_counts.values,
    'name': "ga:pageviews"
}], filename='データ分布', show_link=False, config={"displaylogo":False, "modeBarButtonsToRemove":["sendDataToCloud"]})

# ploty で円グラフ表示
import plotly
import plotly.graph_objs

labels = series_counts.index
values = series_counts.values

trace = plotly.graph_objs.Pie(labels=labels, values=values)
plotly.offline.init_notebook_mode(connected=False)
plotly.offline.iplot([trace], filename='basic_pie_chart')

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from IPython.display import display, HTML # Jupyter notebook用
from sklearn.cluster import KMeans
%matplotlib inline
def plot_elbow(array):
    distortions = []
    for i  in range(1,11):                # 1~10クラスタまで一気に計算 
        km = KMeans(n_clusters=i,
                    init='k-means++',     # k-means++法によりクラスタ中心を選択
                    n_init=10,
                    max_iter=300,
                    random_state=0)
        km.fit(array)                         # クラスタリングの計算を実行
        distortions.append(km.inertia_)   # km.fitするとkm.inertia_が得られる
    plt.plot(range(1,11),distortions,marker='o')
    plt.xlabel('Number of clusters')
    plt.ylabel('Distortion')
    plt.show()

array = np.array([series_counts.index,
                       series_counts.values,
                       ], np.int32)
array = array.T
plot_elbow(array)

pred = KMeans(n_clusters=2).fit_predict(array)
pred

del series_counts[1]
array = np.array([series_counts.index,
                       series_counts.values,
                       ], np.int32)

array = array.T
plot_elbow(array)

pred = KMeans(n_clusters=2).fit_predict(array)
pred

del series_counts[2]
array = np.array([series_counts.index,
                       series_counts.values,
                       ], np.int32)

array = array.T
plot_elbow(array)

pred = KMeans(n_clusters=4).fit_predict(array)
pred