Google Analytics のデータを元に、Blog 記事 のアイテムベース協調フィルタリングレコメンドをしてみる

python3 -m pip install gspread --user
python3 -m pip install oauth2client --user
python3 -m pip install scikit-surprise --user
python3 -m pip install df2gspread --user

from oauth2client.service_account import ServiceAccountCredentials
def download_as_df():
    from df2gspread import gspread2df as g2d
    # key_file 以下の指定方法だと、notebook と同じディレクトリにあるキーファイルを取得しています。
    key_file = "spreadsheet_api_key.json"
    scope = ['https://spreadsheets.google.com/feeds']
    credentials = ServiceAccountCredentials.from_json_keyfile_name(key_file, scope)    
    # 1brCpWvk2uofc3MEt-ASb2cuZ-u8Zmx-ICxSTltlbVBQ はスプレッドシートのID なのでそれぞれ取得対象のスプレッドシートで変わります。
    df = g2d.download("1brCpWvk2uofc3MEt-ASb2cuZ-u8Zmx-ICxSTltlbVBQ", wks_name="ユーザーの行動レポート 201710", col_names=True, row_names=False, credentials=credentials, start_cell = 'A15')
    df = df.sort_values(by='ga:dimension8') 
    return df

df = download_as_df()
df

from surprise import Reader, Dataset
reader = Reader(line_format='user item rating', sep=' ')
dataset = Dataset.load_from_df(df, reader=reader)

from surprise import SVD
model = SVD()

# 全てのデータを使って学習
trainset = dataset.build_full_trainset()
model.train(trainset)

# 評価値を予測する
prediction = model.predict(uid="1001125006", iid="/blog/cent-os-69-に-memcached-をインストールログの設定まで実施する/")
print('Predicted rating(User: {0}, Item: {1}): {2:.2f}'
        .format(prediction.uid, prediction.iid, prediction.est))

Computing the msd similarity matrix...
Done computing similarity matrix.
Predicted rating(User: 1001125006, Item: /blog/cent-os-69-に-memcached-をインストールログの設定まで実施する/): 1.20

from surprise import evaluate

# 学習データとテストデータを4分割
dataset.split(n_folds=4)

# 平方平均二乗誤差と平均絶対誤差の算出
result = evaluate(model, dataset, measures=['RMSE', 'MAE'])
result

Evaluating RMSE, MAE of algorithm SVD.

------------
Fold 1
RMSE: 1.4291
MAE:  0.5485
------------
Fold 2
RMSE: 1.2848
MAE:  0.5540
------------
Fold 3
RMSE: 0.8470
MAE:  0.5086
------------
Fold 4
RMSE: 1.1087
MAE:  0.5223
------------
------------
Mean RMSE: 1.1674
Mean MAE : 0.5333
------------
------------





CaseInsensitiveDefaultDict(list,
                           {'mae': [0.54846225701436846,
                             0.55402829594829694,
                             0.50855895245752036,
                             0.52225277635798917],
                            'rmse': [1.4290612954440325,
                             1.2848327554774843,
                             0.84697789666245271,
                             1.1086690225537881]})

from surprise import KNNBasic
model = KNNBasic()

# 全てのデータを使って学習
trainset = dataset.build_full_trainset()
model.train(trainset)

# 評価値を予測する
prediction = model.predict(uid="1001125006", iid="/blog/cent-os-69-に-memcached-をインストールログの設定まで実施する/")
print('Predicted rating(User: {0}, Item: {1}): {2:.2f}'
        .format(prediction.uid, prediction.iid, prediction.est))

Computing the msd similarity matrix...
Done computing similarity matrix.
Computing the msd similarity matrix...
Done computing similarity matrix.
Predicted rating(User: 1001125006, Item: /blog/cent-os-69-に-memcached-をインストールログの設定まで実施する/): 1.00

from surprise import evaluate

# 学習データとテストデータを4分割
dataset.split(n_folds=4)

# 平方平均二乗誤差と平均絶対誤差の算出
result = evaluate(model, dataset, measures=['RMSE', 'MAE'])
result

Evaluating RMSE, MAE of algorithm KNNBasic.

------------
Fold 1
Computing the msd similarity matrix...
Done computing similarity matrix.
RMSE: 1.1240
MAE:  0.5434
------------
Fold 2
Computing the msd similarity matrix...
Done computing similarity matrix.
RMSE: 1.4066
MAE:  0.5866
------------
Fold 3
Computing the msd similarity matrix...
Done computing similarity matrix.
RMSE: 0.9164
MAE:  0.5322
------------
Fold 4
Computing the msd similarity matrix...
Done computing similarity matrix.
RMSE: 1.2546
MAE:  0.5644
------------
------------
Mean RMSE: 1.1754
Mean MAE : 0.5566
------------
------------





CaseInsensitiveDefaultDict(list,
                           {'mae': [0.5433624807357964,
                             0.58657066818605086,
                             0.53216262890423915,
                             0.56439259979812473],
                            'rmse': [1.1239719739149885,
                             1.4066485670168258,
                             0.91640801231542368,
                             1.2545908278867675]})

from surprise import BaselineOnly
model = BaselineOnly()

# 全てのデータを使って学習
trainset = dataset.build_full_trainset()
model.train(trainset)

# 評価値を予測する
prediction = model.predict(uid="1001125006", iid="/blog/cent-os-69-に-memcached-をインストールログの設定まで実施する/")
print('Predicted rating(User: {0}, Item: {1}): {2:.2f}'
        .format(prediction.uid, prediction.iid, prediction.est))

Estimating biases using als...
Computing the msd similarity matrix...
Done computing similarity matrix.
Predicted rating(User: 1001125006, Item: /blog/cent-os-69-に-memcached-をインストールログの設定まで実施する/): 1.25

from surprise import evaluate

# 学習データとテストデータを4分割
dataset.split(n_folds=4)

# 平方平均二乗誤差と平均絶対誤差の算出
result = evaluate(model, dataset, measures=['RMSE', 'MAE'])
result

Evaluating RMSE, MAE of algorithm BaselineOnly.

------------
Fold 1
Estimating biases using als...
RMSE: 1.2686
MAE:  0.5409
------------
Fold 2
Estimating biases using als...
RMSE: 1.3285
MAE:  0.5450
------------
Fold 3
Estimating biases using als...
RMSE: 1.2432
MAE:  0.5573
------------
Fold 4
Estimating biases using als...
RMSE: 0.8520
MAE:  0.5008
------------
------------
Mean RMSE: 1.1731
Mean MAE : 0.5360
------------
------------





CaseInsensitiveDefaultDict(list,
                           {'mae': [0.54090417491621035,
                             0.54504647468273115,
                             0.55726726538797222,
                             0.50077004102283584],
                            'rmse': [1.2685778535486407,
                             1.3284861599445619,
                             1.2431791543957929,
                             0.85204905872498649]})

sim_options = {'name': 'cosine',
               'user_based': False  # compute  similarities between items
               }
algo = KNNBasic(sim_options=sim_options)

def create_recommended_data(trainset, similarities):
    """
    データ加工用のfunction PageURL をキー、評価の降順にソートされた Taple のリストをValue として持つ辞書 を作成する
    """
    results = {}
    for index1, elems in enumerate(similarities):
        # to_raw_iid で、similarities の配列のインデックスから、item id　を取得できる
        raw_id1 = trainset.to_raw_iid(index1)
        # blog 記事は url に blog を含むのでそれ以外は除外する
        if "/blog/" not in raw_id1:
            continue
        data = {}
        for index2, elem in enumerate(elems):
            # index値が同じデータは、同一記事なので、除外
            if index1 == index2:
                continue
            raw_id2 = trainset.to_raw_iid(index2)
            # blog 記事は url に blog を含むのでそれ以外は除外する
            if "/blog/" not in raw_id2:
                continue
            # 評価が0.5以下は除外する
            if elem <= 0.5:
                continue
            data.update({raw_id2 : elem})
        results.update({raw_id1 : sorted(data.items(), key=lambda x: -x[1])})
    return results;

from surprise import KNNBasic
sim_options = {'name': 'cosine',
               'user_based': False  # compute  similarities between items
               }
model = KNNBasic(k=5, min_k=1, sim_options=sim_options)
# 全てのデータを使って学習
trainset = dataset.build_full_trainset()
model.train(trainset)
# ITEM間の類似度を計算
similarities = model.compute_similarities()
recommends_data = create_recommended_data(trainset, similarities)

Computing the cosine similarity matrix...
Done computing similarity matrix.
Computing the cosine similarity matrix...
Done computing similarity matrix.

recommends_data.get("/blog/usage-of-django-compress-on-mezzanine/")

[('/blog/google-モバイルサイト認定を取得してみました/', 1.0),
 ('/blog/django-migrate-コマンドでinsert-文を実行する/', 1.0),
 ('/blog/add-configuration-on-django-compressor/', 1.0)]

recommends_data.get("/blog/404_errorpage_configration_on_wicket_dropwizard/")

[('/blog/search-resutls-wicket-models/', 1.0),
 ('/blog/control-error-message-by-component-on-wicket/', 1.0),
 ('/blog/Block-multiple-requests-of-Wicket-Ajax/', 1.0),
 ('/blog/a-child-with-id-already-exists-でダメージを受ける/', 1.0),
 ('/blog/delete-version-number-from-url-on-wicket/', 1.0),
 ('/blog/search-resutls-wicket-forms/', 1.0),
 ('/blog/apache-wicketでrestapiを使う/', 1.0),
 ('/blog/rest-api-on-wicket7.3.0/', 1.0),
 ('/blog/wicket-about-wicketheader-items/', 1.0),
 ('/blog/using-resource-on-wicket-application/', 1.0),
 ('/blog/Wicket-AjaxButton-Controls-behavior-when-an-error-occurs-onSubmit-method/',
  1.0),
 ('/blog/wicket-が-使用するjquery-の-version-を-切り替える/', 1.0),
 ('/blog/wicket-stateless-な-pagenavigator-を作る/', 1.0),
 ('/blog/wicket-条件でhtml等のリソースファイルの切り替えをする/', 1.0),
 ('/blog/usage-of-image-class-in-wicket/', 1.0),
 ('/blog/error-handling-on-wicket/', 0.94868329805051377)]