Web サイトの一部を ユーザー属性ごとに変更するのは、A/B Test ツールでもできるし、A/B Test ツールということが全面に出ていないツールでも、A/B Test のようなことができます。この周辺ツール、ライブラリ類の具合がよくわからなかったので、A/B Test、Web personalization、RTP、Website Optimization をキーワードとして、調べてみました。
行き当たりばったりになりますが、以下に記載します。
動機
そもそも調べようと思った目的を記載します。
-
A/B Test ツールと、Web personalization ツールの違いがわからないので違いを理解したい。
-
オープンソース、有料ツール含めてどのようなものがあるのか知りたい。
上記 2 点です。
ちなみに業務上使用した経験は一切ございません。
趣味で調べた個人的な調査結果、見解となります。
記載内容についての説明
以下の内容について調べてみました。
1. A/B Test とは
2. A/B Test ツール、Web personalization tool、RTP、Website Optimization の違い
3. ツール、製品について
4. サーバ側のライブラリについて
5. クライアント側のライブラリについて
調べた結果
調べた結果を記載します。
1. A/B Test とは
個人的な理解を以下に記載します。
-
個人的な理解
- ランダム比較実験とも言われる。
- Web ページの一部のパーツを出し分けるテストを行い、その優位差があるか確認、パフォーマンスが良い方を勝ちパターンとする。
- Web ページの文言を出し分けるテストを行い、その優位差があるか確認、パフォーマンスが良い方を勝ちパターンとする。
- Web ページ全体を出し分けるテストを行い、その優位差があるか確認、パフォーマンスが良い方を勝ちパターンとする。
- サンプル数が多すぎると直感的に違いはなくても有意差が出てしまうので実施回数に注意する。
- UX の 検査、検証を行うテスト技法。
- 心理統計、行動経済学とかを知っていると、いいテストができそうな個人的なイメージ。
-
参考
2. A/B Test ツール、Web personalization tool、RTP、Website Optimization の違い
言葉、使われ方の違いを調べてみました。
A/B Test ツール、Web personalization tool の違い
英語名称として、A/B Test tool
、Web Personalization tool
あたりで検索すると、同じ製品もヒットし、同じものなんじゃないの?
という疑問にぶちあたりつつ、それなりなところに最終的に落ち着いたので自分の見解をまとめます。
-
A/B Test ツール
ページのクリエイティブに対して、A/B もしくは、もっと多数のパターンをテストでき、その評価を可視化できるツールセット。 -
Web Personalization tool
ユーザーの属性により、コンテンツを変更するためのツール。
製品、ツールをいくつか見る限り、A/B Test の機能、Web Personalization tool の機能は明確に分かれていそうに思いました。
以下、参考例として、Google Optimize の記事を記載します。
Google Optimize の無料版も、無理矢理使えば、Web Personalization tool としても使えなくはなさそうです。
- Google Optimiza の参考記事
RTP
RTP は Real-Time Personalization
の略であんまり一般的な言葉ではないようです。
Marketo の API 名称になっていたので気になって調べてみました。
Web Personalization - Marketo Developers
以下の日本語ドキュメントどのような機能かは記載されています。
ウェブパーソナライズ - RTP - Japanese - Product Documentation
Web Personalization tool
として使えるもののようです。
Website Optimization
Website Optimization
で検索すると、Optimizely が 上位に表示されます。
Website Optimization - Google 検索
ただ、Cloudflare のサイトなども表示され、Webサイトの高速化の文脈でも使われる言葉のようです。
A/B Test や、Web personalization 文脈で検索をかけるには不適当でした。
3.有料ツール、製品について
-
オプティマイズとオプティマイズ 360 の比較 - Optimize ヘルプ
Google Optimize の説明になります。 -
コンテンツのテスト&最適化 (Oracle Maxymiser) | Oracle Marketing Cloud | Oracle 日本
A/B テストと、Web Personalization の両方を機能としてもっていそうです。 -
リアルタイムマーケティング機能を大幅強化!Webサイトにアクセスしたユーザーへ「リアルタイム」なA/ Bテスト、レコメンドツールによるコンテンツの最適配信が可能に - Treasure Data
Treasure Data の Realtime Segmaintion API の説明です。この API が 直接的に A/B テスト機能をもっているわけではなさそうで、API の結果を A/B テストに利用できるというものかと思います。 -
Watson Real-Time Personalization - Overview - United States
IBM Watson です。 -
LiftIgniter
NTT ドコモが出資する、レコメンデーションツールです。A/B テスト、Web Personalize の機能もあります。 -
Leadership Team at Sailthru | Sailthru Company
Sailthru という Web personalization tool です。 -
Website testing and personalization | Adobe Target
Adobe の Target です。 -
Web personlization tool for dynamic websites - Omniconvert
Omniconvert 、Tarffic Source
、Geolocation
、Survey
、Behavior
、UTM parameters
、Technology
、Custom (GTMのデータレイヤ変数etc)
で Targeting ができるサービスです。
4. サーバ側のライブラリについて
サーバ側のライブラリ、オープンソース etc について記載します。
-
Unomi Podling Maturity Assessment | Apache Unomi
Apache Unomi というオープンソースの Customer Data Platform です。
これは、A/B テスト文脈ではない、Web Personalization の機能が実装されています。 -
Open Source Marketing Automation: Mautic
Open Source の MA ツールの Mautic でも A/B Test の機能があります。 -
indeedeng/proctor: Proctor is a Java-based A/B testing framework.
Indeed が開発したオープンソースの A/B Testing framework です。 JAVA製。 -
sixpack/sixpack: Sixpack is a language-agnostic a/b-testing framework
seatgeek 社が開発した A/B Testing framework です。Python製。 -
fetlife/rollout: Feature flippers.
Ruby 製のオープンソースの A/B Testing framework です。 Front Dashboard は、fiverr/rollout_dashboard: Rollout-Dashboard is a beautiful user interface for rollout gem. で別れていて、Frond UI だけ別サーバーということができるように思われます。 -
maccman/abba: A/B testing framework
Stripe - Online payment processing for internet businesses | 日本 が開発したオープンソースの A/B Testing framework です。
クライアント側 JavaScritpt をサイトに組み込み、サーバ側 Ruby を通信を行ってテストを実施するようです。
Github 上の最終更新は 3年前で最近はあまり開発されていないのかもしれません。 -
assaf/vanity: Experiment Driven Development for Ruby
Ruby 製のオープンソースの A/B Testing framework です。 Mail の A/B テストもできる? -
Topic: ab-testing
Github のab-testing
タグがついている Repository です。
5. クライアント側のライブラリについて
クライアント側の導入のみで済むライブラリについて記載します。
クライアントのみでなんとかするパターンは2013-2014年ごろまでは、開発されていたようですが、最近はあまり開発、メンテナンスが進んでいないようです。
無料サービスで同じようなことができるものもあるので、自分で開発しなくても、というところなのかと思います。
-
AB.js - An easy to use JavaScript A/B testing framework
パターンで実行する JavScript を切り替えてページのレイアウト等を変更できます。 -
danmaz74/ABalytics: Simple client-side A/B testing in pure javascript
Goolge Analytics へ テスト結果を送信する ABテストライブラリです。 -
srom/easyAB: ⚠️ Unmaintained ⚠️ | A jQuery plugin for easily setting up A/B tests using Google Analytics. こちらも同様で、Goolge Analytics へ テスト結果を送信します。JQueryベース
-
Search · ab test Github の JavaScirpt 言語でのキーワード
ab test
での検索結果です。
React 関連だと幾つか最近開発されたものが見つかります。
参考
以下、まとめている際に見ていた記事になります。
-
グロースとは学びを得ること - 後編|Go Ando / THE GUILD|note
A/B テストフレームワークを独自開発している企業とそのフレームワークへのリンクが記載されています。 -
マーケティング領域で「弱い人工知能」はどう使われている? 機械学習の活用方法を考える (1/2):MarkeZine(マーケジン)
感想
以下、調べた感想を記載します。
A/B Testing tool
- サービス多すぎ。
- 無料/有料 ともに充実している。ツール、オープンソースともに多く見つかる。
- 個人で使うには、Google Optimize で十分に思った。
- 企業利用として、使用している 有料サービスに依存すると思うが、LiftIgniter は ドコモも出資していて、日本語ドキュメント充実していて安心に見えた。
Web personalization tool
- Web Personalation が関係すると、サービスが少なくなる。
- Unomi Podling Maturity Assessment | Apache Unomi だとオープンソースで、Web personalization ができそう。
- 有料は、LiftIgniter と、Web personlization tool for dynamic websites - Omniconvert ができることが分かりやすく使いやすそうに見えた。
ツールの使い分けについて
-
DMP 等が導入済みでなければ、Unomi Podling Maturity Assessment | Apache Unomi を使う。事例がなくて怖い。
オンプレで構築できるので、セキュリティ等の問題でクラウドサービスが使えない場合は選択肢として上がるかもしれない。 -
無料に拘る場合は、A/B Test は Google Optimize 等の無料ツールを使い、結果が出たらその結果を、Web personalization tool に設定していく。
Web personalization tool はこの場合、自前実装。サイトに組み込みの、コンテンツ出しわけ処理になる。 -
無料に拘らない、セキュリティの問題が突破できれば、有料ツールを使うのがよい。本業の分野からは遠い面倒なことはお金で解決したいと個人的に思う。
以上です。
コメント