NPSを中心とした品質測定量のマインドマップを作った

以前、NPS (Net Promoter Score) 調査を Web 上で実施する際に使えるライブラリ、ツール について調べてみました | Monotalk で NPS を算出するツールについて調べました。

NPS は サブスクリプションモデルのWebサービスにおいて、ソフトウェアの製品自体の評価、セールスの評価、カスタマーサポートの評価が良い感じに合わさった丁度良い指標に思えるのですが、一人のエンジニアとしては、漠然とし過ぎていて、日々のタスクの中に NPS を結びつけるのが難しく思っておりましたが、ソシオメディア | ユーザーエクスペリエンスの測定 を読んで、個人的に良い感じでブレイクダウン出来そうに思いましたので、品質測定量と、NPSの関係をマインドマップでまとめてみました。

結果を以下に記載します。

前提

品質測定量と、NPSの関係についてまとめる前提を記載します。

• NPS を ソフトウェア品質を測る最上位の指標とする。
  NPS は、企業ブランドや製品、カスタマー対応など、サービス全てのプロセスに影響します。
  ソフトウェアの使いやすさ、機能などの品質だけが、NPSに影響を及ぼすわけではありませんが、ソフトウェアの品質も影響するのと、利益や売り上げに対して相関があると世間一般に言われている指標なので最上位の値と考えても問題はないかなと思いました。

• 製品品質、利用時の品質 の区別は特にしない。
  製品品質、利用時の品質の区別は特にしていません。

• プロセス品質についての記載はない。
  ソフトウェア品質にプロセス品質というのがありますが、マインドマップ上記載していません。

• データ品質モデルについては記載しない。
  この記事を書いていて知りましたが、データ品質モデルについては記載しません。

• 営業、マーケティング、カスタマーサポートの品質測定量も記載した。
  営業、マーケティング、カスタマーサポートの品質測定量もあったので記載していますが、エンジニアが書いたものなので大分偏りがあります。

NPSとは？

NPSとは何か一般的に語られていることを記載します。

• ネットプロモータースコアの略称。

• 企業や<wbr>ブランドに<wbr>対してどれくらいの<wbr>愛着や<wbr>信頼が<wbr>あるかを数値化する指標。

• 9～10点を付けた顧客を推奨者、7～8点を中立者、0～6点を批判者と分類する。正直、計算式は直感的でないと思う。

参考

以下、説明の参考にした記事になります。
* 「NPS」って顧客満足度調査とは何が違うの？ NPSは業績に直結する指標です［第1回］ | 顧客ロイヤルティを高める「NPS」のはじめかた | Web担当者Forum

エンジニア視点でみた NPS のメリット、デメリット

エンジニア視点で見た、NPS のメリット、デメリットを記載します。

• ⭕️ 企業ブランドや製品、カスタマー対応など、サービス全てのプロセスの総合評価。

• ⭕️ ざっくりしていて感覚的にわかりやすい。

• ⭕️ 企業の業績との相関が高い。

• ❌ ざっくりしすぎており、スコアを掲示されても、エンジニア視点では改善のために何をしていいのかわからない。

エンジニアからの NPS へのアプローチ

個人的には NPS は 広義の UX の評価指標で、品質測定量の中心に位置すると考えて問題ないかなと思いました。
NPS を中心に置いて、他の品質指標量との関係性を測れれば、ソフトウェア関連の品質測定量はエンジニアに改善できるので、エンジニアはNPSの改善に貢献できるになるかと思います。

プロダクト品質とプロセス品質について

イメージ図

JIS X 25010：2013 に、プロダクト品質とプロセス品質のイメージ図があり、これを参考に以下の図を作成しました。

品質測定量とは、上記の品質に付随する各種測定量のことです。

イメージ図の説明

ソフトウェア品質知識体系ガイド -SQuBOK Guide-(第2版) | SQuBOK策定部会 |本 | 通販 | Amazon には、このイメージ図について以下のような説明が記載されています。
記載内容は要約です。

• ソフトウェア製品の品質を、プロセス品質、内部特徴と外部特徴からなる製品品質、利用時の品質の3つに分類している。

• プロセス品質、製品品質、利用時の品質にはそれぞれ、影響と依存の関係がある。

• 一般的な品質の呼称

  • 製品品質と利用時の品質を総称してプロダクト品質と呼ぶことも多い。
  • 製品品質をプロダクト品質、利用時の品質を顧客満足度と分けて呼ぶこともある。
  • 一般的な製品やサービスの品質管理において、製品やサービスに対するプロダクト品質を単純に製品や<wbr>サービスの<wbr>品質と呼ぶことがある。
  • プロセス品質はプロセス能力や工程能力もしくは工程性能と呼ぶことがある。

• プロセスのばらつき

  • プロセスの品質をアウトプットのばらつきとして捉え、このばらつきを収束させることでプロセスの安定した結果を保証できる。
  • プロセスのばらつきとして管理する対象は、プロセスの成果物の障害だけでなく、コストや納期なども対象になる。

各測定量の説明

NPSを中心とした品質測定量のマインドマップv2.png - Google ドライブ

NPS と 品質測定量の関係

以下が作成したNPSと品質測定量のマインドマップです。
NPSを中心とした品質測定量のマインドマップv2.png - Google ドライブ

マインドマップの補足説明

以下、補足で説明を記載します。
* NPSを中心に配置
* Sales/Marketing、Custmer Support、Software development、UI で大分類を分けた。
* 大分類の配下のカテゴリはオレンジ。
* 品質測定量は、灰色で記述。
* ソフトウェアの品質測定量は、JIS X 25023 を参考にした。
* UI の品質測定量は、ソシオメディア | ユーザーエクスペリエンスの測定 の内容を記載。
* Sales/Marketing、Custmer Support の品質測定量は、参考に記載した記事から抽出。

大分類UIで個人的に意識したい品質測定量

全て必要な観点だと思いますが、個人的に意識したいと思う品質測定量について記載します。

自己申告メトリクス

アンケートテンプレートが存在し、定量的にUI評価でき、NPSとの相関がある指標もあります。
ソフトウェア開発だと、上流の指標なのでこの辺りを良い感じで計測できるのが理想ですが、評価取得に工数が掛かりそうに思います。
Google スプレッドシートで 必要な項目入力するとGoogle フォームを吐き出すツールがあると、工数削減になるかもしれません。

• 参考
  • UX design4-5-3 | 照明と空間をデザインする
  • 安藤日記
  • BtoBのUXの効果測定に使えそうなNPS・SUSとは？〜UX Bridgeに参加してきました〜 ｜ DevelopersIO

アクセシビリティ

Chrome aXe plugin の日本語化されたので、機械的な検証である程度、バグが修正できるようになった気がします。

• 参考
  • 自分でできるWebページのアクセシビリティチェック | フロントエンドBlog | ミツエーリンクス
  • アクセシビリティツール一覧 - 情報バリアフリーポータルサイト
  • Web Content Accessibility Guidelines (WCAG) 2.1

稼働中のウェブサイトのデータ

この辺りのメトリクスはアクセス解析ツールや、A/B テストツール等で、取得が簡単にできる品質測定量に思いました。

パフォーマンスメトリクス

この辺りのメトリクスはアクセス解析ツールを駆使して取得する形になるかと思います。
サーバー側のストレージ上に保存されていて、SQL等で定期的に取得できるパターンもあるかと思います。
ソフトウェア開発だと、これらもそれなりに上流の指標で、且つ計測には工数がかからないので開発時に意識して簡単に取得できるようにしたいです。

• 参考

  • Formの送信ログから反省する、 本当は必要だったバリデーションや機能たち - Speaker Deck リクルート、
  • サービスのグロースやUX改善に不可欠なMixpannelやAmplitudeの計測設計｜KAJI @ MESON CEO｜note

• カスタマージャー上のNPSに対してパフォーマンスメトリクスを取得する
  NPS をカスタマージャーニーのイベントに対して測定しているケースもあるかと思います。
  カスタマージャーニーのイベントに対してのパフォーマンスメトリクスを測定すると、NPSに対するROIが高そうに思いました。

大分類Software Developmentで個人的に意識したい品質測定量

セキュリティ

アプリケーションは脆弱性をある程度機械的にチェックできるようになってきており、最低限はエンジニア側で意識しないといけない領域かと思います。
機械的にチェック可能な部分は機械的に脆弱性がわかります。

Javaのアプリケーション開発の領域だと、個人的には以下のツールを使用するのが良いかと思います。

• OWASP Zed Attack Proxy Project - OWASP
• 113種類のセキュリティ脆弱性を検知できるOSS静的解析ツール「Find Security Bugs」 - Life w/ Tech
• OWASP Dependency Check の使い方（Command Line Tool 編） - Web Application Security Memo

使用性 > 適切度認識性

使用性 の配下に適切度認識性という副特性があります。

利用者が、製品が<wbr>利用者の<wbr>使用目的に<wbr>適合しているか を理解できるかを示す指標で、マニュアルや、製品の紹介の仕方が適切かを判断するための指標です。
ソフトウェア開発者がこの領域を担当することは少ないかなと思いました。
この領域がJISのプロダクト品質に含まれることに興味を持ちました。

その他の大分類で個人的に興味を持った品質測定量

公報関係の品質測定量に興味を持ちました。

パブリシティスコアという考え方は機械学習が適用できそうだったり、ソーシャル共有数など取得が自動化できたり、ITとの親和性高そうに思いました。

• 参考
  広報の効果測定方法に奮闘している話 - きよしのぶろぐ

感想

NPSを中心とした品質測定量のマインドマップを作ってみました。以下感想をまとめます。

• 作成に時間がかかったが、品質測定量について俯瞰的なイメージを持つことができた。

• 各測定指標の親子関係、相関関係、因果関係なども明らかにできれば良かったが、一枚では書ききれない気がする。

• Sales・Marketing、Customer Support 等の品質測定量で ITでの自動化などができるものもありそうなので、そのうち深掘りしたい。

• NPS に対する ROI 出そうとすると、Software Development ではなく、Sales・Marketing や、Customer Support 優先で投資するという選択も発生するのだと思った。

参考

その他、参考にした記事は以下になります。

• ネット・プロモーター・スコア - Wikipedia

• カスタマーサクセスをするにあたって読んで良かった書籍10選 - Yuta Maruyama - Medium

• つながる世界の利用時品質
  IPA の 利用時の品質 に関するドキュメントです。

• 【KPI】マネジメントすべきは 顧客満足？顧客体験？NPS？ | BIZTEL

• システム及びソフトウェア製品の品質要求及び評価（SQuaRE) -システム及びソフトウェア製品品質の測定量

• 【再考】プロセスで品質を作りこむ: プログラマの思索

• ユーザビリティとUXの関係 その2 – U-Site

• ソフトウェアメトリクス高度化プロジェクト

• 広告効果測定の基本業務は「広告指標」「費用対効果」の確認から。見るべきポイントと運用改善 #2/3 | ネット広告運用初心者マニュアル | Web担当者Forum

• 本当に使える、意味のある営業活動KPI 8選 | セールスハックス

以上です。