データプロダクト運用（データを活用して運用活動の設計を改善する方法）

データを活用して運用活動の設計を改善するにはどうすればよいでしょうか?

運用活動では、役割によってデータに対するニーズが異なります。たとえば、運用と販売は、ビジネス指標のパフォーマンスに焦点を当て、リソースの割り当てを計画し、活動を監視し、入出力とプロジェクトの価値を評価するなどします。一方、プロダクトマネージャーは使用状況データをチェックし、ページ機能に異常がないか判断する傾向があります...そしてデザイナーにとって、データはどのような役割を果たすのでしょうか?

私たちは、デザインは創造とは異なり、デザインには目的と合理的な部分があることに気づいています。データ分析をしたことがない人でも、解決策を見つけることができます。しかし、定量的な次元としてのデータは、設計判断のチャネルを広げ、特定の現象や問題を客観的に反映することができます。データで設計を決定することはできませんが、データ分析は設計ソリューションの導出と意思決定をサポートし、ソリューションの有効性を検証するための定量的な基準として使用できます。

さらに、一部のチームのデザイナーは、デザインの価値を実証できないことに悩んでいます。たとえば、運用活動では、調達からゲームプレイ戦略、マーケティングプロモーションまで、すべてが売上と活動の結果に影響を与えます。デザインの価値を活動に反映させ、活動計画におけるデザインとユーザーエクスペリエンスの声を高めるには、客観的で測定可能なフィードバックも必要であり、データ分析はフィードバックの手段を提供します。

デザイナーはビジネスデータと製品データの両方を考慮する必要がある

運用アクティビティは比較的特殊な形態の製品であり、これらの特殊な機能により、データ分析作業も一般的な製品とは異なります。

まず、運用アクティビティは通常、時間に敏感であり、短期間のみオンラインになります (一部のアクティビティ ページは 1 日または 2 日のみ有効です)。一般的な製品の長期データテストと比較すると、運用活動のデータ分析は、リアルタイムの監視と要約データに重点​​を置く傾向があります。

第二に、運用活動はバッチで開始されます。小規模な反復を通じて継続的に検証できる一般的な製品とは異なり、アクティビティのテーマ、ビジネス目標、製品カテゴリ、関心ポイント、その他の条件の違いにより、さまざまなアクティビティの設計は大きく異なります。多くの場合、小規模な反復だけでソリューションを設計することは不可能であり、限られたリソースでは完全なソリューション テストをサポートできません。

イベントのパフォーマンス データに影響を与える要因が他にもあることにも注意する必要があります。イベントによって、リソースの割り当て、トラフィック チャネル、製品の選択、プロモーションの強度、さらにはイベント自体の認知度 (11.11 など) が異なるため、変数を制御して影響要因を排除することが難しくなります。さらに、操作アクティビティ ページは、ユーザー プロセス全体の一部にすぎません。設計したページを分析する際には、ユーザーがどのようにページにアクセスし、その後どのような行動が最終的に注文を生み出すのかなど、前後のプロセスも考慮する必要があります。

製品の役割や種類にかかわらず、データ分析の考え方や手法は大体似ていますが、業務活動製品の特性や設計者のデータ分析の目的に応じて、どのように分析を行うかを検討する必要があります。

設計者にとっては、ビジネス データのパフォーマンスだけを見るのではなく、設計上の決定や設計検証を行うために、データと設計ソリューションを組み合わせる必要があります。データを取得し、データの結果に基づいて結論を推論した後にのみデータ分析を開始することは避けるべきです。

一方で、アクティビティが終了した後に必要なデータが欠落していて記録されていないことが判明する状況は避ける必要があります。一方、設計が正しいことを逆に証明するために、その後の結果から良好なパフォーマンスのデータを探すのではなく、ターゲット指標の変化に基づいて設計を検証する必要があります。

したがって、設計計画を確立された指標と組み合わせ、これらの指標を合理的な方法でテストすることが、運用アクティビティ設計者にとってのデータ分析の主な考え方です。その中でも、GSM プロセス (Goal-Signal-Metric) は、より一般的に使用されている方法です。

GSMプロセスを通じて指標を見つけ、設計を検証する

目標の設定は、具体的、明確、かつ明確なものでなければなりません。イベントの効果を高めたい、GMV を増やしたい、と単純に言うだけではだめです。運用アクティビティの設計者にとって、設計目標を決定するには、多くの場合、製品目標とビジネス目標を組み合わせること、つまり、ユーザー エクスペリエンスを確保しながら特定のビジネス需要を満たすことが必要になります。

たとえば、転換に使用する必要のあるアクティビティ ページの設計では、ユーザーが後続のページにすばやくアクセスして注文できるように、ユーザーの閲覧効率を向上させることを目指す場合があります。アクティビティ入口スポットの設計目標は、ビジネスに必要な優先情報を明確に提示し、それによってユーザーのクリック意欲を高めることです。

シグナルとは、計画のフィードバック信号を指します。指標を設定するプロセスでは、設計目標に基づいて得られるフィードバックを見積もる必要があります。通常、目標には、ページの閲覧時間の短縮、全体的なクリック数の減少、クリックスルーコンバージョン率の増加など、検出に使用できる複数のシグナルがあり、これらはすべてユーザー効率の向上を反映しています。どの特定の信号を選択するかについては、設計計画、つまり何を変更または設計したか、この調整によってどのようなデータが変更されると予想されるかと併せて検討する必要があります。

運用活動設計計画には複数の設計ポイントやシグナルが存在する場合がありますが、互いに干渉しないシグナル（例えば、クリック分布とクリック率という 2 つのシグナルは比較的独立しています）を分析することで、ある程度の結論を導き出すことができます。ただし、アクティビティの説明を追加したり、会場に入るためのボタンを弱めたりするとクリック率に影響する可能性があり、その後の改良や反復でそれぞれの役割を検証する必要があるかもしれません。

メトリクスとは、信号を技術的にどのように測定するか、また、目標の達成を確認するためにこれらの信号フィードバックを評価するためにどのような方法が使用されるかに関するものです。測定方法は通常比較であり、変数を制御することで比較に説得力を持たせることができます。したがって、AB テストは、AB スキーム自体の違い以外の変数の制御を最大限にすることができるため、製品データ検証の一般的な方法です。

しかし、運用アクティビティページの場合、すべての設計ポイントでABテストを実施することは不可能な場合が多いです。先ほど、アクティビティはバッチで開始されると述べました。アクティビティには多くのページとデザインポイントがあります。リソースが限られている状況では、すべてのページデザインプランの変更ごとに AB テストプランを設計すると、設計および開発コストが高くなります。

そのため、商品スロットの興味ポイントを表示するスタイルなど、比較的独立しており単一だが広く使用されているユニット機能については、AB テストを検証して反復することができます。ただし、全体的なページ戦略や、比較的まれなカスタマイズされたコンポーネントの場合、AB テストは必ずしも実行可能な方法ではない場合があります。

このような状況では、データ分析をやめるわけにはいきません。特定の結論を導き出すには、ある程度の「精度の低い」測定に頼る必要があります。一般的な方法は、前年比と前年比の結果を以前のプロジェクトの同様のページまたはモジュールと比較することですが、この比較を行う際にはいくつか注意すべき点があります。

まず第一に、制御変数の概念が依然として必要です。比較を行う前に、比較ページの状態の違いを整理する必要があります。ソリューション自体の違いに加えて、外部ページリソースの違いも必要であり、これらの違いが測定シグナルにも影響を与えるかどうかを把握する必要があります。クリック率の低下はスタイルに関係しますが、ページ配信対象と商品カテゴリーの不一致によっても発生する可能性があります。

これらの変数を排除するには、一方では、ビジネス状況を組み合わせて信号に影響を及ぼす可能性のある設計外の他の要因、およびこれらの要因の変化とそれらが及ぼす可能性のある影響を理解する必要があります。一方、いくつかの変数は、いくつかの計算方法を通じて相殺することができます。

活動リソースの割り当て、プロモーションの雰囲気、プロモーション商品は期間によって異なるため、異なる期間の異なるゲームプレイによるクーポンの参加と使用の効果を直接比較することによって、これらの要因の影響を排除することは困難です。 2つの期間で同様の条件の通常のクーポンを選択し、最初に同じ期間を比較し、次にデータの差異を比較することを検討できます。これにより、環境条件の変化の影響をある程度相殺できます（影響要因を完全に排除できるわけではないことに注意してください）。

さらに、定規を使用することで、いくつかの環境変数を排除し、信号の差が設計の検証をサポートするのに十分かどうかを判断できます。

運用アクティビティ ページのデータの増加は、設計ソリューションによるものである可能性もありますが、通常の変動、または市場環境全体の改善によるものである可能性もあります。定規は、これらの影響の中でデータの変化をより客観的に判断するのに役立ちます。

1 つの方法は、より高レベルのデータ パフォーマンスを基準として使用することです。たとえば、特定のページでデータが変更された場合、アクティビティ全体の全体的なパフォーマンスを基本的な基準として使用できます。アクティビティのデータの変化を分析する場合、同じ期間の製品全体のデータの変化をベンチマークとして使用できます。ルーラーを使用すると、データの変化や変動からデータのパフォーマンスをより現実的に推測できます。

アクティビティの全体的な市場データと比較すると、データの増加は実際には全体的なパフォーマンスよりも低くなります。したがって、データの増加について直接結論を導き出すことは不可能です。ページが目標を達成したか、問題があるかを判断するには、コンバージョンを向上させるために使用されたモジュールのパフォーマンス、ユーザーのその後の使用パスなど、より多くの次元を組み合わせる必要があります。

最後に、この測定は決して「正確」ではないため、データを比較する際には、他のモジュールやページ データを組み合わせたり、他のディメンション情報 (トラフィック、人口、製品の調達、売上など) を組み合わせてクロス分析したり、他のユーザー調査方法を通じて定性分析と検証を実施したりするなど、他の情報でデータを補足することを検討する必要があります。

データ分析は特定の問題を特定の方法で扱う仕事なので、今回は業務活動のためのデータ分析のアイデアのみを紹介します。さまざまな問題に直面したり、さまざまなタイプのアクティビティに直面したりする場合は、より適切な分析方法がある場合があります。さらに、デザイナーにとって、データは問題を発見し、デザインを分析および検証するための手段の 1 つです。設計やデザインの決定にデータだけに頼るのは避けるべきです。

データは設計のガイドとして使用できますが、設計プロセス中に考慮する 1 つの側面にすぎません。すべての設計上の決定をデータのみに依存して行ったり、設計が成功したかどうかを判断するためにデータのみを使用したりすると、一方的な結果になることがよくあります。

著者: Unknown Element Design、公式アカウント: Unknown Element Design

この記事はもともと、Everyone is a Product Manager で @未知素设计 によって公開されました。無断転載禁止

タイトル画像はCC0ライセンスに基づいてUnsplashから引用しています