インターネットプロダクトオペレーション（インターネットの今後の方向性：データ駆動型プロダクトオペレーションイノベーション）

インターネットの今後の方向性：データ駆動型製品運用イノベーション

シェアゲスト: Yaohe Technology 共同設立者 & COO @张奕飞老师

この記事は、その場で共有した内容を「みんながプロダクトマネージャー」メディア部の @Hatter がまとめ、編集したものです。本文は以下のとおりです。

ベイリー・ボズワースはこう言う。

この文を2つのレベルから解釈してみましょう。

まず、データの爆発。実際、人類が正式にインターネット時代に入ったのは 2000 年ですが、毎年生成されるデータは、それ以前のすべての年に生成されたデータの合計です。今はデータ爆発の時代です。

第二に、データがなければ決定は下せません。データは数多くの業界に変革をもたらしています。

1682年、ある天文学者が巨大な彗星を観測しました。歴史的な記録によると、この木は1531年と1607年に同様の天文現象を経験しています。そこで彼はデータを分析し、データマイニングを行ったところ、76年後に再び彗星が出現することを発見し、予測しました。

この彗星はハレー彗星であり、データを使用して発見されたユニークな天体です。

もう一つの業界は医療業界です。医療業界は、新薬の有効性を判断するために臨床 AB テストを初めて使用しました。科学は現代医学の基盤です (現代医学では、科学とデータが基盤であるため、フェーズ III の臨床薬物テストでは、検証と実装に A/B テストが使用されています)。

100 人の患者がグループ A とグループ B に分けられます (患者自身は自分がどちらのグループに属するかは知りません)。グループ A の患者には実験的な新薬が投与され、グループ B の患者には新薬とほぼ同じ外観のプラセボが投与されます。試験結果は、患者の回復状況に関するデータという形で提供されます。比較テストの結果は、薬が本当に患者を助けることができるかどうか、また症状の治療に本当に効果があるかどうかを判断するために使用できます。意思決定データは、その薬が実際に販売可能かどうか、また薬物検査に合格できるかどうかを判断するために使用できます。

したがって、現代医学の発展は、データとABテストと切り離せないものなのです。

データはインターネット業界をどのように変えるのでしょうか?

図1

2005年から2015年までの10年間で、交通コストの変化曲線は住宅価格とほぼ一致する形で増加しました。つまり、交通を得ることがますます困難になり、交通コストも増加し、この傾向は不可逆的になりました。

これは最も痛いことではありません。一番辛いのは、応用と流通の動向です。

現在、Mスタジオには100万以上のアプリがあり、そのうちトップ1000はわずか0.1％程度を占めるに過ぎませんが、全アプリダウンロード数の55％を占めています。残りの 99.9% のアプリが残りの 45% を占めます。

——APPのタイムブラックホールが膨大に存在するため、運用や製品はますます困難になっており、その影響はますます強くなっています。

図2は2016年のデータを示しています。WeChat、TikTok、Toutiaoなどの高頻度巨大アプリは、おそらくユーザーの利用時間の80％以上を占めており、緩和の兆しはありません。

図2

インターネットの配当が消えてしまうと、この傾向は元に戻せません。つまり、市場の需要主導のイノベーションからデータ主導のイノベーションへと変革する必要があるのです。

図3

図 3 は、Airbnb の創業者が創業当初に第一線のプロダクト マネージャーに示した図です。赤い部分は、新しい製品機能のリリース後の Airbnb のコアデータの変化を示しています。

新しい機能がリリースされ、製品の反復が完了すると、製品データは変動します。運用活動への影響と相まって、新機能が本当に効果的であるかどうかを測定することは困難です。

Airbnb も同じ問題を抱えていたため、創設者は製品チームに 3 つの質問をしました。

最初の質問は、この機能は本当に便利なのかということです。それが役に立たず、コアデータに良い影響を与えないのであれば、なぜそれに時間を無駄にするのでしょうか?

2 番目の質問は、この機能がリリース後に収益の増加、予約率と GMV の改善に役立つ場合、コア製品チームに報酬を与えるべきかどうかです。

3 番目の質問は、新機能のリリース後に注文が減少した場合、数千万ドルの損失のリスクを負わなければならないかどうかです。

これら3つの問題をどのように解決すればよいでしょうか?この問題は、A/B テストによる継続的な反復的な最適化によって解決できます。

重要なページの変更とプロセスの最適化は、グレースケールで 1% または 5% のユーザーに公開され、ユーザー データに実際にどのような影響があるか (訪問時間の増加や維持率の向上など) を確認します。注文率は増加していますか、それとも減少していますか?これは、新しい機能を放棄するか変更するか、つまり 100% のユーザーにリリースするか、ロールバックするかを決定するために使用されます。

図4

図 4 の最初のインターフェースがその例です。

すべての製品において、ダウンロード後のアクティベーションおよび登録インターフェースでの離脱率は最も高く、一般的に 50% を超えていますが、もちろんこれよりも高い場合もあります。ハイライトを行う際には、インターフェースの最適化が非常に重要になり、C エンド ユーザーの獲得コストを効果的に削減できます。

最初のインターフェースと 2 番目のインターフェースは、Facebook アカウントと Google アカウントへのサードパーティのログインを使用してログイン順序を調整し、コンバージョン率が向上するかどうかを確認します。 3 枚目の写真は、スペインで実施した実験を示しています。最初にユーザーのリストを表示し、次にユーザーの登録率が上がるかを確認しました。例えば、「部屋の写真に注目する」や「週末におすすめの部屋」といったテスト項目は、こうした実験を通じて発見され、革新に成功した製品機能です。

これは、ABテストによるデータ主導の製品運用のイノベーションです。

A/B テストは本質的には分離されたグループ実験であり、予測的な結論であり、「事後テスト」の帰納的結論とは大きく異なります。その目的は、科学的なテスト設計、代表的なサンプリング、トラフィックのセグメンテーション、小流量テストを通じて代表的なテスト結論を取得し、その結論がトラフィック全体に拡張されたときに信頼できるものであることを確認することです。

——最後の文が最も重要で、この結論を確信し、すべてのトラフィックが信頼できるものであることを確認する必要があるということです。

Airbnb の実験のトラフィックが 5% の場合、トラフィックが 100% に達したときに 5% のトラフィックで得られた実験の結論が依然として有効であるとどうやってわかるのでしょうか。

次の 3 つの方法を使用します。

• 1 つ目の方法は、たとえば今週はあるバージョンの製品をリリースし、来週は別の製品をリリースする、あるいはリリースを中止せず、今週と来週のデータの変化を見て、製品の機能が本当に効果的かどうかを判断するというものです。
• 2 番目の方法は、たとえば、このようなテストを通じて小さな Android チャネルを起動し、小さなチャネルのデータ変換が要件を満たしているかどうかを確認することです。
• 3 番目の方法は、強力な開発能力を備えた後に、ユーザーをグループ化してラベルを付けることです。たとえば、番号 0123456 のユーザーをグループ化し、番号 0 のユーザーを 1 つのグループに、番号 1 のユーザーを別のグループに、番号 2 のユーザーを別のグループに分け、データの変化を比較してどのユーザー グループのパフォーマンスが優れているかを確認し、それに応じて決定を下すことができます。

AB テストの定義によれば、これらの方法はすべて疑似 AB テストです。なぜ？サンプリングが代表的ではなく、実験設計が科学的でもなく、トラフィックのセグメンテーションと小規模トラフィックのテストが正しくないためです。

この結論をすべてのユーザーに当てはめると、結果は完全に逆転する可能性があります。

• トラフィック量の少ない新しいバージョンをテストすると、試行錯誤のリスクが大幅に軽減され、反復コストも削減されます。
• 複数のソリューションを同時にオンラインでテストし、できるだけ早く最適なソリューションを見つけます。
• テストから最高の製品体験を得て、製品のアップグレードを大幅に促進します。

もう一つの海外の例、Googleを見てみましょう。

Google は、2000 年に実施したプロジェクトをきっかけに、実際の製品の最適化と反復に AB テストを適用した最初のインターネット企業となりました。

当時、Google チーム内では、検索結果のホームページに何件の結果を表示すべきかという論争がありました。 5、10、15、それとも20?この単一変数の多バージョン実験は、実験データが非科学的であり、意思決定者を納得させることができなかったため、最終的に失敗しました...

この結論に達する方法はなく、オンラインで公開することもできません。

そのため、Google は独自の実験システムを磨き上げ、製品の反復最適化プロセスを最適化するために、何年もかけて専任チームを立ち上げ、その結果、「イメージ広告」パイロット プロジェクトというケースが生まれました。

営業と PM は、Pinterest の画像広告が特に人気があることに気付きました (Pinterest は写真ソーシャル ネットワーキング ソフトウェアです)。そこで、彼らは「画像広告製品の導入により、広告主の予算が増加し、広告のクリック率と総収益が増加する」という仮説を立てました。検索結果がイメージ広告の場合、広告主の支出は増加しますか?これにより、広告のクリック率と総収益は増加しますか?

図5

四半期に及ぶ研究開発を経て、試用版がリリースされ、一部の広告主に販売され、検索トラフィックの最大 10% に到達しました。テスト結果によると、広告収入は 0.X% 減少します (「エラー」 0.0Y%)。最終的に、経営陣は会議を開き、このプロジェクトを中止する必要があることを決定しました。

そのため、Google 製品への変更は、オンラインになる前に A/B テストを受ける必要があります。データがなければ、決定は下されません。

図6

図 6 は、2007 年から 2010 年までの Google 実験数の成長曲線です。これはトラフィック コストの成長曲線と同じであり、Google の製品最適化の反復の進化を示しています。

• 獲得: インプレッション数、クリック数、開封率、ダウンロード数、インストール数、ユーザー獲得コスト。
• アクティベーション: デバイスのアクティベーション、新規登録ユーザー、サブスクリプション、ビュー、および毎日のアクティブ ユーザー。
• 維持率: 翌日維持率、7 日間維持率、DAU/MAU。
• 収益: 支払い率、支払い頻度、平均注文額、ユーザー価値。
• 紹介: 転送と招待の数。

製品運用作業のほぼすべては、AARRR モデルの詳細を継続的に最適化することだと言えます。

• 新規顧客の獲得: チャネル、広告、コンテンツ、電子メールを最適化します。
• アクティベーション: 最初のコンバージョンを最適化します。
• 保持: 2 番目、3 番目、4 番目などのコンバージョンを最適化します。
• 収益化: 支払い、注文、チェックアウトなど、お金に関連するすべての側面を最適化します。
• 推奨事項: 既存の顧客が口コミを通じて友人に製品を宣伝する方法を最適化します。

下の写真は、オバマ氏の2008年の選挙運動中のクラウドファンディング ウェブサイトです。米大統領選挙運動はクラウドファンディングを通じて資金を集める必要があり、一人当たりの支払い額が制限されている。したがって、何人の人が登録し、何人の人がオバマのファンになるかが非常に重要です。

図7

当時はインターネットが非常に発達しており、インターネットマーケティングも非常に重視されていました。当時のウェブサイト分析ディレクターがこのようなAPテストを実施し、上記左の6つの写真と右の4つのボタンのコピーライティングを入手しました。

例えば、オバマ氏自身を宣伝するスピーチ、アメリカンドリームを宣伝するビデオ、オバマ氏の荘厳で輝かしいイメージ、オバマ氏の家族などです。右側には対応するテキストがあります：「今すぐ参加する」、「さらに詳しく見る」、「今すぐサインアップする」、「サインアップ」！どの組み合わせのコンバージョン率が最も高くなりますか?答えは、家族の画像と「詳細を見る」ボタンです。コンバージョン率は最も高く、平均コンバージョン率と比較して 76% 増加して 76% になりました。

図8

アメリカは移民の国です。初の黒人大統領として、オバマ氏はアメリカ社会と家族にもっと溶け込む必要がある。これは、米国がより多くの人種を受け入れることも意味します。結局のところ、それは白人が支配する社会ではないのです。これは主に、アメリカンドリームを推進し、平等を追求し、リーダーの輝かしいイメージを確立することです。

運用の観点から見ると、まずユーザー自身を理解し、その心理を理解し、ユーザーを分類し、最後に運用設計の推奨を行うことも必要です。

図9

図 9 は、NETFLIX でのリテンションの向上の例です。 NETFLIX はアメリカのテレビシリーズのウェブサイトで、大人気の「ハウス・オブ・カード」もその作品です。このようなビデオ Web サイトには、各ユーザーの 1 回の視聴時間という非常に重要な指標があります。したがって、バックエンドの推奨アルゴリズムは彼らにとって非常に重要です。ユーザーが非常に興味を持っているビデオやプログラムを毎回推奨すると、1 回の閲覧時間は確実に長くなります。

彼らは推奨アルゴリズムに関する多くの実験を行い、後にプラン B が最適であり、閲覧時間が約 2% 増加することを発見しました。

図10

図10は電子商取引会社の例です。割引や価格の表示方法を変更するだけで、コンバージョン率は向上するでしょうか?どのような割引範囲であれば、ユーザーの支持を得られる可能性が高いでしょうか?おそらく、価格に敏感な人もいれば、割引率に敏感な人もいるでしょう。

右側のインターフェースには、ローカルの価格帯、つまりユーザーが価格帯に対してどのように反応するかが表示されます。同じ価格で 900 から 400 に、または 500 から 400 に値引きすると、ユーザーにもっと買ってもらえるようになるのでしょうか? GMV が高くなりますか?これらの頻繁に発生する例はすべて、データ駆動型の最適化によって最適化されています。

AB テストに基づく製品最適化の反復プロセスは次のとおりです。

まず、ユーザーの行動を分析し、さまざまな仮説を提案する必要があります。次に、計画を立て、立ち上げと実験の実行をスケジュールする必要があります。その後、調査や研究を行い、データ分析を行って、最終的に製品を発売するかどうかを決定する必要があります。この方法でのみ、全員の仕事が有意義になり、製品のコアデータの成長が真に達成されます。

AB テストは製品の最適化にどのように役立ちますか?

活動補助金のコンテンツ発信のためのUI機能プロセスのコピーライティングのレイアウト、アルゴリズムの適用、PRのSaaS共有に関する推奨事項を以下に示します。データとユーザーに関連して考えられるほぼすべてのものは、X を通じて最適化できます。

図11

コアアクションは製品運用にとって非常に重要です。これは、製品がユーザーに提供する最も重要かつ中核的な操作です。これは、ユーザー エンゲージメントを最もよく反映する運用指標でもあり、マジック ナンバー、別名ノース スター インジケーターとも呼ばれます。

この指標は、製品の反復の方向を表すため非常に重要です。

少し抽象的かもしれないので、いくつか例を挙げてみましょう。

• Facebook の場合、その数は 10 です。1 週間以内に 10 人のユーザーを追加した人は、アクティブ ユーザーになり、Facebook 上でソーシャル リレーションシップ チェーンを維持する可能性が高くなります。
• Twitter の場合、その数は 30 です。つまり、ユーザーが 30 人以上をフォローしている場合、そのユーザーが引き続き Twitter を使用する可能性が高くなります。
• Slack の場合、その数は 2,000 です。ユーザーが Slack 経由で 2,000 件を超えるメッセージを送信すると、使用習慣が身につき、使い続けることになります。
• Zhihu の中心的な指標は質問への回答です。ユーザーが 3 つ以上の質問に回答すると、そのユーザーは留まり、アクティブ ユーザーになる可能性が高くなります。

この指標はなぜそれほど重要なのでしょうか?

コア指標をもとに製品運用最適化の方向性を定め、様々な改善仮説を立て、A/Bテストを継続的に実施することで、指標の改善と成長を実現できます。

たとえば、Facebook は、すべてのユーザーが 1 週間以内に 10 人をフォローすると、ユーザー維持率が大幅に向上することを発見し、「知り合いかもしれない人々」という機能を作成しました。この機能により、ユーザーは知り合いを追加できます。このような機能を開始することで、コアビジネス指標を向上させることができます。

国内の関連製品の中にはこの慣行を模倣しているものもありますが、実のところ、なぜそうするのかはわかっていません。

ここで皆さんにご紹介したい興味深い事例があります。

図12

上の写真の左側は、Facebook の始まりと現在の様子を示しています。右の写真はおそらく2013年から2014年頃のものです。当時はフラットデザインが流行っていたため、Facebook社内のデザイナー主導のチームが「Facebookのホームページをフラットにして、より大きな写真を増やしたら、コアビジネス指標を改善できるのではないか」というアイデアを思いつきました。ユーザーの維持率を向上させることができますか? Google のように広告からの製品コンバージョンを改善し、収益を増やしませんか?

その後、Facebook は副社長のリーダーシップのもと 50 人のチームを編成し、約 6 か月かけて右側のバージョンを作成しました。最初にリリースされた右側のバージョンではトラフィックの 60% が使用され、コア指標を含むすべてのビジネス指標が低下していることがわかりました。

彼らは、これがプライマシー効果によるものかもしれないと考えています。

プライマシー効果を回避するために、Facebook は次のことを行いました。トラフィックを 12% に増やし、同時にテスト期間を 2 か月から 4 か月に延長しました。しかし、ビジネス指標がまだ低下していることがわかったので、トラフィックを 24% に調整しましたが、それでもまだ低下していることがわかりました...他に方法はなかったのです。 10 か月のテスト後、コア指標が低下し続けたため、製品をオフラインにする必要がありました。結局、チームは解雇され、副社長は辞任しました。

この製品のプロダクトマネージャーが幸運だったのか不運だったのかは不明ですが、彼はたまたまトラフィックの 24% の 1 人でした。

まとめると、データなしで製品開発や運用を行い、データに基づいて意思決定を行うのは、目隠しをして矢を射るようなものです。長い間続けていると、自分が正しいことをしているかどうかわからなくなります。

なぜ？

ユーザー グループの好みはデータを通じてのみ測定できるため、特に今日のデータ爆発の時代では、どの製品マネージャーもグループの好みを測定できません。データを活用して意思決定を行わないと、前の例のような結果になります。

したがって、新しい時代の製品マネージャーやオペレーターにとって、データは基本的なスキルであり、ますます重要になります。

Silicon Valley Growth Hacker の著者である Sean Ellis (GrowthHacker.com の CEO 兼創設者) は、次のように述べています。

図13

シリコンバレーの高性能製品成長戦略 8 つをご紹介します。

• 製品と市場の適合性を達成する前に、成長を急がないでください。
• 大きなことをやりたいが、まずは小さなことから始める。
• A/B テストを行わないと、負けてしまいます。
• 時間の 80% を効果的な方法の強化に費やし、20% を新しいアプローチのテストに費やします。
• データ情報だけでなく、データによって駆動されます。
• 実験の文化を構築する。
• データが成長の原動力であるならば、実験はその原動力です。
• 最初の「ハック」はあなたの製品です。人々が望むものを作りましょう。

Acorns はユーザー維持率の向上を目標に設定しました。ユーザーが定期投資機能を使用すると、定期投資を開始する新規ユーザーの割合が 50% 増加することがわかりました。そこで、「定期投資」の確認ボックスを追加するなどのアイデアが浮かびました。このボックスが含まれている場合、ユーザーはリマインダーを受け取り、コンバージョン率が向上します。

図14

上に示すように、Acorns は左側と右側に 1 つずつサブデザインを作成しました。

最終的な結論は、右側は左側と比較してコンバージョン率が 58% 増加し、以前に設計した目標を達成できたということです。

Acorns はこの方法が非常に有用であることに気づいた後、2 番目の実験を実施しました。

図15

通常の投資ダイアログボックスをホームページの前面に移動したところ、非常に効果的であることがわかりました。コンバージョン率が再び 2 倍になりました。実験にはわずか 1 か月かかり、エンジニアと製品スタッフの約 10 時間を費やしましたが、その結果、「新規ユーザーの固定投資率」は当初の数倍に達しました。

小さなことが大きな結果につながる、これが誰もが最も望んでいることです。したがって、修正では問題を解決できないため、答えはデータと結論の中に見つかるはずです。

この実験を通じて、Acorns は、少額の投資が大きな成果につながることをユーザーに示すことで、定期的に投資を始​​めるよう説得できることを発見しました。製品チームだけでなく、運用チームと有料成長チームもこれを発見し、ユーザーに対する理解がさらに高まりました。これを踏まえて、Acorns はアプリストアのコピーライティングを変更しました。ユーザー ソースの変更は、Facebook のユーザー ランディング ページと、成長機能 (固定投資成長計算機) の追加を意味し、ユーザーが投資収益率を計算できるようにすることで、ユーザーの実際の維持率とコンバージョンに影響を与えます。

このように、継続的なデータマイニング実験を通じて、ユーザーのアイデアをより深く理解するための新たな機会が生まれます。

上記は今回の会議で共有された内容です。