データ操作システム（Qiushibaike プロダクトディレクター Li Wei 氏：データに基づく推奨システムを構築して、洗練された操作を容易にするにはどうすればよいか？）

Qiushibaike プロダクト ディレクターの Li Wei 氏: データに基づいた推奨システムを構築して、洗練された操作を実現するにはどうすればよいでしょうか?

この記事では、主にレコメンデーションシステムを構築する過程での著者の考えや遭遇したデータの問題に焦点を当て、注意して習得する必要がある事項や重要なポイントを分析します。

みなさんこんにちは。私は秋世百科の李偉です。

今日は、Qiushi Encyclopedia でどのように推奨システムを構築したかをお話ししたいと思います。これは Growth Conference におけるデータに重点​​を置いたセッションであるため、推奨システムのアルゴリズムの詳細については紹介しませんが、代わりに私自身の考えと推奨システムを構築する過程で遭遇したいくつかのデータの問題についてお話します。

Qiushibaikeでは、主にデータ、推奨システム、またはデータを扱う業務を担当しています。私は職業上はアルゴリズムエンジニアですが、多くの製品戦略に触れ、さらに製品関連の知識を学ぶ必要があったため、徐々に製品担当者になりました。

簡単に言えば、アルゴリズムを理解しない「開発」は良い「製品」にはなりません。

Qiushibaike.com は 2005 年に設立され、中国で初めて面白いコンテンツに焦点を当てたコミュニティです。現在、私たちは主にビデオコンテンツに焦点を当てているので、短編ビデオコミュニティとして考えることができます。この製品のタイムラインは非常に長いため、アプリ、Webページ、ミニプログラム、パブリックアカウント、Weibo、新しいメディアなど、カバーされる製品ラインも非常に広範囲です。

今日は主にアプリそのものについてお話します。まず最初にコンセプトをお伝えします。これは、一部のユーザーがビデオを投稿し、一部のユーザーがビデオを視聴するビデオ コミュニティです。以下は私が今日シェアした内容です。お楽しみください!

簡単に紹介させてください。推奨システムとは、ユーザーがアプリケーション内で十分なユーザー行動を生成すると、そのデータが分析され、ユーザーの好みの一部が発見されることを意味します。

私たちはコンテンツコミュニティなので、彼の好みに基づいて、彼が好きなビデオコンテンツをいくつかお勧めします。電子商取引を例に挙げてみましょう。ユーザーがインイヤーイヤホンを好み、ヘッドマウントイヤホンにも「イヤホン」というキーワードが含まれている場合、eコマース会社はヘッドマウントイヤホンの製品を推奨します。これはコンテンツベースの推奨事項です。

たとえば、あるユーザーはコンピューターと写真が好きで、別のグループのユーザーも同じ趣味を持っていますが、コンピューターと写真だけでなくゲームも好きです。次に、このユーザーはゲームも好きかもしれないと推測し、ゲーム関連の商品やコンテンツをおすすめします。これが推奨システムが行うことです。

なぜ推奨システムが必要なのでしょうか?実際、これは次のような仮定に基づいています。つまり、ユーザーが好むコンテンツを推奨すれば、ユーザーは当社のプラットフォームでさらに多くのコンテンツを視聴する可能性があるということです。より多くのコンテンツを視聴すると何が起こるでしょうか?

下の図は、ユーザーが当社のプラットフォームで毎日読む投稿の数と、その保持に関連するデータを示しています。

下部の赤い線から、彼が週に 200 件未満の投稿しか読んでいない場合、翌日以降の保持率は実際には比較的低いことがわかります。しかし、彼が週に 2,000 件以上の投稿を読んでいる場合、上部の紫色の線を見ると、彼の保持率は非常に高いことがわかります。座標軸からも、すでに 90% を超えていることがわかります。ユーザーが好むコンテンツを推奨すると、ユーザーは当社のプラットフォーム上でそのコンテンツをより多く視聴するようになり、維持率の向上につながります。これは実際には製品市場適合のプロセスです。当社が提供するコンテンツがユーザーのニーズや嗜好を満たしていれば、当社の製品は十分な価値を提供し、製品市場適合を実現します。これが、私たちが推奨システムを導入している理由です。私は次のような文章を見ました:

この文章は、GrowingIO の創設者である Simon が成長について語った次の言葉を思い出させます。「成長とは、製品の既存の中核価値をより多くの人々と結びつけることです。」これら 2 つの文は基本的に同じことを言っています。

何を接続していますか?

既存のコアバリュー、つまり製品が提供する価値。当社の製品の場合、それは短いビデオの内容です。電子商取引の商品の場合、購入したい商品です。これが製品の中核的な価値です。

つまり、次の文章を見たときに、レコメンデーションシステムが行うことは成長の定義の核心であり、成長方法論として一般化できるのではないか、と突然思いました。

成長戦略の発展段階は次のとおりです。

• 当初は、成長という明確なコンセプトはなく、ユーザーに対する経験や理解を頼りに製品の開発方法を決めていました。
• 後ほど、DAU やリテンションなどのマクロ データをカウントします。あるバージョンをリリースすると、そのバージョンのデータが増加したことは分かるかもしれませんが、どのリンクや戦略が製品の成長につながったのかを具体的に知る方法はありません。
• この段階では、誰もが洗練されたデータ操作を開始し、さまざまなユーザーをグループ化して、具体的な戦略を立てています。しかし、これは十分に詳細ではないかもしれないと思います。データに基づいて自動的に意思決定を行うには、推奨システムなどのパーソナライズされた方法を使用する必要があります。

たとえば、運用活動を行う予定で、バナーや入口が必要だとします。デザイナーはいくつかの具体的なプランとスタイルを設計します。製品オペレーターがデータに精通している場合は、必ずこれらのさまざまなバナーを同時に起動し、A/B テストを実行します。計画 A が計画 B よりも優れているとわかったら、彼は計画 A を採用するでしょう。

当社も現段階ではそのような運営をしております。

しかし、推奨システムの考え方は、人それぞれ異なり、非常にパーソナライズされています。デザイナーたちは、実際にすべて使用可能な A、B、C の 3 つのプランを考え出すために一生懸命取り組みました。プラン A は大多数の人々に好まれますが、プラン B と C が誰にも好まれないということではありません。推奨システムのアイデアを使用して十分なユーザー行動を収集し、分析することができれば、ユーザーごとにカバーの好みが異なることがわかります。そうすると、プラン A、B、C はすべて使用できますが、ユーザーごとに異なるプランを採用することになります。

運用担当者は分析を通じてユーザーをグループ化し、A、B、C という 3 つの異なるソリューションを提供できます。ただし、実際には、ユーザーは A、B、C 以外にもグループ化されます。何万ものグループが存在する可能性があります。運用スタッフは手動でより詳細なグループ化を実行することはできないため、このような場合に推奨システムが役立ちます。

通常、ユーザーを、新規ユーザー、古いユーザー、非常に上級のユーザー、そして解約しようとしているユーザーなど、いくつかの段階に分類します。しかし実際には、すべてのユーザーは、製品のライフサイクル全体の中で独自の段階にあるのではないかと思います。単に 4 つのグループに分けるだけでは十分ではありません。特定のデータを分析するには、推奨システムのアイデアを使用する必要があります。

たとえば、リコール戦略を開発したい場合、各ユーザーには非常にパーソナライズされたリコール プランがある可能性があります。これは、全体の成長が徐々に入っていくと思われる、より詳細な領域です。私たちがシステムにデータを提供すると、システムはいくつかの戦略に基づいて自動的に決定を下します。後ほど、この一般化を実装するためのいくつかの可能な領域とソリューションについて説明します。もちろん、これらは単なる私のアイデアであり、まだ完全には実装されていません。

パーソナライズされたイベント運営とビジュアルデザイン

左の写真はTaobaoのホームページです。その下には、Juhuasuan、Taobao Live、Official Subsidies、Daily Red Packets などのサブコラムがいくつかあります。パーソナライズされた写真が多数添付されていますが、個別のテキストはありません。

例えば、最近子どもの誕生日があったのですが、おもちゃ関連のコンテンツをたくさん見ました。再びタオバオを開いてみると、公式の補助金や日替わり紅包などはまだありましたが、添付されている写真はゲーム関連のものになっていました。 Taobao自体は電子商取引会社なので、イラストには商品の写真をそのまま使うことができます。イベントカバーを作成する場合、ユーザーごとに、寒色系、明るい色、柔らかい色など、異なる画像スタイルが好まれる場合があります。

そのため、デザイナーがさまざまなデザインプランを思いついたとき、これは明るい、あれはかっこいいなど、いくつかのキーワードをカバーに追加する必要があるかもしれません。複数のイベントを設計し、十分なユーザーデータを収集することで、各ユーザーの色の好みを知ることができます。

改良されたユーザー操作リコール計画

右の写真は携帯電話のテキストメッセージページです。 MissFresh は、こ​​のようなリコールのテキスト メッセージを頻繁に私に送信します。文章はどれも違っていますが、実際にはパーソナライズされておらず、特に印象に残りません。この場合、ユーザーのデータから学習して言語の好みを理解し、各ユーザーに異なるリコールテキストメッセージを送信することもできます。例えば、ストレート男性の場合は、柔らかい女の子風の話し方の方が良いでしょう。

登録変換プロセスの最適化

極端な登録変換プロセスでも、推奨システムのアイデアを使用して、ユーザーごとに異なる登録変換プロセスを生成することができます。

もちろん、いくつかの問題はあります。コンバージョンはまったく新しいユーザーに適用され、そのユーザーの以前のデータにはあまりアクセスできません。しかし、テンセントのように会社が大きい場合や、ユーザー数が非常に多い場合は、ユーザーの一般的なプロフィールを事前に把握している可能性があり、登録変換プロセスを実際に事前に設計することができます。ユーザーが新しいアプリケーションに登録するときに、登録変換プロセスをパーソナライズされた方法で表示できます。

さまざまなシナリオや分野で推奨システムを実装する際には、いくつかの障害が発生する可能性があります。

システム自体は比較的複雑でコストがかかるため、入出力比率が不合理になる可能性があります。

以前は、ユーザーを新規ユーザー、既存ユーザー、解約しそうなユーザーに分類し、非常に簡単な作業でタスクの 80% を完了することができました。推奨システムを使用する場合、20% の改善を得るために 80% の労力を投入する必要があるかもしれません。

結局のところ、推奨システムはビッグデータの分析に基づいています。大量のデータを生成する条件が整っていない場合、異なる業務、製品、または設計分野での推奨システムを一般化することは困難です。

いわゆるレコメンデーションシステムは、機械が計算が得意であるという事実を活用しています。私たち人間は、物事の関係性を関連付けたり洞察したりするのが得意です。写真とゲームの両方を好むユーザーもいますが、真のパーソナライゼーションを実現するには、最終的には機械の計算能力を活用する必要があります。

上記は、レコメンデーションシステムを開発する過程でのその後の成長と発展の方向性についての私の考えの一部です。すでに洗練されたオペレーションの製品段階にあり、さらに一歩進んで、機械の力を借りて自動化されたオペレーションを実現し、より洗練されたオペレーションを行う必要があるかもしれません。

次に、レコメンデーション システムの開発中に遭遇した、役に立つかもしれないデータ関連の事例をいくつか紹介します。

この段階で考慮すべき点が 2 つあります。

1) データはより鮮明である必要がある

例1: 推奨システムに適したデータを見つける

推奨システムを構築する場合、最初に行うことは、ユーザーの好みを発見するためにどのデータを使用するかを分析することです。言うまでもなく、ボタンを「いいね！」することは、ユーザーの好みを明確に表すことができる行動であり、間違いなく活用できるデータです。しかし、それは最良のデータなのでしょうか?

下の2枚の写真を見てみましょう。左側の画像は、動画の視聴、いいね、コメントなど、対応するアクションを実行したユーザーの数を示しています。 「いいね！」をクリックすることはユーザーの好みを明確に示すものですが、実際に「いいね！」をクリックするユーザーはそれほど多くないことがわかります。

最もユーザーの行動が多いデータはどれですか?明らかにビデオ視聴です。ユーザーは動画を見るためだけにここに来るからです。

右の図は、一人当たりの対応する行動の平均数を示しています。同様に、成功した「いいね」はユーザーの好みを明確に示していますが、その行動の量はまだ比較的少なく、最も量が多い行動は動画の視聴であることがわかります。では、ビデオ視聴行動からユーザーの好みを予測できるのでしょうか?実は可能です。ユーザーがビデオを視聴して気に入らなかった場合、間違いなく 2、3 秒だけ視聴して離脱するでしょう。動画を最後まで見れば、その動画を気に入っていることがわかります。したがって、データ分析、またはこの成長のすべてを行う前に、手元にあるデータをより明確に理解し、平均、分散、中央値などのさまざまな次元からデータをグラフ化して、必要な分析を行うために適切なデータを選択できるようにする必要があります。

例2: コンテンツ露出分析

もう 1 つの例は、ビデオ露出データです。このビデオがユーザーの画面に表示されると、露出としてカウントされます。以下のグラフは、ビデオ露出の平均、中央値、上位 75 パーセンタイルを表しています。問題を見つけることができます。中央値は平均値よりもはるかに低く、平均値は 75 パーセンタイルに近づいています。

このデータからどのような問題が認識できるでしょうか?この平均値は、実際には非常にアクティブなユーザーのグループによって押し上げられています。私たちがどのようなコンテンツを推奨しても、このグループのユーザーはそれを視聴します。この推奨システムの有効性を測定したい場合、中央値の方が感度が高いため、平均値ではなく中央値を選択することになります。このため、実際にデータの処理を開始する前に、EDA (探索的データ分析) を実行して、データを視覚的に理解し、直感的に認識する必要があります。

2) 製品機能はデータフレンドリーですか?

TikTokを例に挙げてみましょう。 TikTokのレコメンデーションシステムは非常によくできています。同社の製品を注意深く分析すると、同社の製品機能が非常にデータフレンドリーであることがわかります。

まず、製品の特性によってデータ収集の難易度が決まります。例えばTikTok、この商品は発売後長い間停止されませんでした。ビデオを最後まで視聴することも、スキップすることもできますが、一時停止したり、進行状況バーをドラッグしたりすることはできません。なぜこれが推奨システムに非常に優しいのでしょうか?ユーザーが動画を視聴する時間の長さは、その動画に対するユーザーの好みを表すからです。一時停止してスクロールできるようになると、動画を見ているのか、一時停止しているのか、それともただスクロールしているだけなのかがわかりにくくなります。

そして、Tik Tok はこれを非常に簡単にします。このページに留まっているなら、このビデオを見ているは​​ずです。したがって、この製品の機能はデータ収集に非常に適しています。

第二に、製品の特性によってデータの信頼性が決まります。

右の写真は、情報の流れの様子を示した当社独自製品です。スライド処理中に複数のビデオが表示されます。 Tik Tok は 1 つの動画が画面全体に表示されるため、没入感があります。

Tik Tok の没入型体験の利点は、現在の画面で生成されるデータはすべて同じ動画のものであり、このデータは非常に信頼できるということです。さらに、Tik Tokでは次の動画を自動的に再生することはできません。手動でスワイプしない限り、このページに残ります。

弊社製品では、ユーザーの行動が上の動画に向けられているのか、下の動画に向けられているのかが分からない場合があります。

第三に、製品の特性によって、データの分析と使用の難易度が決まる場合があります。

動画の長さが 15 秒、1 分、または 5 分であっても、ユーザーの視聴行動の結果はまったく異なります。

ユーザーは 15 秒のビデオを簡単に視聴し終えることができます。 1分だと最後まで見てくれる可能性は大幅に減ります。動画の長さが 3 分の場合、基本的にユーザーは動画全体を視聴することはできません。

視聴時間や割合だけでユーザーの嗜好を直接判断すると、商品に大きな偏りが生じてしまいます。短い動画は視聴が非常に簡単で完了率も高くなりますが、長い動画は完了率が低くなります。ユーザーは長い動画を好まないということでしょうか?

長い間、Tik Tok は動画の長さを 15 秒に制限します。そのため、15 秒未満の動画の場合、前述の長い動画と短い動画の完了率の比較できないという問題は基本的に発生せず、考慮すべき問題もはるかに単純になります。

製品をデータフレンドリーに設計すると、製品の機能によって実際のデータ分析とその後のデータの使用が大幅に容易になります。

つまり、データを収集する前に、データの包括的な EDA 制御を行う必要があります。同時に、製品の観点からは、製品機能がこのデータに対応している必要があります。

私にとって、これは最も難しい段階であり、間違いを犯しやすいです。一度何か問題が発生すると、製品、運用、さらには上司さえもデータを信頼しなくなり、全体としての成長はなくなります。

したがって、データ収集段階はデータ成長全体の基礎となります。まず、データの正確性を確保するために、非常に優れたデータ収集メカニズムを確立する必要があります。そうして初めて、最終的に正しい結論を導き出し、全員がデータを信じ、そのデータを使用して最終決定を下すことができます。

これは、データ収集中に私たちが犯した間違いの非常に極端な例です。このグラフは、ユーザーが 1 本の動画を視聴するのにかかる平均時間を示しています。ユーザーをランダムに 16 グループに分けたので、曲線が非常に多くなっています。

論理的に言えば、これら 16 グループの曲線の傾向はまったく同じになるはずです。しかし、このデータの収集を始めた当初は、一部のグループで突然スパイクが発生し、グループ間の曲線の動作に一貫性がなく、その後の A/B テストなどに深刻な支障をきたすことがわかりました。

理論的には、平均値が汚れたデータの影響を受ける可能性は低いですが、今回見つかった汚れたデータは非常に極端でした。

たとえば、当社の動画は通常 5 分 (300 秒) 未満ですが、極端なケースでは 1 つの動画を数万秒、さらには数十万秒視聴したというユーザーもいます。確率は非常に低いですが、平均には非常に大きな影響を及ぼします。

その後、ユーザーがアプリを表示中にアプリを終了してバックグラウンドでアプリを非表示にしているにもかかわらず、内部タイマーのカウントが停止せず、ユーザーがアプリを再度開くまで継続することが原因である可能性があることが判明しました。ユーザーが数日後に再度アプリを開くと、動画の視聴時間が非常に長くなるなどします。

最終的にこの問題を修正し、ユーザーが動画を視聴する平均時間を誰でも確認できるようになり、16 グループの曲線も一貫しています。

したがって、データを収集する際には、非常に合理的な製品開発プロセスを見つけ、データに対する信頼性を確立する必要があります。製品や運用におけるデータへの信頼を失ってしまうと、データの増加について語ることはできません。

データは本質的に誤解を招くことが多いです。データを利用する際には、次の2点に注意する必要があります。

1) データは明確ですか?

ユーザーデータが推奨システムに入ると、本質的に非常に大きなマトリックスが形成されます。縦軸はユーザーA、B、C、D、E、横軸は動画1、2、3、4、5、6、7、8、9です。対応する値は、ユーザーが特定の動画を視聴した時間の割合です。これは巨大なスパース マトリックスであり、視聴率はほぼ 0 です。0 は、ユーザーが視聴できるビデオの量がビデオ ライブラリ内のコンテンツの量に比べて非常に少ないため、ビデオを視聴していないことを意味します。

図に示すように、ユーザー A はビデオ 1 を視聴し、100% が視聴を終了したことを示しました。ユーザー B はビデオ 1 を視聴し、その 80.1% が視聴されました。

データ処理段階では、データが切り捨てられ、小数点以下 3 桁のみが保持されます。そこで質問です。たとえば、グラフの赤い領域では、ユーザー C はビデオ 5 を 0.001 しか視聴していないため、このビデオが気に入らない可能性があることがわかります。ビデオ9に関しては、実際に視聴したのは0.003のみでした。データ処理時に小数点以下3桁を保持するため、ここでは0になります。このマトリックスの 0 の意味によると、このデータの意味は「彼はこのビデオを好きではない」から「彼はこのビデオを視聴していない」まで不正確です。つまり、データ自体が欺瞞的であり、このような処理を行うと、間違った意味が表現されてしまうのです。

2) データに偏りはありますか?

推奨システムを構築するとき、ユーザーの好みをどのように測定するのでしょうか?

ユーザーがあるビデオを 50 秒間視聴し、別のビデオを 30 秒間視聴するとしたら、当然、前者の方が好まれると考えられます。同様に、彼が 1 つのビデオを 100% 視聴し、別のビデオを 50% 視聴した場合も、前者のビデオの方が好きだったと推測されます。したがって、動画視聴率と動画視聴時間という 2 つの指標は、ユーザーの嗜好を測る基準として使用できます。

上の2つのグラフを見ると、横軸は動画の長さ（0〜300秒）、左のグラフはユーザーの平均動画視聴率、右のグラフはユーザーの平均動画視聴時間です。たとえば、動画が約 50 秒の場合、平均視聴率は約 60% になります。動画が約 300 秒の場合、平均視聴率はわずか 30% です。ただし、50 秒の動画の平均視聴時間は 30 秒であり、300 秒の動画の平均視聴時間は約 100 秒になる可能性があります。したがって、平均視聴率を使用してユーザーの好みを測定する場合、50 秒の動画には固有の利点があります。視聴時間を使用してユーザーの好みを測定する場合、300 秒の動画が当然有利になります。

この例から、これら 2 つの指標にはそれぞれ独自の傾向があることがわかります。ユーザーの視聴率を使用してユーザーの好みを測定すると、短い動画が推奨されます。ユーザーの動画視聴時間を使用してユーザーの好みを測定すると、長い動画が推奨されます。

Tik Tok では動画の長さが 15 秒に制限されていることを考えると、誰もが同じスタートラインに立つことになります。比率で測定しても、期間で測定しても、結論は同じです。動画の長さの分布が 0 秒から 300 秒のように非常に広い場合、どの指標にも独自の傾向があるため、ユーザーの好みを測定するためにどの指標を使用するかを決定するのは困難です。

データ分析フェーズでは、A/B テストを使用して結果を評価することをお勧めします。

1) A/Bテストを正しく理解する

実験は要件そのものです。要件ドキュメントは実験計画である必要があります。

多くの学生は、A/B テストは時間がかかり、労力がかかる作業だと考えていますが、別の観点から考えてみましょう。製品要件ドキュメントを作成するときに実際に作成するのは、実験計画です。実験と要件自体は切り離すことはできません。実験結果では、多くの場合、複数の指標に注意を払う必要があります。実際にA/Bテストを行う際には、多くの指標に注意を払う必要があります。一部の指標は増加していますが、他の指標は減少している可能性があります。

実験には十分なサンプルが必要であり、実験の統計的有意性に重点が置かれます。

A/B テストのサンプル サイズが十分でない場合、結果がそれほど現実的でない可能性があります。

実験は期間が限られており、短期的な効果を反映することが多く、近視眼的です。

実験を行う時間は限られており、永遠に実験を行うことはできません。当然のことながら、A/B テストは短期的な効果を反映することが多いということになります。例えば、先ほどの実験では、たった1日でデータが増加しましたが、長期的には、他のグループと同様の効果にゆっくりと近づいていく可能性があります。

2) A/Bテストの例

下の写真は、当社の推奨システムが最初に導入されたときの例です。データはユーザーの平均視聴時間です。青い 0 グループはテスト グループであり、最初に起動したときのパフォーマンスは他のグループよりもはるかに優れていました。しかし、2日目、3日目には効果が薄れてきていることがわかりました。理由は何でしたか？

私たちの最初の反応はシンプルでした。同じ効果が得られるか確かめるために、さらに 2 つのグループを立ち上げるというものでした。そこで、グループ 12 と 10 を立ち上げました。オンラインになってから最初の 2 日間は、グループ 0 と同じ良好なデータ増加効果がありましたが、3 日目には効果も低下しました。私たちは自社の推奨システムをよく理解しているので、ユーザーが自分の好みに関するデータを消費し、そのデータが十分に補充されなかったために効果が低下したのではないかと推測しています。そこで、データベース内のデータ量を増やし、ユーザーが好むコンテンツをより多く推奨する 3 回目のテストを実施しました。データは増加し、消費されると再び減少しました。これにより、データの増加や減少の理由を徹底的に分析することができます。適切なデータ分析を行うには、誰もが A/B テストを有効に活用する方法を学び、ビジネスを理解する必要があります。

3) データ分析能力とビジネス理解力の関係

最後に、データ分析機能はビジネスの理解に基づいていることを強調する必要があります。これら 2 つは密接に関連しており、連携して機能します。先ほどA/Bテストのところでも言いましたが、レコメンドシステム自体の知識が足りないと、データ減少の理由がユーザーの嗜好に関するデータが足りないことにあると分析するのは難しくなります。

最終的にデータ主導型になるためには、全員がビジネス理解とデータ能力を同時に高める必要があります。以上が今回シェアさせていただいた主な内容です。皆様のお役に立てれば幸いです。ありがとう！

著者: Li Wei、Qiushibaike プロダクト ディレクター

出典: GrowingIO 2019 成長カンファレンス (北京) でのスピーチ

この記事は、@GrowingIO の許可を得て、Everyone is a Product Manager に掲載されています。無断転載禁止

タイトル画像は、CC0 プロトコルに基づいて unsplash から取得したものです。