ビッグデータと運用データ（データマイニングエンジニアの視点から見た「ビッグデータとエンタープライズデータベース運用」）

データマイニングエンジニアの視点から見た「ビッグデータとエンタープライズデータベース運用」

はじめに: 多くの企業のビッグデータに対する理解は、Google 検索エンジンや Amazon 推奨システムなどの製品レベルにとどまっています。データマイニングエンジニアの視点から見ると、ビッグデータと企業のデータベース運用は切り離せないものです。

今後、あらゆる産業がインターネットによって変革されると言われています。この発言は少々絶対的かもしれませんが、確かに傾向を示しています。数日前、私は BDTC2013 に参加し、従来の IT 企業で働いていたクラスメートや友人が、モバイル インターネット、ビッグ データ、クラウド コンピューティングの陣営に加わっているのを目にしました。多くのIT大手の欺瞞の下、ますます多くの伝統的な企業がビッグデータの波に飛び込み始めています。多くの上司はビッグデータに対する理解を、Google の検索エンジンや Amazon の推奨システムなどの製品に限定していますが、ビッグデータの波は明らかに止められないものです。ビッグデータが従来の企業を変革する上でどれほどの力を発揮し、その潜在能力を最大限に活用するにはどうすればよいかについて、私の見解をお話ししたいと思います。

追記: 私は PM ではなく、データ マイニング エンジニアです。私は無資格のデータサイエンティストです。私はビッグデータが大好きで、ビッグデータが企業に価値をもたらすことを願っています。私は自分自身のために話します。

実際、モバイル インターネットとビッグ データは、もはや単なる IT の概念ではありません。これはむしろ人間のライフスタイルを変える産業であり、O2Oという新しい言葉を生み出しました。 O2Oは将来的に1兆ドル規模の市場を持つ産業として期待されています。 O2O企業の本質は、伝統産業のインターネット化、あるいはインターネット方式による伝統産業の変革です。そのため、彼らが解決する問題は、本質的には伝統産業の問題と変わらず、食料、衣服、住居、交通など、人々の日常生活に密接に関係する問題である。例えば、電子商取引で衣服や日用品を購入したり、WeChatを使って友人同士のコミュニケーションニーズを満たしたり、食品や飲料を共同購入したり、滴滴出行のタクシーを利用したり、オンラインで航空券や鉄道のチケットを購入したり、Alipayで水道・電気・ガス代を支払ったり、余額宝を使って財務管理したり、かつては停止されていた病院の受付を行ったりするなどである。やるべきことは同じですが、ユーザーの生活をより便利にすることを目標に、やり方は異なります。では、どのようなゲームプレイがユーザーに人気があるのでしょうか?これまで、従来の企業はドメイン知識の継承か、ユーザーアンケートの形でのフィードバックに依存していました。当然、サイクルは長く、対応は遅く、サービス内容やサービス方法は時代の発展やユーザーのニーズに追いつくことができませんでした。インターネットベースになると、すべてのユーザーの行動が記録され、保存されます。ユーザーニーズの変化やユーザーごとの個別ニーズを迅速かつ正確に分析・発見し、ユーザーごとに異なるサービス戦略を策定することができます。

私たちは皆、ドメイン知識が特定の業界で足場を築くための資本であることを知っています。これまで、伝統的な業界のドメイン知識は業界内での継続的な努力を通じて蓄積されてきましたが、インターネット以降は、これらの業界のドメイン知識は膨大な量のユーザー行動データから分析され、マイニングされるようになります。かつては、伝統的な企業がリーダーシップを確立すると、同じ業界の他の企業によって混乱する可能性は比較的小さかった。しかし、インターネット以降のこれらの業界では、膨大なユーザーの行動から抽出されたドメイン知識の適時性は非常に明白です。企業が時代の変化に対応できなければ、すぐに他社に追い抜かれてしまいます。例えば、有名な「ビールとおむつ」の話は、当初は該当企業に価値を生み出しますが、同業他社もこのトリックを学ぶと、これはもはや利益成長のポイントではなくなります。そうなると、企業は新たな利益成長ポイントを常に模索する必要が出てくるでしょう。そしてこのとき、膨大なユーザーデータの価値が反映されることになります。今後の全面的なインターネット化の時代には、「三日勉強しなければ劉少奇に追いつけない」という言葉が深く理解されるようになるだろう。したがって、Coursera のようなオンライン教育プラットフォームは非常に有望です。なぜなら、学校での 12 年間の勉強だけでは、生涯にわたる知識と能力のニーズを満たすことができなくなるからです。将来は生涯学習の時代になるでしょう。多くの有力者たちもオンライン教育の大きなケーキを見て、そのパイの一部を手に入れようと競い合い始めている。

では、企業はビッグデータを活用してパフォーマンスの向上を促進するにはどうすればよいのでしょうか?検討すべき最初の重要な質問は、「あなたの企業はプラットフォーム型か、それとも垂直型産業か」だと思います。

プラットフォームには、Taobao、JD.com、Tencent などがあり、さまざまな商品やサービスがあり、商品やサービスによって特性が大きく異なる場合があります。同時に、ユーザーデータの蓄積は多面的です。垂直産業はCtripやJumeiのようなものです。商品やサービスは特定の垂直分野に属しており、ユーザーはそのような垂直分野にニーズがあるか、興味がある場合にのみ、それらを利用します。一般に、このフィールドではユーザーに関する一部のデータのみを取得できます。しかし、インターネット金融にはグレーゾーンが存在します。これは本質的に垂直産業（金融産業）ですが、人々の日常生活における金融産業の重要性を考えると、金融は人々の生活のあらゆる側面に影響を与えるため、垂直産業の観点からのみこのユーザーの価値を測定するだけでは明らかに不十分です。

ビッグデータ実践者にとって、ビッグデータを活用するプロセスにおいて、これら 3 種類の企業の間には大きな違いがあります。簡単な例を挙げると、ユーザー セグメンテーションやユーザー プロファイリングのプロセスで、ユーザーが数か月間何も購入していない場合、そのユーザーが失われたかどうかをどのように判断するのでしょうか。よく考えてみてください。もしユーザーが数か月間 Taobao や JD.com で何も購入していない場合、そのユーザーは明らかに迷子になっています。しかし、Ctripで何も購入していない場合は、紛失したとはみなされない可能性があります。旅行商品のユーザーの平均購入サイクルは数か月に及ぶ可能性があるため、この理由だけでは必ずしもユーザーを迷子とみなすことはできないことは明らかです。

企業によってビッグデータの活用方法は異なります。

アリババの目標は、水道会社、ガス会社、電力会社など、人々の生活に欠かせない、いわゆる「最も基本的なニーズ」であるインフラを構築することです。そこで、アリババは複数部門の広告チームを統合し、Alimamaを設立しました。 JD.comもこの点では負けず劣らず、独立系DSPサービスプロバイダーのMediaVをサポートしており、両社の間では買収の噂が絶えません。テンセントの広電通もこの点では典型的な代表例です。アリババ、JD.com、テンセントの共通点は、ユーザーの基本的なニーズを解決し、日常生活に欠かせないものとなり、一連の産業チェーンを育成してきたことです。

Alibaba と JD.com はユーザーの商品購入ニーズを解決し、Tencent はユーザーのコミュニケーションとソーシャル インタラクションのニーズを解決します。さらに、彼らが提供するサービスはすべて無料です。このようにして、ユーザーは知らないうちに自分のデータの一部をプラットフォームレベルの企業に提供していることになります。これらの企業は、これらのビッグデータを活用して、ユーザーの年齢、性別、興味の嗜好、収入レベル、家族構成など、消費に密接に関連する特性を分析し、広告のターゲット顧客グループとなり、これらのユーザーを広告主に買い取らせることができます。これが、プラットフォームレベルの企業が収益を得る主な方法です。はっきり言って彼らはポン引きです。さらに、インターネット金融の台頭により、プラットフォームメーカーがユーザーに関するデータをどんどん入手すると、いくつかの金融商品を販売できるようになり（典型的な例は余額宝）、それによってユーザーの個人金融システムをコントロールできるようになります。これらのプラットフォームは、銀行のように投資のために預金を吸収することができます。

これはほんの第一歩に過ぎません。金融機関の最も重要なリスク防止システムでは、これらのプラットフォームメーカーは、あなたが水道代や電気代を期日通りに支払っていること、車を購入したばかりであること、最近病気にかかっていないこと、定期的に海外旅行をしていることを知っています。そうすると、明らかにあなたは優良顧客であり、住宅ローンを貸し出すためにいかなる証明も提出する必要はありません。これがインターネット金融/ビッグデータ金融の仕組みです。では、垂直型企業（インターネット金融を含む）はビッグデータをどのように活用すべきでしょうか?

垂直型企業、特に伝統的な企業の最大の特徴は、独自の CRM システム内に、前述のプラットフォームレベルの企業では得られない、大量の高品質なユーザーデータを保有していることです。典型的な例としては、通信や金融などの企業が、非常に質の高いユーザーの財務データ、取引データ、関係チェーンデータなどを保有していることが挙げられます。これらのデータが表現する意味は、最も本物で信頼性が高いものです。しかし、こうした垂直企業が蓄積するデータの量は、前述のプラットフォームレベルの企業ほど多くないことが多いです。この時点で、サードパーティのデータを導入してユーザーデータを補完することを検討できます。 Twitterの米国IPO文書によると、同社の収益の15%はユーザーデータの「再販」によるものだという。アリババと新浪微博は中国で戦略的提携を結んだ後、微博と淘宝のユーザーデータも接続したが、多くの微博ユーザーはこれに不満を抱いている。データ交換では、まずユーザー データのセキュリティを確保して、データが流れ、より大きな価値を発揮できるようにする必要があります。

ユーザー志向のビジネスにとって、ビッグデータをどのように活用するかは明らかになっているはずです。簡単に言えば、ユーザーとビジネスを中核として、ユーザー関連のディメンションでデータ マイニングを実行し、ユーザーとビジネスの属性と機能のライブラリを構築し、ビジネス ニーズに応えます。実装プロセスでは、次の問題を考慮する必要があります。

1. ユーザーとビジネスに焦点を当て、アイデアに焦点を当て、データマイニング技術を補助として活用する

企業がビッグデータを活用する目的は、課題を解決すること（つまり、お金を稼ぐこと）であり、そのお金の稼ぎ方は、私たちが通常ビジネスと呼んでいる自社のビジネスモデルと密接に関係しています。このプロセスにおいて、ビッグデータ テクノロジーは、ビジネス上の問題を解決するための手段にすぎません。したがって、ビッグデータ テクノロジーとアーキテクチャを選択する際には、独自のビジネス モデルを明確にする必要があります。他の人が使用しているアーキテクチャをそのまま使用したり、他の人が採掘したものをそのまま掘ることはできません。

2. 小さなステップを踏み、素早く反復し、継続的に最適化する

一度に大きなニュースを作ろうと考えないでください。インターネット分野では、すべてがベータ版です。前回よりも良くなればそれで十分です。ビッグデータの考え方は、現実世界の現象を数学的な形で表現し、これらの現象間の関係を分析および調査し、どのグループがどのような特性を持っているか、どの特性が企業の収益性に影響を与えるかを特定できるようにすることです。したがって、多くの問題には厳密な数学的証明がないか、または必要ありません。私たちは因果関係よりも相関関係に焦点を当てています。

ビッグデータの時代では、ABテストが非常に重要です。多くの現象は理論的な証明を必要としません。 AB テストにより、製品を改善する方法や、どの製品機能がユーザーに人気があるかがわかります。

3. ユーザーからのフィードバックは重要であり、ユーザーの参加を積極的に促すべきである

ユーザーの参加を促す従来の方法は、クーポンやプロモーションクーポンを発行することです。この方法は効果的な場合もありますが、ユーザーがなぜ私たちのプラットフォームを利用するのかなど、ユーザーのニーズをより深く理解する必要がある場合もあります。彼らはなぜ去るのでしょうか?たとえば、一部のユーザーに 10 元のクーポンを送信しても、購入する必要がないか、購入したいものが見つからないため、10 元のクーポンによる需要は生まれません。あるいは、比較的裕福なユーザーもいて、買い物をするたびに多額のお金を使うので、10 元のクーポンを検討すらしないかもしれません。ユーザー セグメンテーション モデルは、さまざまなユーザー グループのユーザー参加を促進するためにさまざまな方法を採用するのに役立ちます。

ビッグデータは、業界の知識を補完する上で重要な手段です。現在、ますます多くの業界がデータ駆動型になっており、これらの業界の多くの業界知識がビッグデータを通じて採掘されています。このデータを取得する主な方法は、ユーザーの行動と運用アクションに関するフィードバックをマイニングすることであり、これは将来のデータ中心の企業の価値でもあります。

4. オペレーション主導からデータ主導へ

実際に、ユーザーにとってのビッグデータ サービスの需要を誰がリードするかについては、さまざまな利用シナリオが存在します。たとえば、推奨システムはプロダクトマネージャーが主導する方が適切です。データに基づく業務システムであれば、オペレーションやマーケティングに携わる人材が主導する方が適切でしょう。多くの大企業では、よく言われるデータサイエンティストという概念のように、データドリブンなビジネスに特化した部署や人材が徐々に育成されていくでしょう。

5. ビジネス担当者とデータマイニング担当者の緊密な連携

これは、ほとんどの企業が頻繁に遭遇する問題でもあります。ビジネスを行う人はテクノロジーやデータをあまり理解しておらず、データマイニングを行う人はビジネスを特によく理解していません。現在、社会に最も欠けているのは、ビジネスとテクノロジーの両方を理解する人材です。データマイニングの結果をビジネスにどのように応用するかは、比較的難しい問題です。価値のないデータなど存在しない、必要なのはデータがどこで役立つかを見つけることだけだ、とよく言われます。データマイニングの結果は、ユーザーの属性や特徴をある特定の側面から示すことが多いため、実際のビジネスにおけるユーザーの行動は複数の要因の影響を受けることがよくあります。そのため、データマイニングの結果を具体的なビジネスに展開していく過程では、ビジネス側と綿密に連携し、適切なプロモーション方法、ブース、コピーライティング、インセンティブ、効果評価方法などを検討していく必要があります。

ビッグデータの範囲では、ユーザーを人間として復元し、特定の行動を単独で見るのではなく、これらの行動をユーザーの社会的属性、生活背景、活動時間、場所、気候要因、およびアプリケーションコンテキストと関連付ける必要があります。現在のビッグデータ エコシステムには優れた BI ツールがないため、対応するアナリストやマイニング エンジニアにとって大きな困難が生じています。

6. 顧客とのコミュニケーション方法（操作手段）が非常に重要

最近は誰もがとても忙しいです。コールセンターを使用してユーザーにセールス電話をかけるという従来の方法は、ユーザーが忙しいときに邪魔されたくないために、ますます効果が低下しています。すると、非同期通信の需要が比較的強くなります。代表的なアプリケーションはWeChatで、断片的な時間を有効活用でき、企業のマーケティングにも非常に適したチャネルです。同様に、企業がユーザーに提供するさまざまなプロモーションや運用手段のタイミングも重要であり、興味嗜好の異なるユーザーの閲覧や購入のタイミングも異なる扱いを受ける必要があります。

同時に、イベントのデザイン、コピーライティング、ブース運営の工夫が、ビッグデータ技術よりも重要な役割を果たすかもしれません。ある企業のレコメンドシステムでは、モデルを一切変えずにブースの位置を変えるだけで、最終的な受注率が大幅に上がったという実例を聞いたことがあります。

7. ビッグデータの価値を測る方法

企業にはビッグデータチームがありますが、そのチームがもたらす価値をどのように測定するのでしょうか?例えば、天猫のダブル11の取引量は350億でしたが、この350億のうちどれだけがビッグデータによって増加したのでしょうか？

ビッグデータの短期的なリターンは精密マーケティングだと思いますが、長期的な視点で見ると、企業やプラットフォームにとってより重要なのは顧客関係の維持、ユーザーの粘着性や購買力の向上であり、それによってユーザーが他のプラットフォームに移行しにくくなります。そうすると、あなたの会社にとっては、それは一種の独占のようなもので、何もしなくてもお金を稼ぐことができます（現在のコカコーラやプロクター・アンド・ギャンブルのような会社と同じです）。そのため、ビッグデータの価値は製品のあらゆるレベルに反映され、具体的な価値の測定はビジネスモデルによって異なります。同時に、ビッグデータは企業が業界をより深く理解し、業界の障壁を確立するのにも役立ち、それによって経営者の意思決定をより適切にサポートします。

この記事は36ビッグデータ、WeChatパブリックアカウントdashuju36からのものです。 36 Big Data は、ビッグデータの起業、ビッグデータの技術と分析、ビッグデータのビジネスとアプリケーションに焦点を当てた Web サイトです。実践的なチュートリアルやビッグデータの応用事例を共有し、ビッグデータ分析ツールやデータのダウンロードを提供し、ビッグデータ産業チェーンにおける起業、技術、分析、商業、応用の問題を解決し、ビッグデータ産業チェーンの企業やデータ産業従事者にサポートとサービスを提供します。

終わり。