コンテンツ運用プラットフォーム（データプラットフォーム技術と事業展開の経緯と今後の動向展望）

データセンター技術とビジネス開発の歴史と今後の動向展望

タオバオは2003年に杭州の個人宅で誕生しました。翌年、Googleは3つのビッグデータ論文を発表し、ビッグデータ時代にコンピューティング技術を導入しました。

2004 年、Doug Cutting と Mike Cafarella は、Google の論文に基づいて Hadoop の HDFS と MR コンピューティング フレームワークを実装しました。

2006 年に、Hadoop プロジェクトが Apache コミュニティに加わりました。

2008 年 9 月、Hive は Hadoop のサブプロジェクトとなり、その後 Apache のトップレベル プロジェクトになりました。同年、Taobao は Hadoop システムに基づくデータ コンピューティング プラットフォームである Yunti 1 への移行を開始しました。

Alibaba Cloudは2009年に誕生し、Maxcomputeの最初のコードを書き始め、中国でさまざまなクラウドサービスが登場し始めました。

2014年、アリババは月面着陸計画を実行し、Maxcomputeプラットフォームに基づくデータプラットフォームであるCloud Ladder 2の移行を完了し、グループ全体のデータサービスを1つのプラットフォームに集約し、データ公開層の構築を完了しました。 OneData システムとグループのデータ ミドル プラットフォームが徐々に形を整えていきました。

2014 年 4 月、Intel は Cloudera に投資し、独自の Hadoop ディストリビューションを放棄しました。同年、Cloudera は中国市場に参入しました。

2017 年には、Maxcompute と Hadoop の両方のビッグデータ プラットフォームをサポートするデータ ミドル オフィス製品 Dataphin がリリースされました。 OneData の社内テクノロジー システムが外部関係者に力を与え始めました。

2018 年に Cloudera と Hortonworks が合併を発表し、Hadoop ディストリビューションは複数のベンダー間の競争から寡占間のゲームへと変化しました。

2020年、アリババはDataphin、Brand Data Bank、Quick Audience、Quick Stockのデータミドルエンド製品をベースにしたオムニチャネルマーケティングを開始しました。アリババは独自のデータシステムを通じて商人に力を与え始め、データミドルエンドは純粋な技術推進からビジネス価値実現へと進化しました。

従来のデータ処理方法、特に従来のデータ ウェアハウス プラットフォームでは、ソフトウェアとハ​​ードウェアの調達コスト、運用と保守のコストが高く、技術的な障壁もあります。データ ウェアハウスおよびデータ マート プラットフォームを構築する能力と資金力があるのは、銀行や通信事業者などの大企業だけです。ビッグデータ技術とクラウドサービスの普及により、企業の運用・保守コストと技術開発のハードルは大幅に下がり、特にクラウドサービスは、費用対効果が極めて高く、導入が簡単で、拡張性がほぼ無制限で、管理も容易です。総合的な使用コストと利便性は、従来のデータ プラットフォームよりもはるかに優れています。そのため、企業はデータ ウェアハウスを Teradata、Oracle/IBM などの従来のプラットフォームからビッグ データ プラットフォームやクラウド サービスに移行し始めました。今日に至るまで、この変化は伝統的な企業で起こり続けています。

クラウド コンピューティングの台頭以降、データベースとエラスティック コンピューティング (ECS) が最も一般的な製品になりました。しかし、クラウドビジネスにおいてユーザーがデータを蓄積するにつれ、企業側からデータ分析への直接的な要求が出てきました。 2011 年、Alibaba Cloud は MaxCompute ビッグデータ プラットフォームを立ち上げ、Alibaba Cloud のビッグデータ時代の幕開けとなりました。

データの急激な増加に伴い、データ処理の方法とパターンは質的に変化しました。従来の管理職や少数の業務担当者を対象としたデータサポート方法では、ビジネス開発のニーズを満たすことができなくなりました。データ開発サイクルが長い、応答が遅い、適用範囲が狭いといったデメリットがますます顕著になってきています。企業や政府は、市場の変化やデータにタイムリーに対応する方法を模索し始めており、同時にデータの収集、開発、使用、管理に対する要求も高まっています。

企業は、データをより効果的に管理し、より便利に活用するために、デジタル変革を進める必要があります。アリババのデータテクノロジーおよび製品部門も、データ開発の効率化、ビジネス価値のデータ強化、企業運営管理のデータガイダンスに対する同社のニーズを満たすには、データの処理方法を変える必要があることに気付きました。データミドルプラットフォームという概念が誕生しました。これにより、アリババグループはその後数年間の熾烈な競争の中で目立つ存在となり、企業が将来の競争に備えるための支援を続けています。このトレンド争いの背後には、ビジネスの優位性をめぐる競争があります。

主な製品紹介:

Dataphin は、インテリジェントなデータ構築と管理を実現する Alibaba Cloud のデータセンター構築エンジンです。データミドルプラットフォームの実践で蓄積されたコア方法論と技術システムに基づいて、データの収集、構築、管理、使用までのフルリンクのワンストップビッグデータ機能を提供し、企業が統一された標準、統合、資産化、サービス、閉ループの自己最適化を備えたインテリジェントデータシステムを構築できるようにすることを目指しています。

Dataphin の核となる価値は、データ定義を標準化し、標準化および正規化された方法でデータを生成し、データ開発の効率を向上させることにあります。

データミドルプラットフォームは、すべての従業員にデータを公開し、データに基づいたビジネスの運用をサポートすることを目的としています。データ ミドル プラットフォームの便利なデータ構築とビジネス価値の視点からの設計は、従来のデータ ウェアハウスとの最大の違いです。 Alibaba は、データはすべての人のためのものであり、現場の従業員がデータの主なユーザーであるという概念に基づいてデータを処理および開発し、最前線の従業員が閲覧できるデータ、運用上の意思決定をサポートするデータ、ビジネスガイダンスを提供するデータを利用できるようにします。

OneData は、Alibaba のデータ テクノロジー チームの長年の経験に基づいた方法論です。その中核となるのはパブリック データ レイヤーの構築です。 Dataphin は、方法論を製品として固めた形式です。これは、アリババ経済がビジネス変革を促進し、ビジネス変革のプロセスでビジネス価値を実現するのに役立ちます。企業は、これらの成功体験とツールを使用して、データ効率を向上させ、業務と持続可能性戦略をサポートすることもできます。

OneData の中核は、データ パブリック レイヤーの構築です。 Alibaba は、基盤となるサービスとアジャイル開発におけるイノベーションを通じてその巨大な顧客基盤を強化し、企業がビジネス イノベーションを実現できるよう、成熟した方法論とすぐに使用できるツールを顧客に提供しています。ビジネス価値の創造を志向する今日の世界では、データ ミドル プラットフォームが企業のデータ バリュー チェーンの伝達を促進できると考えられます。

Alibaba 経済圏では、Taobao、Tmall、Youku、Fliggy、Alipay などのさまざまなビジネス ユニットに何百ものデータ アプリケーションがサービスを提供しています。経済圏外では、Business Advisor、Brand Data Bank、グローバル消費者運用プラットフォーム Quick Audience などのデータ アプリケーションが、外部のマーチャントが Alibaba 経済圏内でビジネス価値を実現するのに役立ちます。データとデータ ツールにより、人、商品、場所の間のつながりとコラボレーションがますます可能になります。

データミドルプラットフォームの概念では、基本的なストレージ容量とコンピューティングリソースに加えて、データ資産は、企業の組織構造または開発モデルに基づいて独自のデータ資産管理プラットフォームを構築し、企業データの健全性に関する洞察を得る必要があります。アリババには、データの健全性状態情報を提供する社内資産プラットフォームもあり、来年度にシステム拡張のためのデータ基盤を提供することができます。 Dataphin の組み込みデータ資産管理モジュールは、開発者の観点からデータ資産の基本的な状態を反映できます。

企業は、データをより効果的に管理し、より便利に活用するために、デジタル変革を進める必要があります。アリババのデータテクノロジーおよび製品部門も、データ開発の効率化、ビジネス価値のデータ強化、企業運営管理のデータガイダンスに対する同社のニーズを満たすには、データの処理方法を変える必要があることに気付きました。データミドルプラットフォームという概念が誕生しました。これにより、アリババグループはその後数年間の熾烈な競争の中で頭角を現すことができ、今後も同社の将来の競争への移行を支援し続けます。このトレンド戦争の背後には、ビジネスの優位性をめぐる競争があります。

1.一般産業データミドルプラットフォームの構築シナリオ

従来の企業がデータ ミドル プラットフォームに期待するのは、主に業務運営と管理サポートの面です。すぐに使用できるツールにより、企業は効率的なデータ出力とデータ資産管理を実現できます。データミドルプラットフォーム構築のシナリオ設計段階では、従来の企業に対する徹底的なビジネス調査を実施し、ビジネスシナリオを段階的に改良し、BIデータ分析レポートを通じてユーザーが最も関心を持つビジネスインサイトを視覚化し、意思決定者が科学的な判断を下せるよう支援します。

データ センターのビジネス シナリオ設計フェーズでは、数千の派生指標が派生されます。これらの派生指標は、詳細な時間制限、明確で曖昧さのない指標定義、指標間の複数の組み合わせ条件などの特徴を備えています。 Dataphin はデータの処理と開発を迅速に実現できます。グラフィカルな設計により、データ プラットフォームの開発と設計のハードルが下がり、データ ウェアハウスの計画、データ統合、標準モデリング、一般的な開発 IDE、運用および保守のスケジュール設定からデータ サービスまで、従来のエンタープライズ データ モデリングとデータ開発の目標をワンストップで迅速に達成できます。

データミドルプラットフォームに集められたデータ資産は、まさに「金鉱」のようなものです。企業にとって、データ ミドル プラットフォームは、データをどのように管理し、使用するかという問題を解決する必要があります。集中化されたデータ資産管理により、資産の使用状況と価値の包括的な評価が容易になり、データ アプリケーションの完全なリンク追跡システムを構築し、データ コストとビジネス上のメリットを明確かつ透明かつ測定可能にすることができます。従来の企業では、業務システムの多様性と独立した設計により、データサイロの開発状況が形成されてきました。データ資産を集中管理することで、企業のデータ資産の全体的な状況を完全に把握し、垂直部門と水平レベルの運用状況を透明に提示できるため、科学的なデータに基づく意思決定のための強固なデータ基盤が構築されます。

伝統的な法人顧客は全国に多数の小売店や店舗を所有しており、マーケティング費用は依然として高額です。稼働データは店舗や各種サブシステムに分散しているため、本部が原因を突き止めるのは困難です。データミドルプラットフォームの構築により、各種システムや店舗マーケティングデータなどからデータを収集し、消費データ、ポイント蓄積・ポイント消費データを分析することで、異常行動を示す会員を発見しました。店内での消費は閉店時間の午後１０時以降に集中しており、ウール党による不正行為が原因とみられる。データセンターによる集中データ管理により、各事業部傘下の店舗の実際の販売数量をモニタリングできます。データセンター上のカスタマイズされた「資産可視化ポータル」は、企業が自社のデータ資産を効果的に管理するのに役立ちます。

伝統的な企業の代表例として、ある通信事業者と航空会社は10年以上前からデータウェアハウスを構築しており、すでにデータ分析プラットフォームを保有しています。しかし、従来のデータ ウェアハウスはデータ開発のみに重点を置いており、シナリオ設計や資産管理の概念が欠けています。新しいデータ開発タスクがある場合、開発者はソースデータをレイヤーごとに処理する必要があることがよくありますが、これは時間がかかるだけでなく、定義が不明確になることもあります。これらの現象は、Dataphin を使用して標準データ共通モデルを導入することで解決できます。

「業務・データミドルプラットフォームの構築推進は、今年の航空会社にとっての8つの厳しい戦いの1つであり、会社のインテリジェント変革プロセスにおける重要な変化でもあります。以前は、データを取得するには、さまざまなシステムから手動で収集し、それぞれのコンピューターで数十時間実行する必要がありました。現在では、わずか数分で「クラウド」から簡単にデータを取得できるため、分析作業の効率と品質が大幅に向上しています。」同航空会社のデータミドルプラットフォームプロジェクトの担当者はこう語った。

2. 小売業界におけるグローバルデータプラットフォームのマーケティングシナリオ

新しい小売業界には、店舗、オンラインストア、ライブストリーミングプラットフォーム、ブランドアプリ、WeChat / Alipayミニプログラムなどのさまざまなチャネルを通じて販売業者が製品を宣伝するまったく新しい販売モデルがあります。 複数のマーケティング形式とチャネルの特性を考慮して、アリババはグローバルマーケティングソリューションを開始しました。これは、グローバルデータを統合し、AIPL / RFMデータモデルを通じて詳細な洞察を行い、マーケティング効率を向上させ、正確な配信を通じてビジネス価値を実現します。オムニチャネルマーケティングソリューションは、Alibaba Business Advisor、Brand Data Bank、データ構築・管理プラットフォームDataphin、オムニチャネル消費者運用プラットフォームQuick Audienceなどの一連のデータ製品に基づいて実装されます。

オムニチャネル マーケティングの中核は、ユーザーがターゲット ユーザーを見つけやすくし、ユーザー予測モデルとマーケティング配信を通じて販売者にビジネス価値をもたらすことです。したがって、オムニチャネル マーケティング予測テクノロジを実装するための前提は、さまざまな形式/チャネルによって生成されたデータを収集し、Alibaba の OneData 方法論を使用して処理し、オムニチャネル デジタル マーケティングを実現することです。この分野における AI とアルゴリズム プラットフォームの計算能力は、直接的なシナリオ アプリケーションとビジネス価値を持っています。モデルの構築とデータ出力を通じて、加盟店はビジネス運営、会員の洞察、チャネルと販売の管理、店舗管理などのビジネスデータを包括的に制御できます。データ分析により、意思決定者はビジネス上の判断を下し、予測マーケティング モデルを通じてグローバル マーケティングの市場予測を提供できます。

オムニチャネルマーケティングソリューションは、データミドルプラットフォームを構築した後、アリババのビジネスエコシステムと連携して企業がビジネス価値を獲得するための重要な方法です。企業のデータミドルプラットフォームに蓄積された貴重なデータは、アリババのビジネスエコシステムや他のメディアチャネルと共同でデジタルマーケティングを構築するために使用され、外部データを還流してフルリンクデータクローズドループを形成することもできます。

Feihe Dairy、Bestore、Galanなどの新興小売企業は、グローバルデータミドルプラットフォームを構築し、Dataphinを使用してTmall店舗、オフライン店舗、ミニプログラム、自社ウェブサイトのデータを一元管理し、統一された標準化された高品質のデータを構築して、データによる意思決定とグローバルマーケティング活動をサポートし、ビジネス価値を実現します。顧客の声:

「データ ミドル プラットフォームにより、データ インフラストラクチャが解放され、データを使用してビジネスの問題点を解決し、会社の効率を向上させる方法について考えるエネルギーが生まれます。また、組織の能力要件の面では、ビジネス分析とアーキテクチャ能力、データ モデル アルゴリズム能力、革新的なアプリケーション製品の設計と計画能力の開発にもより力を入れることができます。」良品普子副社長の周世雄氏はインタビューでこう語った。

ガラングループのビッグデータセンターゼネラルマネージャーである鍾偉氏はインタビューで、「我々は金鉱（消費者データ）を手にしているが、それを開発する方法がない。データミドルプラットフォームに具現化されたデジタル技術は新たな生産性に相当し、組織アップグレードやエコシステムの相乗効果など、それに合った新たな生産関係を確立することで、企業が業務モデルやビジネスモデルのブレークスルーを推進する原動力となる。このブレークスルーがもたらす変化はDNAレベルだ」と語った。

1. データセンターにおけるリアルタイムコンピューティングの動向

データ処理は準リアルタイムからリアルタイムへと進化しています。従来のデータ ウェアハウスの設計は技術システムによって制限されており、リアルタイム コンピューティングを実現できません。分散型ビッグデータ技術を使用すると、PB レベルのデータセンターを構築できるだけでなく (歴史的に、このタイプのコンピューティング シナリオはデータ ウェアハウスと呼ばれています)、リアルタイム コンピューティングと履歴データを組み合わせて、統合されたストリームとバッチの開発を実現することもできます。新世代のデータ ミドル プラットフォームで重視されるデータの適時性と分析機能を実現します。

Alibaba は、ストリームとバッチの統合を実現するために、Blink (Flink のオープンソース バージョン) リアルタイム コンピューティング フレームワークを使用しています。 Blink には複合イベント処理機能 (Complex Event Process) があり、さまざまなデータ開発のニーズを満たすために、さまざまなニーズと能力を持つ開発者に SQL/テーブル、リアルタイム ストリームおよびバッチ データ処理、状態イベント駆動型アプリケーション API などの機能を提供することもできます。

データ ミドル プラットフォームのリアルタイム コンピューティング テクノロジーは、元のビジネス プロセスを再形成するのではなく、リアルタイム データ ストリームとデータ ウェアハウス インジケーターを組み合わせることで、より効率的なビジネス分析を実現します。リアルタイム テクノロジーを使用すると、リアルタイム マーケティング戦略、リアルタイム リスク管理戦略、リアルタイム不正防止などの BI 分析やビジネス警告を迅速に実行できます。これらのシナリオはすべて実際のビジネス システムに組み込むことができます。

アリババの新しい小売事業とダブル11ショッピングフェスティバルでも、統合フローおよびバッチ処理を使用して、マーケティングプロセスをリアルタイムで監視しています。

Dataphin製品は2018年にストリームとバッチの統合研究開発への投資を開始し、2019年末には社内のストリームコンピューティング製品がDataphin製品に正常に移行されました。2020年、Dataphinはバージョンv2.7をリリースし、Alibaba Cloudのリアルタイムコンピューティング製品Flinkのサポートを開始しました。これを Alibaba Cloud のビッグデータ コンピューティング サービス Maxcompute と組み合わせることで、ストリーム バッチ統合テクノロジーを通じてデータの適時性要件を満たすことができました。ユーザーは、Dataphin 製品を使用して、マーケティング結果に関するリアルタイムのフィードバックを実現し、同じ次元で履歴データを分析および比較して、ビジネス担当者にリアルタイムの意思決定のための即時かつ正確なデータを提供することができます。

2. データミドルプラットフォーム上位層のアプリケーションのモバイル端末化動向

BI インサイト分析は、データ センターでデータを提示する最も重要な方法です。現在、ほとんどの BI プレゼンテーションは主に PC で行われ、携帯電話が補助的に使用されています。 PC からモバイル端末へのインターネットの発展の必然的な傾向は、データ アプリケーションもモバイル端末になることです。ここ数年、デジタル分析の分野では多くのBIベンダーがモバイル端末表示に対応した製品をリリースしていますが、市場に広く普及するまでには至っていません。その理由は、画面サイズの統一が難しいなどの客観的な問題と、モバイル端末の視聴者シナリオの高度にパーソナライズされた性質の両方にあります。したがって、データミドルプラットフォームのモバイル端末アプリケーションは、端末の要件に適応する必要があります。

デジタル BI の分野では、その端末化はオンエンド適応を考慮する必要があり、PC 側のように豊富なプレゼンテーション効果や履歴指標を強調するのではなく、デジタル指標ダッシュボードの形式で提示する必要があります。第二に、端末アプリはリアルタイムコンピューティングと組み合わされ、リアルタイムデータを分析する機能を重視しています。提示されるコンテンツはタイムリーである必要があり、ビジネス フロー、リアルタイム注文、履歴注文の分析と予測のシナリオでより多く使用されます。

モバイル端末化の既存の困難には、iOS と Android の両方のシステムでアプリを開発する必要があることや、複数の端末での表示の問題などがあります。 DingTalk マイクロアプリケーションと WeChat アプレットは、アプリ以外のデータ BI 端末化における企業向けのオプションです。しかし、技術的な観点から見ると、純粋な H5 ページの開発では、ダウンロードされるデータの量が多い、ユーザー エクスペリエンスが悪い、オフライン データの保持と閲覧ができないなどの問題に直面します。そのため、ほとんどのモバイル端末アプリケーションは依然としてアプリの形で実装されています。

端末アプリの開発・運用コストの高さやPV/UVの運用効率の問題などから、どのようなデータやアプリケーションモデルがデータ利用者の利用頻度を高めることができるかは、企業経営者や製品管理者が直面する現実的な課題です。データセンターの分析データのほとんどは T+1 分析指標であり、企業管理者にとって大きな参考価値を持ちますが、時間単位や分単位では使用されていません。したがって、アプリに表示されるデータは、企業のビジネスおよびマーケティング活動データ、特にマルチターミナルポイント収集データと PV/UV データに基づく必要があります。履歴データ分析と組み合わせることで、App BI のビジネス価値をより適切に反映できます。

3. データセンターのインテリジェント化の動向

AI テクノロジーの最も重要な価値は、現実世界のシナリオで使用できることです。たとえば、顔認識の典型的な応用シナリオは、携帯電話経由でログインするためのパスワードの置き換えです。データミドルプラットフォームを構築した後、企業ユーザーはアルゴリズムや AI の基盤となる豊富な指標データを蓄積できるようになります。データ ミドル プラットフォーム ユーザーにとってより一般的な AI アプリケーション シナリオは、売上またはトラフィックの予測、パーソナライズされた推奨アルゴリズム、マーケティング キャンペーンの予測です。これらはすべて、ビジネス上の意思決定に直接役立つシナリオです。

激しい市場競争のプレッシャーの下、企業は AI コンピューティングが短期間で売上の増加やコストの削減に役立つことを期待しています。実際、AI アルゴリズムを通じて最前線の従業員にデータへの便利なアクセスを提供することも、生産効率を向上させる主な方法です。 Alibaba は社内にそのようなデータ製品を持っています。従業員が漠然とした質問をすると、製品が従業員ユーザーが気になる指標データを直接応答するため、データ照会の敷居が下がり、現場の従業員が使いやすくなります。

「人は地に従い、地は天に従い、天は道に従い、道は自然に従う。」法律とは制限と管理に関するものです。人間は行動の規範として地に従い、地は天に従い、天は道に従い、道は自然に従います。企業でも同様です。それらの操作はデータ サポートに依存し、データ サポートはシステムに依存し、システムはデータ ミドル プラットフォームに依存します。データ ミドル プラットフォームは、データ処理方法論とマルチ ターミナル プレゼンテーションに従います。したがって、データ処理は、データ ミドル プラットフォームの実装を成功させるための鍵となります。

この記事はAlibaba Cloudのオリジナルコンテンツであり、許可なく複製することはできません。