ビッグデータ運用事例（データ資産をテーブルに追加し、「コストを削減し、利益を増やす」ビッグデータチームはどのようにして利益を上げることができるのか？）

バランスシートにデータ資産を追加し、「コストを削減し、利益を増やす」ビッグデータ チームはどのようにして利益を上げることができるのでしょうか?

著者 |劉旭慧

校正者 |羅燕山

2022年12月、国務院はデータ要素の役割を活用するための指導意見に関する文書（通称データ20）を発行しました。 2023年10月、国家ビッグデータ管理局が正式に設立され、同年各地でデータ要素取引市場が設立されました。 「データ資産の貸借対照表への計上」は2024年1月1日より正式に施行されます。企業のデジタル化が進む中で、中核的な生産要素および資産としてのデータの価値がますます顕著になっていることは間違いありません。

しかし、ビッグデータ チームはコスト センターでしょうか、それともバリュー センターでしょうか?近年、コスト削減と効率性向上の道を歩んできた多くのビッグデータ チームは、どのようにして自らを正当化できるのでしょうか?テーブルにデータを入力するという財務的な観点から、どうすれば「利益」を得ることができるのでしょうか?この記事では、Yunqi Technology の過去の業界経験とビッグデータ分野の最新動向を組み合わせて、分析と議論を試みます。

私は当初、「泥棒のいない世界」の李叔父の言葉は、才能のある人が大金を稼げる21世紀のことを指しているのだと思っていました。

私はこれに深く同意します。そしてよく考えた結果、デジタル時代に最もお金を稼ぐことができるのはどのような人々なのか疑問に思います。これには、水、電気、石炭と同じ使命を担うビッグデータチームも含まれるはずです。ビッグデータ チームの才能は非常に貴重なはずです。

その後、社会に何年も叩かれ続けた後、私は自分があまりにも世間知らずだったことに徐々に気づきました。

高価とは、単に「高価」という言葉の表面的な意味を意味し、解釈の余地はあまりありません。会社の上司の考えでは、ビッグデータ チームは常にコスト センターであり、「価値がある」こととはまったく関係がありません。

パンデミック以降、私は業界のさまざまな企業のビッグデータチームと接触するようになりました。コスト削減は、一定規模のビッグデータ チームのほぼすべてが避けて通れない課題です。チームリーダーの中には、安定性の維持とコストの削減が、今年リーダーに求められる唯一の中核 KPI 指標であると率直に述べた人もいました。

当然ですね、あなたが一番高いですから。高価というのは単にコストが高いということではなく、削減されるのはあなた自身です。その結果、近年、すべての主要なパブリッククラウドベンダーとビッグデータソリューションプロバイダーも苦境に立たされており、地主たちも食料に余裕がない状態です。

しかし、何かがおかしいようです。 21 世紀はデジタル化とインテリジェンスの時代だというのは誰もが認めるところではないでしょうか?

では、ビッグデータ チームはコスト センターなのでしょうか、それとも利益を生み出す部門なのでしょうか?データは資産でしょうか、それとも負債でしょうか?

このような大きな出来事については、国の権威ある機関が最終決定権を持ちます。見てください、財務省は今年8月に「企業データ資源の会計処理に関する暫定規定」を発行しました。平たく言えば「貸借対照表への資産計上」と呼ばれ、2024年1月1日に正式に施行される予定です。

さらに読む: 「企業データは会計報告書に資産として含まれる」

簡単に言えば、データはデジタル時代の企業の中核的な生産要素の一つであり、上場企業の貸借対照表において「無形資産」として開示することができ、また開示されるべきである。

そうは言っても、ビッグデータ チームは復活しようとしています。

真剣な学生は、データ資産の価値はどれくらいで、それをどのように評価するのかを再度尋ねるでしょう。何人かの学生がまとめたように、私たちに必要なのは物語をうまく伝えることだけなのでしょうか?ご覧のとおり、長子島のホタテは、目に見えず、形のない「無形資産」どころか、形而上学的なものにもなり得るのです。

同じデータなのに、なぜアリババのビジネスアドバイザーのデータはゴールデンフェニックスと呼ばれ、その機能の多くは汎用的と言われ、毎年何十億、何億という値段で売れるのに対し、自社の数ペタバイトのデータは箱の底にある石の塊でしかなく、時間とお金の無駄になっているのでしょうか。

実際、「無形資産」にも厳密な定義があり、財務省の公式文書「企業会計基準第6号 - 無形資産」に記載されています。

詳細については、以下をご覧ください。
https://kjs.mof.gov.cn/zt/kjzzss/kuaijizhunzeshishi/200806/t20080618_46242.htm

ここで重要な点は、データが無形資産であるための前提は、それが企業に経済的利益をもたらすことができるということである。

さらに、他のガイドラインもいくつかあります。

簡単に言えば、さまざまなオープンソース コンポーネントをいじったり、その最適な組み合わせを研究したり、バージョンを追跡したり、機能を調査したり、落とし穴に踏み込んだりするために費やすお金は、頭の中ではアーキテクチャを改善し、チームの能力を強化するものであっても、財務の観点から見ると、純粋なコスト支出です。最終的なその後の事業展開においてのみ、生産に実質的な価値応用がある研究開発投資は無形資産の構成要素に変換することができ、その有用性を証明しなければならないという前提条件もあります。

これを見ると、ビッグデータ チームが常に「コスト センター」と見なされる理由を理解するのは難しくありません。敷居が高く、初期投資が高く、構築サイクルが長く、クラスターとチームのメンテナンスのコストが一目瞭然です。 **これらがどれだけの経済的利益を生み出すかを定量化することは難しい場合が多いです。 **リーダーはデータの価値を理解できず、チームを維持するためのコストしか理解できません。会社が予算を慎重に組む段階に入ると、コストを削減する必要が出てくるのではないでしょうか？クラスターのコストを削減することは何も問題ではなく、お金を節約するために「努力」を始めないことがすでに礼儀正しいことです。

しかし、あなたはこれが正しくないと言います。広告、マーケティング、運用部門もトラフィックを購入するために多額の費用を費やしています。また、技術的な内容は一切ありません。なぜコストも削減しないのでしょうか?高価になるのには理由があり、結局は難しいのです。

しかし、これらの部門には、ユーザー成長部門という「高級」な名前も付けられています。したがって、重要なのは高価かどうかではなく、収入を増やすかどうかです。コストを削減し、効率を高めます。コスト削減は基本的なアクションであり、効率化は単なる数値計算の結果です。効率を上げることができれば、コスト削減は無限にできるはずです。結局、このように計算すると、コストが低ければ低いほど、効率が高くなります。さらに、効率が上がれば、より多くの価値ある人材を社会に提供できるようになるかもしれません。それは合理的ではありません。上司たちがこのように考えるのもうなずけます。新たな AI 新興企業グループもこれについて考えており、上司に奉仕しようと熱心に取り組んでいます。

したがって、コストを削減し、収益を増やすことがより有望な道となります。入力と出力の ROI が 1 より大きい限り、コストを削減して収益を増やすことは、すぐに「資本を強化して収益を増やす」または「コストを拡大して収益を増やす」ことにつながります。あなたが言ったように、高価なのには理由がありますが、その理由は難しさとは関係なく、価値だけに関するものです。ビジネスの世界の論理はとても単純で退屈です。

もちろん、データの価値は、まず、それが属する業界の固有のビジネス価値属性によって決まります。たとえば、電子商取引業界では、消費者の行動嗜好データは、資産というよりもコスト支出に近い可能性があるクラスター マシンの毎日の操作負荷ログ データよりも明らかに価値があります (もちろん、企業に運用と保守の最適化を提供するビジネスでない限り)。

結局のところ、「無形資産」の評価はある程度ストーリーテリングに依存しますが、ストーリーを完全に永続的に語れるようにするためには合理的な事実に基づく必要があり、データのビジネス価値属性が主にストーリーの出発点となります。

特定の業界分野では、データ自体のビジネス価値属性を変更することは困難ですが、データの処理フローと適用形式を変更することで、これまで十分に活用されていなかった資産の価値を増幅、再利用、さらには活用し、入出力の費用対効果ROIを向上させることができます。

企業がそのような能力を備えているかどうかは、ビッグデータ プラットフォームのシステム構築の品質に大きく依存します。

仕事をうまくやり遂げたいなら、まず道具を研がなければなりません。データ資産の価値を最大化できるデータ プラットフォームには、どのような機能や特性が必要ですか?

ROI向上の観点からまとめると、以下のように列挙できます。

•より多く：1つの入力に対して複数の出力（より少ない入力でより多くの収益を上げる）

￮ これには、エンジン機能の再利用、データ値の再利用、リンク プロセスの再利用、人的リソースの再利用などが含まれます...

•速い: 今日投資して明日結果を見る (より早くお金を稼ぐ)

￮ 次のような利点があります: 建設期間が短い、開始時のハードルが低い、データの処理と循環が速い、ビジネス ニーズへの対応が速い...

•良いこと：他の人ができないことをする（より収益性の高いお金を稼ぐ）

￮ より複雑なビジネス シナリオのサポート、より極端なパフォーマンスの提供、より大規模なデータの処理、より新しいアプリケーション モデルのサポートなどが含まれる場合があります...

￮ さらに、障壁が高くなるほどデータ資産の価値が高くなり、データのセキュリティ、コンプライアンス、共有、取引の機能が必要になります。

• 節約: 時間、労力、お金を節約し、不必要な投資を削減します (費やす必要のないお金は費やすべきではありません)。これには、無料の運用とメンテナンス、クラスターの負荷と効率の向上、無効なデータ ストレージの削減、コンピューティング コスト、作業の重複の削減、試行錯誤コストの削減、オンデマンドの使用、動的な拡張と縮小などが含まれます。

では、これらのポイントをどのように達成するのでしょうか?ビッグデータやBIチームごとに、企業が抱える問題や客観的な条件が異なるため、方法や重点も当然異なります。しかし、業界の先進的な実践と製品技術コンセプトの開発動向を組み合わせて、いくつかの普遍的な議論を行うことはできます。

従来のビッグデータ ビジネス シナリオには、通常、オフライン バッチ処理、リアルタイム ストリーム コンピューティング、インタラクティブ OLAP クエリなどのシナリオが含まれます。さらにオンライン ビジネス サービスと関連付けられる場合は、同時実行性の高いポイント クエリ シナリオも含まれる可能性があります。

これらのシナリオでさまざまなコンピューティング、ストレージ、人的資源、リンク プロセスの再利用をどのように実現するかは、近年のビッグ データ分野における開発と探索の重要な方向性の 1 つとなっています。

おそらく、最もよく知られているのは、Flink の主なストリーム バッチ統合機能でしょう。私たちは、一連のコンピューティング エンジンを通じて、バッチ処理とストリーム コンピューティングの両方のセマンティクスをサポートしたいと考えています (実際、資本家として、上司は同じデータ バッチを使用して学生を育成し、2 つのビジネス シナリオをサポートすることを望んでいます)。もちろん、その実装も非常に難しいため（技術レベルだけでなく、ビジネスロジックレベル、コンピューティングコストレベルなどの要素でも）、関連コンセプトの主な提唱者としても、Alibaba Data Middle Platform は社内データビジネスにおけるローカルリンクでのみ関連目標を達成しています。

ストリームとバッチの統合に加えて、同様の探索が多数あります。

• あらゆるものに対応する SQL (ストリーミング、BI、AI、OPS)、さまざまな SQL 構文シュガー、翻訳またはプロキシ レイヤー プロジェクトなどの統一開発言語により、インターフェイス セマンティック レイヤーでさまざまなエンジンをカプセル化して開発の難しさを簡素化します。
• プロセスとデータを統合します。たとえば、Lambda アーキテクチャの代わりに Kappa アーキテクチャを使用して、マルチリンク ストレージのコンピューティング コストを削減します。
• Databricks のような統一カタログなどの統合メタデータ管理により、クロスソース データ処理機能が強化され、データと AI の融合アプリケーションに適応します。
• 外部データ ソース、外部テーブル、ボリュームなどを使用して、同じコンピューティング エンジンを使用する複数の外部ストレージ コンピューティング エンジンに接続してクエリを実行する、レイク ウェアハウス統合をサポートするなど、さまざまなフェデレーション クエリと外部テーブルのサポート。
• OLAP エンジンとバッチ処理エンジンは双方向に動いています。OLAP エンジンはより多くのバッチ処理機能を導入したり強化されたりしており、バッチ処理エンジンも OLAP 機能を徐々に強化しています。
• マルチシナリオ融合エンジン: Flink のストリーム バッチ統合に加えて、業界で最近人気が高まっている増分コンピューティング モードも含まれています。このモードは、オフライン、リアルタイム、インタラクティブ クエリのさまざまなシナリオでパフォーマンス、コスト、データの鮮度を柔軟に割り当てるために使用されます。一般的に、過去 10 年ほどの間に、さまざまなビッグデータ コンポーネントが次々と登場してきました。同時に、ビッグデータ プラットフォーム コンポーネントの数を減らし、テクノロジー スタックを簡素化し、すべてを単一のエンジンで処理し、多機能性を実現することも、ますます複雑化するプラットフォーム アーキテクチャ、データ処理プロセス、および高額な運用保守コストに直面している企業にとって避けられないトレンドの選択となっています。

世の中の格闘技に勝つには速さしかなく、金儲けも資金回転のサイクルが必要な問題です。結局のところ、時間はお金であり、特に今日の急速に変化するビジネス環境ではそれが当てはまります。

一方、ビッグデータ エンジンの観点から見ると、さまざまなストレージとコンピューティングの速度は確かに非常に重要な要素です (これが、それぞれ異なるビジネス シナリオをターゲットにした多数のコンピューティング エンジンが次々と登場している理由です)。

一方、データ プラットフォーム全体のマクロ機能を構築するという観点からは、構築と反復サイクルが短いこと、起動と保守のしきい値が低いこと、ビジネス ニーズへの対応が速いこと、ビジネス開発コストが低いこと、企業がデータ サービスの適用に迅速に参加できることなどが、より重要になる場合があります。

これは、完全なビッグデータ プラットフォームでは、さまざまなストレージやコンピューティング エンジンに対応するだけでなく、ビジネス ニーズをより迅速かつ適切に、より安定的にサポートするために、完全な開発環境とデータ アプリケーション管理チェーンを構築し、データ統合、データ開発、タスク スケジューリング、運用と保守、データ マップ、データ品質、監視とアラーム、セキュリティ管理、データの視覚化、BI レポート分析などの機能を構築する必要があるためです。

ビッグデータ プラットフォームは、その技術とビジネスの複雑さ、およびシステムの安定性とデータ セキュリティに対する高い要件により、初期投資が高く、技術的なハードルが高く、構築サイクルが長く、反復的な更新コストが高いシステムとなっています。

外国企業（特にアメリカ企業）は、さまざまな商業企業の製品に依存し、それらを組み立てて接続し、二次開発を行い、混合アプリケーションを使用してビジネスをサポートすることがよくあります。 AWS、Azure、GCP などのパブリック クラウドも、顧客が自分で組み立てられるようにさまざまな独立したコンポーネントを提供する傾向があります。中国では、完全にオープンソースの自社開発ソリューションか、完全なエンドツーエンドのソリューションを提供するサービスプロバイダーのいずれかが好まれる傾向があります。

一方では、ヨーロッパと米国の方がIT開発の歴史が長く、人材市場に成熟したソフトウェア人材のプールが大きく、企業自体の製品組み立て能力が通常より強いためです。一方、同様の理由から、大小さまざまなSaaS製品が増えており、それら製品間のオープンな協力やコミュニケーションの雰囲気も強まっています。

しかし、顧客の実践能力が比較的強い欧米市場においても、Snowflake や Databricks などの製品がますます増え、顧客に完全なワンストップの製品機能エクスペリエンスを提供するためにエコシステムを構築し始めています。完全なビッグデータ チェーン内の特定のコンポーネントやサービスに重点を置いている他のベンダーも、すぐに使用できる機能を実現するために、主流のクラウド プラットフォーム製品のリンクを可能な限り事前に適応させる傾向があります。このような機能を実現するベンダーは、商業市場で成功する可能性が高くなります。

結局のところ、分業、協力、そして成熟したソリューションを可能な限り活用してビジネスを迅速に開始することで、企業は落とし穴に陥ったり製品の統合や適応について学んだりするのではなく、データの革新と開発に集中できるというコンセンサスが生まれました。

ビッグデータ プラットフォームに携わる実務家として、創出した増分価値をどのように提示するかについても考える必要があります。さまざまな企業環境において、成熟した製品を使用して差別化されたデータビジネスアプリケーションのイノベーションを実現し、価値を反映させる方が良いのでしょうか?自立し、より優れた基本的なプラットフォーム機能を構築することがさらに重要です。 （もちろん、クラウドに移行するかどうかと同じように、この質問にも絶対的な答えはありません。クラウドに移行するという一般的なトレンドの下で、能力、時間、経済効率があれば、トレンドに逆らってクラウドに移行することを選択する大企業も数多くあります。）

ビッグデータ プラットフォームの観点から見ると、目標は、ビジネス ユーザーにデータの価値を提供し、他の人にはできないことを実現し、他の人が稼ぐのが難しい、あるいはまったく稼ぐことができない収益を獲得できるようにすることです。

一方では、ベクトル化された実行エンジン、マテリアライズド ビュー、インテリジェント キャッシュ アクセラレーション、ビットマップ コンピューティング、実行プランのプルーニング、プッシュダウン最適化、増分コンピューティングなどのテクノロジなど、より高度な処理パフォーマンスの提供が含まれます。

一方、より大規模なデータ処理機能の提供や、より新しいデータアプリケーションモデルのサポートも含まれます。たとえば、水平方向にシームレスかつ直線的に拡張する機能、ストレージとコンピューティングを分離した独立したスケーラビリティを備えたアーキテクチャ、AI関連機能の統合、BI/AIデータビジネスリンクの統合アプリケーションなどです。サーバーレス機能コンピューティングサービスとの接続機能により、従来のBIデータ分析とオンラインサービス、大規模言語モデル、その他のアプリケーションのシームレスな統合も大幅に拡張できます。

これらはすべて、妥当なコストまたは妥当な時間で完了することが不可能なタスクを完了できるように設計されています。

データのビジネス価値が向上し、その資産属性が確立されると、社内または社外のユーザーとの公開、共有、さらには取引に対する需要が高まります。

そのため、業界をリードするレイクハウス統合建築システムでは、オープンな Open Lakehouse 設計コンセプトを重視し始めました。

企業内での使用の観点から見ると、オープンな Open Lakehouse アーキテクチャは主流のオープン データ ストレージ形式と互換性があり、複数の外部エンジンからのアクセスをサポートします。企業データが特定のベンダーに縛られるリスクを軽減すると同時に、重複した開発の作業負荷を軽減し、データ サイロの問題を回避し、データ エコシステムの全体的な効率と一貫性を向上させます。

価値の再利用、データ共有、トランザクションの観点から、オープン システム アーキテクチャと統合カタログ管理機能に基づいて、データ共有などの低コストのデータ共有、トランザクション、販売システムもより適切にサポートできます。

たとえば、Snowflake のデータ共有テクノロジーは、ユーザーが独自のエコシステム内で安全かつ制御可能なデータ トランザクション機能を構築し、データ要素の交換と循環を可能にするのに役立ちます。

Databricks は、メタデータ管理と、Unity Catalog や Delta Sharing などのオープン標準データ共有システムに基づいて、単一のベンダー エコシステムに縛られないオープンなデータ共有および取引市場を構築したいと考えています。

投入産出比率に関しては、アウトプットがビジネスの原動力として重要ですが、投入は結局のところ分母なので、もちろん節約できるところは節約すべきです。

これには、人件費や時間コストだけでなく、さまざまな物理的リソースコストも含まれます。これには、将来支払う必要のあるコストと、過去に投資した資産の保護の両方が含まれます。 (結局のところ、無形資産がすべて一夜にして減価償却され、消滅してしまうことは望ましくありません)。

そのため、マルチクラウドとハイブリッドクラウドの機能は、企業が独自のデータセキュリティと制御を追求し、クラウド環境のロックインを回避し、マルチクラウド環境のリソースをオンデマンドで柔軟に再利用し、企業の既存の資産を保護するための要求の 1 つになることがよくあります。

さらに、クラウド環境における SaaS ベースのビッグ データ サービスのコンテキストでは、コンピューティング エンジンとストレージ エンジンによって従量課金モデルが提供され、企業は不要なリソースの浪費を削減できます。数秒でリソースを動的に拡張できる機能は、ビジネスの初期段階でのコスト投資の削減、ビジネスの展開に応じていつでもリソース投資を調整し、初期のビジネス立ち上げコストを削減するのにも役立ちます。

これは、ストレージとコンピューティングを分離したアーキテクチャを備えた認定ビッグ データ エンジンが備えるべき機能と目標とする利点でもあります。そのため、過去 1 ～ 2 年の間に、さまざまな従来のストレージ ベースのデータベースでも、ストレージとコンピューティングを分離するアーキテクチャの変革が推進され始めました。

さらに、2023年初頭から、ますます広く受け入れられているマテリアライズドビューの増分コンピューティングソリューションも、ビジネスシナリオとデータ量を変えずにコスト削減の余地をさらに探ることを目指しています。ビジネスセマンティクスの正確性を確保しながら、大量データのリアルタイム更新と集計計算を低コストで高速化します。全データ計算によるシステムへの負荷を回避し、データ更新時に全データをスキャンすることで発生する余分な計算時間とコストを削減します。

一般的に、データが貸借対照表の資産であるか、キャッシュフロー計算書の単なる費用支出であるか、ビッグデータ チームがコスト削減と効率改善の対象であるか、付加価値収益創出の原動力であるかは、結局のところ、ビジネス価値を最優先にしているか、最小限の費用で最大限の作業を行っているか、そしてそれを迅速かつ適切に実行できるかどうかによって決まります。データ資産が貸借対照表に含まれるかどうかは単なる結果です。業界のトレンドを観察し、正しい道筋とスマートな方法を使用して、迅速かつ効率的かつ経済的に価値を生み出すことは、ビッグデータ チームが社内で優位に立つことができるという自信につながります。

著者について

『ビッグデータプラットフォームインフラストラクチャガイド』および『Spark ビッグデータ処理テクノロジー』の著者である Liu Xuhui 氏は、現在 Yunqi Technology のデータプラットフォーム研究開発責任者を務めています。彼は、家電製品、ビッグデータ エンジン、ビッグデータ開発プラットフォーム、電子商取引、リスク管理、マーケティングなどの業界でのデータ製品開発において 20 年近くの経験を持っています。アリババ、51クレジットカード、モグジエなどのインターネット企業のビッグデータプラットフォームおよびデータミドルエンドチームの責任者を務めてきました。以前は、Intel オープンソース テクノロジー センターに勤務し、Spark、Hadoop、HBase、Flink、Alluxio などの国内オープンソース プロジェクトに最も早く貢献した人物の 1 人でした。

オリジナルリンク: ビッグデータ チームは、データ資産をバランスシートに追加し、「コストを削減し、トラフィックを増やす」ことで、どのように収益を上げることができるのでしょうか? _マルチクラウド/ハイブリッドクラウド_Liu Xuhui_InfoQ 厳選記事