データ運用フレームワーク (25 のアーキテクチャ図でデータ ガバナンスの中核となる内容を明確にします)

25のアーキテクチャ図がデータガバナンスの中核となる内容を明確にします

蔡春九データ職人クラブ

現在、国内企業はデジタル変革の重要な時期にあります。データ処理・分析技術の革新的な発展により、データに対する需要はますます多様化しています。ほとんどの企業は、データ総量の爆発的な増加、データ品質の低下、データのセキュリティとプライバシーなどの課題に直面しています。データ管理やデータ運用をいかに効率的に実現するか、データ品質をいかに向上させ、データセキュリティを確保するかといった基本的なデータガバナンス業務を適切に行うことが特に重要です。これは著者がこの本を書いた当初の意図でもあります。この本は、国内の産業企業のデータ管理専門家の集合的な知恵を具体化したものであり、すべてのデータ実務者が必要とする作業ガイドです。

データ ガバナンス (第 2 版)の更新された内容は、主に次の 4 つの点で改善および更新されています。

1) 時代の変化に対応し、更新された政策文書を解釈する。

2) より包括的な理論的知識を継続的に改善し、導入する。

3) 反復的な置き換えとより高度なエンタープライズ ケースの更新。

4) 最後に、データ ガバナンスの重要な用語と略語のリストも含まれています。

データ ガバナンスは、絶えず進化している新しい分野です。多くの新興分野と同様に、現在、データ ガバナンスには複数の定義があります。

狭義のデータガバナンス: データ資産管理に対する権限と制御を行使するための一連の活動であり、主に計画、監視、実行、他のデータ管理機能の全体的な実行のガイド、および高レベルでのデータ管理システムの実装が含まれます。現時点でのデータガバナンスは、データ管理の組織、システム、プロセス、パフォーマンス、標準のみを指すため、比較的「狭い」ものと言われています。

狭義のデータ ガバナンスの原動力は、もともと次の 2 つの側面から生まれました。

（１）機密業務データの取り扱い、財務データの改ざん、経営判断に影響を及ぼすデータ品質の低下など、内部リスク管理の必要性。

（２）外部監督とコンプライアンスのニーズを満たすため、例えば、国資委企業は国資委によって監督され、金融企業は中国銀行保険監督管理委員会によって監督される。

大まかに言えば、データ ガバナンスとは、データを企業資産として扱うことを中心とした一連の特定のタスクです。データ ガバナンスは、データの信頼性、信頼性、可用性を確保し、データの品質とセキュリティに対するビジネスの期待に応えるための一連の対策です。これには主に、データ利害関係者の責任と権利の明確化、データ利害関係者を調整してデータの利益に関する合意に達すること、データ利害関係者が共同でデータアクションを取ることを促進することなど、データ資産の価値を最大化するために組織が実行する一連の継続的な作業プロセスが含まれます。具体的には、データ戦略、データ管理（データアーキテクチャ、時系列データ管理、マスターデータ管理、指標データ管理、メタデータ管理、データ品質管理、データセキュリティ管理）、データ運用（データ権利確認、データ需要、データサービス、データ評価・監査など）、データ循環（データ製品、データ取引、データ価値など）を含むデータ管理活動の集合体です。

データガバナンスは、その対象に応じて、業務システム向けのデータガバナンスと分析システム向けのデータガバナンスに分けられます。

図1技術的な観点からのデータガバナンスの分析

（１）業務システムのデータガバナンス：マスターデータ管理は、業務システムのデータガバナンスの代表的な形態である。解決を目指す主な課題は、ビジネス、システム、プロセス全体にわたる中核的な企業データの一貫性、正確性、信頼性です。マスター データに重点​​を置き、ビジネス アプリケーションとその統合および相互作用をスムーズに実行し、データ品質を向上させ、ビジネス リスクを軽減することを目的としています。

図2 マスターデータガバナンスのコアロジック

データフローの観点から、マスターデータの識別、定義、モデリングは、ビジネスアプリケーションに先行する必要があります（実際の状況は異なる場合があります）。

ビジネス アプリケーションは、マスター データのサポートがあって初めてスムーズに実行できます。分析ドメイン内のデータレイク、データウェアハウス、分析アプリケーションなど、および対応するメタデータガバナンスは、後で実装する必要があります。

情報化時代において、マスター データは、企業全体の集中管理と制御を実現するための ERP システムの中心的な技術基盤です。デジタル時代において、マスターデータガバナンスは、マイクロサービスに代表される断片化されたエンタープライズアプリケーションアーキテクチャによってもたらされる、企業全体の管理と制御の困難を克服するための中核的な基本的な意義を依然として持っています。

l マスター データはメタデータで記述できるため、独自のメタデータも保持され、メタデータ管理に含めることができます。

分析システムのデータ ガバナンスは、主にメタデータ ガバナンスに重点を置いています。メタデータ ガバナンスは、「データに関する 4 つの質問」を解決します。私は誰ですか?ここはどこですか?私はどこから来たのでしょうか？どこへ行くの？メタデータを中核とし、データ分析とモデリングのプロセスを合理化し、データ品質を向上させ、分析データ アプリケーションの構築を保証することを目的としています。主に、指標データの計算における一貫性、データ品質、標準と仕様、コストの最適化、データ分析プロセス中のセキュリティ管理の問題を解決します。データ自体はビジネス システムから取得されるため、ビジネス指向のデータ ガバナンスは分析指向のデータ ガバナンスの前提条件となります。業務システムのデータガバナンスがうまく行われなければ、分析システムのデータガバナンスを根本的に解決することは困難になります。

図3 メタデータガバナンスのコアロジック

図4 新しい世代のデータガバナンスはビジネス主導

図5: 新世代のデータガバナンスは、すべてのドメインとタイプをカバーする完全なシステムです

秩序の確立（組織、システム、責任、標準、仕様、評価）+ツールの提供（データウェアハウス統合データプラットフォーム+データガバナンスツール）、エコロジーの構築（データ管理+日常的なデータ運用）+価値の創造（共有、オープン化、収益化）

データガバナンスに対するマネージャーの視点は、「制御ドメイン」、「プロセスドメイン」、「機能ドメイン」、「技術ドメイン」、「価値ドメイン」に分かれた「5ドメインモデル」として要約できます。

図6 データガバナンス「5つのドメインモデル」 - 管理者の視点から

制御ドメイン:データ ガバナンス戦略のガイダンスに従って、企業のデータ ガバナンス組織を策定し、組織の責任、権利、利益、職務の確立、スキル要件を明確にします。一般的に、中規模企業および大規模企業は、上級リーダーと関連専門家で構成されるデータ ガバナンス委員会を設置し、データ ガバナンスに関連する主要な決定を承認し、データ ガバナンスに関連するシステムとプロセスを策定し、データ ガバナンス活動をサポートするためのデータの説明責任とパフォーマンス評価のメカニズムを確立します。

機能ドメイン:データ ガバナンスの主体であり、データ ガバナンスの目的と目標を明確にします。データ資産の構成に応じて、マスターデータガバナンス、トランザクションデータガバナンス、指標データガバナンスに分かれており、データ標準システム、データモデル管理、データ品質管理、データセキュリティ管理、データガバナンスのコンポーネントが含まれます。

技術分野: データガバナンスをサポートする手段です。データ ガバナンスのサポート手段は、メタデータ管理、マスター データ管理、データ インジケーター管理、時系列データ管理、データ品質管理、データ セキュリティ管理、その他の機能モジュールなど、データ ガバナンスに必要なデータ アーキテクチャとデータ ガバナンス プラットフォームを提供します。

プロセス領域:データ ガバナンスの方法論です。データ ガバナンス プロセスには、評価と分析、計画と設計、実装の PDCA サイクルが含まれます。評価および分析フェーズでは、既存のデータ ガバナンスの成熟度、リスク、コンプライアンス、およびデータ ガバナンスに対するビジネスのニーズを評価する必要があります。計画・設計段階では、データガバナンスの目標とタスクを明確にし、データガバナンスに関連するシステムとプロセスを策定し、データ標準、データモデル、データアーキテクチャ、およびデータガバナンスの実装パスを設計する必要があります。実装フェーズでは、データ ガバナンスに関連するシステムとプロセスの詳細を策定し、適切なデータ ガバナンス ツールを選択し、カスタマイズされた開発を通じてデータ ガバナンスの要件を満たす必要があります。

価値ドメイン:データ ガバナンスの目標は、データ資産の管理と制御を通じてデータ資産の価値を調査し、データのフロー、共有、取引を通じてデータ資産を収益化することです。これには 3 つの側面が含まれます。

（ １）データ価値：財務モデリングとデータ価値評価のプロセス。

（ 2）データ共有：情報統合・配信の仕組みを実装することで、事業、部門、業界、企業間での情報の流れと共有をサポートします。

（ ３）データの収益化：データの共有と取引を通じて、データが金融資産に変換されます。

図 7 データガバナンスの「ゴールデンルーム」 - 技術的な観点から

データ ガバナンス フレームワークは、主に、データ資産のライフサイクル全体にわたる管理機能とアクティビティ、およびサポートと保証の 2 つの部分で構成されます。管理機能と活動は、データ ガバナンス管理システムの各リンクで実行する必要がある特定の作業を反映しており、データ戦略、データ ガバナンス、データ操作、データ循環の 4 つのモジュールに 23 の管理機能が含まれています。さまざまな機能活動の位置付けと内部接続を定義することにより、エンタープライズデータガバナンス管理作業の方向性を比較的完全にカバーします。サポートおよび保証モジュールは、組織保証と技術サポートという 2 つの領域における 6 つのサポート手段を含む、機能アクティビティの効果的な実装を保証するために必要な前提条件とサポート機能を定義します。体系性、調整性、オープン性、拡張性に優れています。管理機能と活動を組み合わせることで、さまざまな詳細な管理要件を的確に提示し、実行プロセスが正確で適切に行われ、製造業の変革とアップグレードの目標を達成できるようにします。

（１）データ戦略モジュールは、データ管理、データ運用、データ循環に関する指導と監督を行う。

（２）データ管理モジュールは、全てのデータガバナンスサービスの基盤であり、データ運用モジュールとともに、データ循環モジュールが機能するための必須の前提条件である。

（３）データ運用モジュールは、社内共有支援と外部データサービスの両方を含む、データ管理に基づくデータ応用・サービス機能の構築・開発である。

（４）データ循環モジュールは、データ管理モジュールとデータ操作モジュールの機能の改善と最適化の原動力と推進力となる。

（５）組織的保証は、製造企業がデータガバナンスを実行する上で重要な保証である。これは、組織がさまざまな機能活動を実行するための制度的規範、管理メカニズム、人材チームなどの基本的なリソースを提供し、データ資産管理の発展にとって重要な基礎となります。組織的保証には、組織構造、制度的規範、管理メカニズム、人材育成などが含まれます。

（６）技術サポートは、データガバナンスフレームワークの機能活動の効果的な実行と組織管理メカニズムの正常な運用を確保するためのツール基盤である。高度なテクノロジー、完全な機能、効率的な運用、安全で信頼性の高いセキュリティを備えたサポート機能を提供する必要があります。技術サポートおよび保証システムには、プラットフォーム ツールと技術革新という 2 つの側面が含まれます。

（１）DCMMと業界ベンチマーク企業のベストプラクティスを組み合わせ、業界の特性に合わせた産業企業データガバナンスシステムを構築した。

（２）完全なデータガバナンスには、戦略、組織、システム、プロセス、パフォーマンス、標準、ツール、データ運用、データ循環、価値実現が含まれます。

図8: 産業企業のデータガバナンスのホイール図

このシステム アーキテクチャは、データ制御を中核とし、データ戦略、データ アーキテクチャ、マスター データ管理、メタデータ管理、データ インジケーター管理、時系列データ管理、データ品質管理、データ セキュリティ管理、データ交換とサービス、データのオープン性と共有など、データ制御を通じてデータ ガバナンスの 10 の機能領域をリードします。

企業内の他の資産と同様に、データにもライフサイクルがあります。産業企業は、ビッグデータガバナンスを実施する際、データ資産を管理する、つまりデータのライフサイクルを管理する必要があります。

データ ライフ サイクルには、データの計画、作成、送信、保存、処理、公開、使用、アーカイブ、破棄の 9 つのリンクが含まれます。

図9 データライフサイクル全体にわたるデータガバナンスの「パノラマビュー」

マズロー欲求階層説は、1943年にアメリカの心理学者マズローが『人間欲求の理論』の中で提唱したものです。この理論では、人間の欲求を梯子のように低いものから高いものまで5つのレベルに分けます。

この理論では、人間の欲求を梯子のように低いものから高いものまで 5 つのレベルに分類しています。

（１）生理的欲求：衣食住交通など、生存を維持するための最も基本的な欲求。

（２）安全欲求：個人の安全を確保し、職業や財産を失う脅威から逃れる欲求。

（３）社会的欲求：愛情欲求や集団に所属したいという欲求を含む。

（４）尊重の欲求：自尊心と他者からの尊重を含む。

（５）自己実現：個人の理想や願望を実現し、個人の能力を発揮すること。

同様に、データ ガバナンスはデジタル化のさまざまな段階を通じて実行されます。データ ガバナンスに関する主な懸念事項と要求は、企業の役割や段階によって異なります。適切な需要管理により、さまざまな役割のデータ ガバナンスのニーズをより適切に満たすことができます。データ ガバナンスは長期的なプロセスであり、一夜にして達成できるものではありません。あらゆる側面から管理し、ソース、プロセス、アプリケーションのガバナンスを通じてデータ ライフサイクル ガバナンス システムを徐々に形成する必要があります。データ ガバナンス プロジェクトが秩序正しく進行し、回り道が少なくなり、回り道を避け、それぞれの特定の目標を段階的に達成できるようにするには、データ ガバナンスの需要管理を適切に行う必要があります。

図10 データガバナンス要件管理の「ピラミッドモデル」

（１）適時性要件：データの適時性と、業務部門のデータ出力およびレポートの日々の適時性を確保する。

（２）品質要件：データ品質要件を確保し、データ品質が保証され、正確、完全、有効であることを保証する。

（３）利便性の要件：検索や処理の利便性の必要性を含む。データは簡単に見つけられ、見栄えがよく、使いやすいものでなければならず、データ リソースは再利用可能で、ユーザー エクスペリエンスが優れている必要があります。企業のデータ資産の検索、適用、管理の難しさの問題を解決します。

（4）セキュリティ運用要件：データセキュリティコンプライアンスの保証、コストの最適化、管理要件など、「可視性、理解性、使いやすさ、運用性」を備えたデータ資産を実現するための要件 継続的なデータ運用を通じて、さまざまなビジネスリンクやシナリオでデータが大規模に活用され、ビジネスが強化され、 「品質と効率の向上、コストの削減、利益の増加」を実現する上で重要な役割を果たします。

（５）価値実現：資産化とデータ資本化のニーズを実現する。データ資産は循環され、オープンに共有され（レベル、地域、システム、部門、企業、ビジネス間で）、企業のデータ価値のマイニングとデータ資産の実現と評価を実現します。

最初の 3 つは、データの自己管理に関する低レベルのニーズであり、外部条件を通じて満たすことができます。最後の 2 つは内部要因を通じてのみ満たすことができる高レベルのニーズであり、そのニーズは無限です。低レベルのニーズが基本的に満たされると、動機付けの効果は減少し、高レベルのニーズが行動を駆り立てる主な理由としてそれに取って代わります。

エンタープライズ データ管理には、主に、データ資産カタログ、データ モデル管理、データ標準管理、データ インジケーター管理、マスター データ管理、メタデータ管理、時系列データ管理、ファイルおよびコンテンツ管理、データ品質、データ セキュリティ、その他のコンテンツが含まれます。

図11: 製造業向けデータ管理フレームワーク

スペースの制限により、この記事では、主にマスターデータ管理、指標データ管理、時系列データ管理、データセキュリティ管理など、エンタープライズデータ管理の最も重要な内容に焦点を当てています。

マスター データとは、部門間のビジネス コラボレーションのニーズを満たす、企業の中核となるビジネス エンティティ データのことです。長期間存在し、複数のシステムに適用され、ビジネスデータ全体を記述するオブジェクトです。例: 顧客、資材、サプライヤー、設備。トランザクション データと比較すると、マスター データは属性が比較的安定しており、精度要件が高く、一意に識別可能です。マスター データ管理は、企業の中核ビジネス エンティティに関連するシステムに記録されたデータを調整および管理するために使用される一連のルール、アプリケーション、およびテクノロジです。マスター データの価値を制御することで、企業はシステム間で一貫性のある共有マスター データを使用し、信頼できるデータ ソースから調整された一貫性のある高品質のマスター データを提供し、コストと複雑さを軽減し、部門間およびシステム間のデータ統合アプリケーションをサポートできます。

図12 マスターデータ管理「1つのプラットフォーム、2つのシステム」

マスターデータ管理の主な内容には、「2つのシステムと1つのツール」、つまりマスターデータ管理標準システム、マスターデータ管理保証システム、マスターデータ管理ツールが含まれます。その中で、マスターデータ管理標準システムはマスターデータ管理業務の最優先事項であり、マスターデータ管理保証システムはマスターデータ管理を守り、マスターデータ管理ツールはマスターデータ管理の有効な実施を保証します。

指標データとは、企業がさまざまな分野で戦略策定、業務運営、経営支援などの業務分析の過程で、ある目標や事柄を測定するために使用するデータです。一般的には指標名、時間、指標値などから構成されます。指標データ管理とは、統計分析のデータ品質を向上させるために、組織内でのビジネス分析に必要な指標データを組織内で統一的かつ標準化して定義、収集、適用することを指します。

図13 指標システム構築のフローチャート

l指標の検索:指標のソート範囲を決定し、指標を上から下に展開し、指標を下から上に絞り込みます。指標のデータ ソースを決定し、指標辞書リストに整理します。

l指標の管理：指標を分類し、指標の対象領域を決定し、指標の次元と属性を整理し、ビジネスに適した指標システムを確立します。

l指標の管理：指標の管理方法と制度的プロセスを策定し、指標を特定して特定の役職に指標の責任を割り当て、企業の標準化された管理メカニズムを確立します。

l指標の使用：デジタル化における指標システムの適用を計画し、確立します。多元異機種システムから指標データを収集し、対象ドメインのデータマートとして処理することで、指標サービスや指標分析を提供し、業績評価を実施し、継続的な改善を行います。

時系列データとは、時系列データを指します。時系列順に記録されたデータ列です。同じデータ列内の各データは、同じ品質であり、比較可能である必要があります。時系列データは、複数の期間または複数の時点から構成されます。時系列データ管理は主に、時系列データの収集、処理、分析を通じて、企業が生産プロセスと運用プロセスをリアルタイムで監視するのに役立ちます。

産業企業は膨大な量のデータと豊富なシナリオを持っています。例えば、設備や生産ライン、システム全体の稼働状況を監視するために、さまざまな要所にセンサーを設置してさまざまなデータを収集します。これらのデータは定期的または準定期的に生成されますが、収集頻度が高いものもあれば、低いものもあります。収集されたデータは通常、集約およびリアルタイム処理のためにサーバーに送信され、システム動作のリアルタイム監視や早期警告を提供します。

図14 時系列データガバナンス

企業の実際の問題点から始めて、データの「収集、規制、ガバナンス、使用」に焦点を当て、時系列データの特別なガバナンスに焦点を当てます。

データ セキュリティ管理とは、データが効果的に保護され、合法的に使用されることを保証するために、企業のデータ セキュリティ戦略のガイダンスの下で複数の部門が連携して実施する一連の活動を指します。これには、組織のデータセキュリティガバナンスチームの設立、データセキュリティ関連の制度的規範の策定、データセキュリティ技術システムの構築、データセキュリティ人材プールの開発が含まれます。

図15 産業用インターネットセキュリティシステム

完全な産業用インターネット セキュリティ システムを構築することは、データ セキュリティ管理を実装するための重要な保証となります。産業特性と管理要件に基づいて、産業インターネット セキュリティ システム アーキテクチャは、産業インターネット コンプライアンス保証システム、組織構築、データ セキュリティ管理と制御、産業インターネット クラウド プラットフォーム、人員能力、技術ツールに分かれています。

データ セキュリティ システムのフレームワークは、ポリシーと規制、技術レベル、セキュリティ組織の人員という 3 つの次元で構築されます。データ セキュリティ ガバナンス システム フレームワークは、ポリシー、規制、標準に準拠する必要があり、またリアルタイムのデータ監視を技術的に実行でき、全体的なデータ セキュリティ ガバナンス アーキテクチャを形成するために標準化されたトレーニングを受けたセキュリティ組織の担当者と連携する必要があります。

図16 データセキュリティフレームワークシステム図

データ セキュリティ管理は、データの収集/生成、送信、保存、処理、交換、破棄のすべての段階を通じて実行されます。段階によってリスクのレベルは異なり、監査後の作業の内容も説明します。

データ運用とは、特別な業務から企業の日常的な運用・管理システムに至るまで、データガバナンスを推進するプロセスと実装戦略です。これは、データの所有者が、データ分析とマイニングを通じて、膨大なデータに隠された情報、ルール、知識をデータサービスとデータ製品に加工し、データ消費者が使用できるように準拠した形式でリリースすることで、データ利用の過程でより多くの価値を生み出すことを意味します。

データ操作は、データ資産の構成、使用、保守を管理することで、内部の対応効率を向上させ、データ資産の利点を高めるための重要な手段です。

データ運用管理には、データ運用の中核となる活動機能と、これらの活動機能が確実に実行できるようにするための保証措置という 2 つの重要な側面があります。データ操作は価値創造の中核です。ビッグデータプラットフォームの技術サポートを基盤とし、プラットフォームを活用してデータのライフサイクル全体を管理することで、データ運用の価値を実現する道を切り開きます。

図17 データ操作フレームワーク

データ運用管理フレームワークには、6 つの活動機能 (データ要求、データサービス、データ開発および運用、データ権利確認、データアプリケーション管理、評価および監査) と 2 つの保証手段 (運用組織およびシステム) が含まれます。活動機能とは、データ運用管理を実施するための一連の具体的な行為を指し、保障機能とは、活動機能の実現を支援するための補助的な組織構造や制度システムを指します。

データ操作のコア機能は次のとおりです。

図18 データ操作コア機能

1) データ権利確認：あらゆるレベルの組織（権利保有者）が保有するデータ権利を確認するプロセスを指します。データ権利の確認はデータ操作の前提条件です。データに付随するさまざまなデータ権利の所有権を明確にすることによってのみ、企業の熱意をより高めることができます。

2) 需要管理システムを確立し、ビジネスニーズに迅速に対応します。効率的な需要管理：需要の一元管理とプロジェクト情報の共有を実現し、部門間の統合を通じて情報技術プロジェクトの実施によってもたらされるメリットを十分に高めます。効率的な問題管理: プラットフォーム管理要件を満たす問題管理メカニズムを確立し、問題管理プロセスを最適化し、問題処理の速度を上げ、サービス品質とサービス レベルを向上させます。データ需要管理の面では、さまざまな部門から発生する頻繁なデータ収集とデータ利用のニーズに効果的に対応するために、需要受け入れプロセス、データ処理プロセス、アプリケーション保証プロセスを確立します。

3) データ開発と運用：データプラットフォームまたは関連データサービスにおいて、データ収集、データ処理、データ保存、データ開発などのプロセスをスケジュールおよび維持し、開発管理仕様と管理メカニズムを確立し、開発プロセスと品質を監視および制御し、データプラットフォームまたは関連データサービスの正常な動作を監督し、継続的に利用可能なデータコンテンツを提供するなどの管理活動。データ資産のライフサイクル全体にわたる運用・保守管理、日常の運用・保守、監視、イベント・問題管理、統計分析・最適化、緊急時管理・計画など。

4) データサービス：主に、使用要件に応じてデータを処理し、標準化されたデータ提供チャネルを形成し、消費者側にデータサポートを提供するプロセスを指します。データ サービス管理は、サービス コンテンツ、サービス プロセス、サービス品質、サービス効率などの要素を管理するプロセスです。データ サービスは、一般的に、データセット、API インターフェイス、データ レポート、データ タグ、データ サブスクリプション、データ コンポーネント、データ アプリケーションなどの 8 つのカテゴリに分類されます。データ サービスの開発を通じて、使用ニーズを満たす構造コンテンツを事前にカプセル化し、大規模な開発をサポートし、データ使用ニーズにより良く、より速く対応できるようになります。

5) データ応用：データの価値を最大化するためにデータを活用することを指します。組織データの一元的な管理、処理、応用を通じて、内部的には科学研究管理、マーケティング、サプライチェーンプロセスの最適化、インテリジェント製造、生産運営などの活動をサポートし、外部的にはデータの公開と共有、データサービスなどの一連の活動をサポートし、組織運営管理プロセスにおけるデータのサポートと補助の役割を強化します。

6) 評価と監査には、データ利益評価、データ運用評価、データ管理成熟度評価、パフォーマンス評価、データ監査などが含まれます。データ利益評価とは、主にデータ運用活動の作業品質、有効性レベル、適用範囲、成熟度を具体的、客観的、適切に評価することを指します。データ運用評価とは、運用中のデータの有効性を総合的に評価することです。パフォーマンス評価は、データガバナンスの責任者の職務の遂行状況を評価・査定するために使用され、データガバナンス業務の実施の参考として活用できます。データ監査は、データ交換および取引中に、一次データおよび付加価値サービス データの真正性、可用性、合法性、コンプライアンス、品質を保証し、データ コンシューマーの正当な権利と利益を保護します。

データ資産化は、生データのリソース化、データリソースの資産化、データ資産の資本化というプロセスを経て、最終的にデータ価値の解放と実現を実現する必要があります。

データ循環は、データの社会的な活用を実現し、データ資源の価値を実現するための避けられない道です。データ循環の目的はデータの分析価値（利用価値）を実現することですが、データ循環リンクはデータの交換価値を反映します。データ交換の価値の基礎となるのは、データの関連性、正確性、可用性（データ品質）です。

図19 データ資産化パス

データ資産化とは、データガバナンス、所有権の登録と確認、品質評価、価値評価、資産の組み込み、データ製品の開発、上場、取引のチェーン全体を網羅し、データを資産の標準定義に準拠させるプロセスを指します。幅広い側面が関係しており、システムは大規模かつ複雑です。

データ循環の 3 つの中核となるのは、データ ガバナンス、プラットフォーム サポート、アプリケーション ドライブです。

図20データ操作機能フレームワーク

データ運用管理フレームワークには、4 つの活動機能 (データ製品、価値評価と価格設定、データのオープン共有、データ取引管理) と 2 つの保証手段 (プラットフォームサポートと制度システム) が含まれます。

1）データの管理：データ値を発見することを目的として、データは特定のビジネスニーズとシナリオに基づいて特定のロジックに従って処理され、最終的にはデータ製品に基づいて形成されたさまざまな形式のプログラム、結果データ、または結果ドキュメントが形成されます。データ製品管理は、データ製品自体を管理するために実行されるアクティビティです。データ製品システムを計画し、データ製品の完全なライフサイクル管理を実施し、データ製品の革新を強化します。

2）データ価値の評価と価格設定：価値評価システムを構築することにより、データの経済的利益、ビジネス上の利益、投入コストなどを測定する活動を指します。データ値評価は、データ資産管理の重要なリンクであり、データアセット化の価値ベースラインです。現在、関連する標準化組織、会計組織、および国内外の技術コンサルティングサービス会社は、複数の観点から積極的に調査および調査しています。

3）データのオープン性と共有管理：データ収集のニーズを収集し、データアクセス権を付与し、データ共有とオープニング作業を管理および制御する管理アクティビティです。企業は、範囲、要件、セキュリティの責任、契約の署名、禁止事項、およびデータ共有と開会の協力モデルを明確にするものとします。データ共有とオープニングカタログ、共有レベルとオープニングレベル、および脱感作ルールを策定します。データ共有とオープニングカタログを更新および維持します。データの貢献と開会需要を収集します。そして、共有とオープニングを申請し、承認し、実行し、監査します。

データ共有とは、組織の部門間のデータ障壁を分解し、統一されたデータ共有メカニズムを確立し、組織内のデータリソースの流れを加速することを指します。データのオープン性とは、アクセスして理解しやすいデータを一般に提供することを指します。政府にとって、データの開放性は主に公開データリソースの開設を指します。企業の場合、データのオープン性とは、主にエンタープライズの運用ステータスを開示し、データ統合を促進することを指します。範囲、要件、セキュリティの責任、契約の署名、禁止事項、およびデータ共有と開会の協力モデルを明確にします。データ共有とオープニングカタログ、共有およびオープニングレベル、およびルールの脱感作を策定します。データ共有とオープニングカタログを更新および維持します。データの貢献とオープニングのニーズを収集します。そして、共有とオープニングを申請し、承認し、実行し、監査します。

4）データトランザクション管理：これは、実際の外部データ使用量を拡大することを目的として、マーケティングおよびその他の手段を通じてデータ製品の所有権をデータ製品需要者に転送する管理活動を指します。

Lake-Cang Integrated Data Platformは、企業ビジネスデータの資産とデータ資産の価値を実現するためのデータ管理、使用、運用、コンプライアンスを提供する基本的なプラットフォームであり、データ生産要因の市場化に対する強力なサポートになります。

企業は、データガバナンス組織の毎日の作業メカニズムをサポートし、データ標準を実装し、ソースデータ収集からデータの集約、データ処理、データアプリケーションまで、データユーザーとデータサプライヤーがデータを一貫して理解し、運用と管理のためのデータの使用を促進するために、一連のデータツールソフトウェアを必要としています。データガバナンスをサポートするには、データガバナンスツールが不可欠です。

データガバナンスツールシリーズは、データガバナンス組織、データ標準、マスターデータ、およびインジケータデータの効果的な管理を実現できます。

図21エンタープライズデータプラットフォームアーキテクチャ

産業ビッグデータガバナンスには、マスターデータを中心としたパッケージ化されたソフトウェア、データ資産カタログを中心としたデータリソース管理ツール、メタデータモデルとデータモデルを中心としたデータミドルプラットフォームなど、さまざまなデータガバナンスツールソフトウェアのサポートが必要です。さらに、データ交換およびサービスプラットフォームは、技術者が熟練している必要があるミドルウェアです。時系列データは、産業プロセスを記録し、プロセスと品質管理をサポートします。これらのツールにはさまざまな焦点があり、実際のニーズに応じて調整する必要があります。

Lake-Warehouse Integrated Big Data Platformは、近年登場しているデータアーキテクチャです。エンタープライズ指向のデータウェアハウステクノロジーとデータレイクストレージテクノロジーを組み合わせたものと、データウェアハウスとデータ湖の利点を吸収し、データアナリストとデータサイエンティストが同じデータストレージのデータを動作させることができます。同時に、データガバナンスの企業により多くの利便性をもたらし、企業に統一された共有可能なデータベースを提供します。

図22データガバナンスプラットフォームとビッグデータプラットフォームとの内部関係

lデータガバナンスプラットフォームは、エンタープライズデータ計画とデータ標準の実装のためのキャリアであり、データガバナンスの統一された標準とルールの実装をサポートしています。

lデータガバナンスプラットフォームは、マスターデータ、メタデータ、およびデータインジケーターの管理を効果的に実装し、標準化された統一データサービスを提供するプラットフォームです。

データガバナンスプラットフォームは、データ生成からアプリケーションへの階層化されたコラボレーションと包括的なガバナンスを実現するコアです。

エンタープライズデータガバナンスツールには、一般に、データガバナンスポータル、マスターデータ管理、データインジケータ管理ツール、メタデータ管理ツール、時系列データ管理ツール、データモデルツール、データ交換およびサービスツール、データ資産運用ツール、データ品質管理ツール、データセキュリティ管理ツールなどが含まれます。

図23：PAASプラットフォームとマイクロサービスアーキテクチャに基づいた統合データガバナンスプラットフォームの実装

1。産業データガバナンスポータル

産業データガバナンスポータルは、産業企業のデータガバナンス組織のための実用的なプラットフォームです。組織構造とシステム仕様を含む、データガバナンス組織のワークフローと作業基準を定義するために使用されます。マスターデータ、データインジケーターなどを含むさまざまなデータ標準を公開します。データガバナンス組織のパフォーマンスとデータ品質を評価します。知識エンジニアリングに基づいて知識ベースを照会します。

2。データ資産操作ツール

データアセット操作ツールには、データ資産カタログツールとデータアセット値評価ツールが含まれます。データアセットマップとしても知られるデータアセットカタログは、ユーザーが独自のビジネスニーズと企業基準に従ってエンタープライズレベルのデータアセットカタログを構築し、大規模なデータを整理および分類し、データ資産の包括的なインベントリを実施し、ユーザーに完全なデータアセットビューを提供し、データアセットの表示、交換、共有を提供するためにサポートします。データ価値管理は、主に、データの本質的な価値の評価と、データコストとメリットの管理を通じて達成されます。

産業分野では、データアセットカタログツールを使用すると、データ所有者が所有している情報リソースを直感的かつ明確に理解できるようになります。データユーザーは、データアセットカタログを使用して、必要なデータの現在のステータスを発見し、需要アプリケーションを送信することもできます。データリソースを櫛で締結およびカタログ化することにより、データマイニング、分析、開発、アプリケーションのために正確で包括的なデータサポートが提供されます。データアセットカタログは、データガバナンスソリューションでは必須オプションではありませんが、データ資産管理ソリューションでは必須オプションです。

3。データモデル管理ツール

データモデル管理ツールは、エンタープライズデータモデルの管理、比較、分析、および表示の技術サポートです。分散型エンタープライズデータモデル管理、統一されたエンタープライズデータモデルビューの欠如、データモデルの効果的な管理と制御プロセスの欠如、データモデルの設計の効果的な実装、データモデル設計とシステムの設計とシステムの実装の逸脱など、さまざまな問題を解決するために、統一されたマルチシステムのマルチシステムのマルチシステムのマルチチームの並列コラボレーションベースのデータモデル管理を提供するために使用されます。産業分野では、エンタープライズアーキテクチャとデータアーキテクチャが一緒に構築されることがよくあります。コアビジネスプロセス、ビジネスオブジェクト、およびビジネスアクティビティの定義は、最初にデータアーキテクチャに徐々に実装され、次にデータの論理モデルにマッピングされ、物理モデルに実装されます。

4。データインジケータ管理ツール

データインジケーター管理ツールは、データインジケーター情報のメンテナンス、データインジケータガバナンス、インジケーターアプリケーションなどの機能を含む、データインジケータ標準の管理に使用されます。これは、インジケーター、メタデータ、データ品質、データ標準のサブモジュール間の関係を接続するために使用され、データアクセスが標準化され、標準が統一され、データの品質が制御可能であり、データが利用可能であることを確認します。

5。マスターデータ管理ツール

マスターデータ管理ツールは、エンタープライズのマスターデータ情報を定義、管理、共有するために使用されます。マスターデータ管理は、データ統合ツールまたは専門化されたマスターデータ管理ツールを介して実装できます。マスターデータ管理ツールには、エンタープライズレベルのマスターデータストレージ、統合、クレンジング、監督、配布の5つの主要な機能があり、さまざまな情報システムにおけるこれらのマスターデータの正確性、一貫性、整合性を確保します。

6.メタデータ管理ツール

メタデータ管理ツールを使用して、データ分布と生成プロセスを理解できます。このツールは、メタデータ管理機能向けに開発されました。メタデータ管理は、データの物理モデルに深く浸透しています。産業データ分野のメタデータ管理コンポーネントは、多くの場合、プロジェクトごとに定義されます。

7。時系列データ管理ツール

時系列データ管理ツールは、モノのインターネット、インターネットのインターネット、産業インターネットの分野でのプロセスデータ収集とプロセス制御に使用され、プロセス管理とのデータリンクを確立します。彼らは産業データガバナンスの新たな分野です。ツールのディメンションから、タイミングデータ管理ツールは、エンタープライズレベルではなくワークショップレベルのプログラム可能なロジックコントローラーに限定されている従来のタイミングデータベースとは大きく異なります。

8。データ品質管理ツール

データ品質管理ツールは、データ使用量の観点からデータ資産の品質を監視および管理します。データのライフサイクル全体で品質管理を達成するために、データ品質管理機能のために開発されています。標準的なルールに従ってデータ品質検査戦略を構成し、派遣センターを介してデータ品質検査を実現し、問題データを発見し、問題データを関連する担当者に割り当てて、必要に応じてデータ品質評価レポートと問題処理レポートを形成します。

9。データ交換およびサービスツール

データ統合および交換ツールは、コレクション、集約、処理、共有などの複数のリンクを含む一連のデータテクノロジーツールのコレクションです。これらは、他のデータガバナンスツールをサポートするミドルウェアです。これらは、ソースシステムのデータ収集、システム間のデータ交換、マルチソースデータの集約と処理などで広く使用されており、PAAS層の一連のコンポーネントに属します。テクノロジーの検討に加えて、データ交換およびサービスツールは、産業データガバナンスの長期戦略でも考慮する必要があります。

10。データセキュリティ管理ツール

データセキュリティ管理ツールは、情報セキュリティを組み合わせて、使用、交換、共有中のデータ資産のセキュリティを確保する技術的手段です。これらには、データ収集管理、データ送信管理、データストレージ管理、データ処理管理、データ交換と共有管理、データ破壊管理の6種類のツールが含まれます。

Hucang Integrated Big Data Platformにはますます多くのターゲット機能と価値の期待があるため、含まれる機能モジュールはますます複雑で変更可能になりつつあります。 Hucang統合ビッグデータプラットフォームに通常含まれる機能と基本的な階層関係を簡単に要約し、主な機能モジュールについて簡単に説明します。ただし、実際の実装プロセスでは、図に示すように多くのモジュールが明確に区別されません。それらはしばしば絡み合って貫通され、全身を動かします。

Hucang Integrated Big Dataプラットフォームにより、データをエンタープライズ内で最適化および管理し、マルチソースの異種データ収集、ストレージ、コンピューティング、分析と鉱業、アプリケーション、視覚化、操作スケジューリング、ガバナンス、統合開発環境ポータルなどを通じて、企業外のデータ協力の価値をリリースします。

Hucang統合ビッグデータプラットフォームテクノロジーは、B2Cインターネットプラットフォームのアプリケーションから生じています。デジタル変換の一般的な傾向の下で、産業分野でのHucang統合ビッグデータプラットフォームの適用が急速に発展しました。この記事は、Hucang Integrated Big Data Platformを産業データのアプリケーションプラットフォームとして解釈し、データガバナンスプラットフォームサービスのオブジェクトであり、データ収集と処理のプロセス全体がコストを負担し、適用された場合にのみ価値が生じるためです。

図24ビッグデータプラットフォームの主な機能フレームワーク図

上記は、ビッグデータプラットフォームの主要な機能モジュールを簡単に要約しています。各機能の実装は、組織自体によって開発されたり、既存の成熟した技術、商業またはオープンソースツールから選択したりできます。現在の一般的なツールは、図に示すように一時的に要約されていますが、技術の急速な反復と開発により、図の情報も継続的に更新されており、参照としてのみ使用されます。

図25ビッグデータプラットフォームの主なテクノロジーとツール

データプラットフォームの概念は数回変更され、解決し、理想的で理論的な段階を経ました。現在、基本的に合理的な開発と実装段階に入っています。一方で、ビッグデータプラットフォームは、デジタル変革の傾向の下で、急速な成熟と開発と大きな力の時代を迎えます。一方、彼らはまた、技術の変化、経済環境開発、規制の取り組みの向上、管理要件の改善、才能の不足など、さまざまな課題に直面しています。デジタルエコノミーの到着は止められず、ビッグデータプラットフォームの建設は、多くの機関、組織、企業が機会と課題に直面して完了しなければならないタスクにもなりました。必要なのは、方向性を明確にし、パスを選択し、オープンで革新的で継続的な学習先の先駆者のメンタリティと、厳格で、細心の、決定的で実用的な職人の精神で私たちに合ったビッグデータプラットフォームを構築することです。

データガバナンスナレッジシステムには、管理や技術などの複数の分野が含まれます。非常に複雑な体系的なプロジェクトです。比較的完全なデータガバナンスシステムを包括的かつ体系的に構築する方法は、企業のデータガバナンスの実装の鍵です。企業のデジタル変革の現在の焦点は、運転のデータ要素の役割を完全に演奏することです。

この本は、中国の産業企業にとって国際的な理論的高さと実用性の両方を持っています。企業のデジタル変換に必要なデータガバナンスの基本概念、実装パス、および参照ケースをカバーしています。業界のデータガバナンスにホットスポットと困難が含まれているだけでなく、著者のデータプロジェクトにおける実践的な長年の経験も含まれています。また、著者のデータガバナンスに関する理解と思考、およびプロジェクトの実践における実装方法も含まれています。シニアマネージャーにとって、この本はエンタープライズデータガバナンスを促進する方法論です。ミドルマネージャーにとって、この本はエンタープライズデータガバナンスに協力するためのプログラムガイドです。データマネージャーにとって、この本は、データガバナンスプロジェクトのデータガバナンスにおけるさまざまな技術ソリューションとツールのマニュアルであり、企業があらゆる面で高品質のデータガバナンスを実施するように効果的に導くことができます。