ビッグデータ運用システム（ビッグデータガバナンス管理・運用システムデータガバナンスプラットフォーム構築計画（PPT））

ビッグデータガバナンス管理・運用システム データガバナンスプラットフォーム構築計画（PPT）

インターネットから入手したもので、コミュニケーションと学習を目的としています。権利侵害がある場合は、すぐに削除するようご連絡ください。詳細については、公式アカウントをご覧ください：Youxiang Think Tank

ビッグデータの時代において、組織は一般的にデータの多様性、統一された標準の欠如、統合の難しさなどに直面しています。データが分散し、情報の孤島となり、共有が困難になります。データの品質が低いため、統計が不正確になるなど多くの問題が発生します。迅速なビジネス開発を推進できるようにデータ リソースを効果的に管理する方法が、データ ガバナンス製品の中核的な価値となっています。
データ ガバナンス プラットフォームは、分析システムにおけるデータ処理のすべてのプロセスに適用できます。データ処理と、処理中のデータ標準、メタデータ、データ品質の管理を担当します。このプラットフォームは、データ入力、データ処理、データ出力など、データフロー図の各プロセスに対して完全なライフサイクルと完全なプロセスデータ処理を提供し、データ処理プロセス全体を通じてデータガバナンスとデータ制御のワンストップソリューションを提供します。

1. 標準化された工場

データガバナンス製品は、合理化されたデータ生産ラインの構築を核として、組織向けのユニバーサルデータファクトリーを構築するというコンセプトで設計されており、組織が「データ原材料」から「データ」への変換を迅速に実現するのに役立ちます。 「データ製品」へ プロセス全体の処理、価値変換、標準化された管理。

2. 4つのガバナンス原則

3. 5つのガバナンス基準

ファクトリベースのデータ処理: 「極めて高速、低コスト、高品質」という要件を持つビジネス部門のパーソナライズされたデータ ニーズに対応するには、データ処理作業をファクトリ ベースで構築および管理する必要があります。

データ モデルの標準化:データ モデル要件はデータ ガバナンス プラットフォームを通じて厳密に実装され、標準を満たさないデータ モデルがシステムに表示されないようにします。

データガバナンスの製品化:データガバナンスの結果と内容は、厳密に実行するために実用的な IT 手段を通じてシステムに実装する必要があります。

データのセキュリティと制御可能性:セキュリティの重要性と必要性​​を反映し、データ サービスの開設プロセス中にシステム データとデータのセキュリティと制御可能性を確保します。

すべての人のためのデータ運用： 「プラットフォーム化とオープン化」の理念を反映し、データのオープン性の可視化を向上させ、誰もがデータガバナンス、データ構築、データの運用と保守に参加できるようにします。

4. 3つの主要な実施戦略

システム制御:

1) プロセス全体を通じてデータを可視化、管理、制御可能にし、ビジネスおよび技術コミュニケーションのコストを最小限に抑える理論とメカニズムがあります。

2) データのライフサイクル管理を完全に実現するための理論とメカニズムが存在する。

3) 開発管理基準やデータ管理基準の厳格な実施を低コストで実現するための理論とメカニズムがある。

4) システム構築時の監視や問題解決を低コストで実現する理論や仕組みがある。

5) システムの監視と保守を担当する第三者の独立した規制サプライヤーを導入する理論とメカニズムがあります。

品質管理:

1) ビジネスメタデータと技術メタデータの一貫性を確保するための理論とメカニズムがあります。

2) メタデータとデータ処理リンクの一貫性を確保するための理論とメカニズムが存在する。

3) 歴史的経験に基づいた警報メカニズムがある。

4) 問題箇所の特定や修復コストの最小化など、従来のスケジューリングが直面する困難な問題を低コストかつ効率的に解決する理論とメカニズムが存在します。

ナレッジマネジメント:

1) ドキュメントと実装の一貫性を確保するメカニズムがある。

2) ドキュメントシステムへの依存度を低く抑える仕組みがある。

データガバナンスプラットフォームの技術アーキテクチャ

工場のようなデータ処理および管理モデルを採用し、データ生産計画、データ生産実行、データ生産管理の3つのサブモジュールを通じて、データ処理プロセス全体の透明性と制御性を確保し、ツールベース、プロセスベース、自動化された開発、運用と保守、管理を実現し、データ開発と生産の効率を向上させ、システムの健全で継続的かつ安定した開発を維持します。

さまざまなコンポーネントを提供し、コンポーネントのドラッグアンドドロップによるデータ生産ラインの迅速な形成をサポートし、アプリケーション開発サイクルの短縮、アプリケーション開発コストの節約、アプリケーション開発品質の向上、ユーザーがデータモデルの開発とデータ処理をより迅速に完了できるように支援します。

コンポーネントは疎結合アーキテクチャを採用し、カスタム拡張をサポートします。機能コンポーネント、テンプレート コンポーネント、管理および制御コンポーネントの 3 つのタイプに分かれています。

2. メタデータ管理

メタデータ管理機能を提供し、開発プロセスで蓄積されたさまざまなメタデータ情報を取得・管理し、オープンなビューを提供することで、管理者、業務担当者、技術担当者がシステムを迅速かつ正確に理解することをサポートします。また、データ品質管理、セキュリティ管理、アプリケーション最適化、アプリケーション開発などの機能もサポートします。

3. データ処理

さまざまなデータ生成環境に応じて異なるデータ処理機能を備えており、独自のニーズに応じてプラットフォームに基づいて独自のデータ処理機能を拡張できます。データ ガバナンス プラットフォームは、データの収集、処理、読み込み、配布、検証など、さまざまなデータ処理機能の開発機能を提供します。

標準のオープンソース Hadoop インターフェースを呼び出す機能と、カスタマイズされた Hadoop インターフェースをカプセル化する機能を備えています。

4. 品質管理

このプラットフォームは、設計、開発から運用までのデータ品質管理機能と、データソース、データ処理、データ出力までの全プロセス監視機能を提供します。

5. 統一されたスケジュール

データ層とアプリケーション層でのタスク スケジューリングのための統合されたスケジューリング管理を提供します。

統一されたスケジューリングでは、各タスクがデータ オブジェクトであり、タスクの前後関係はメタデータの系統関係に従って厳密にスケジュールされ、ソースからターゲットまでのプロセス全体を通じてメタデータの系統とデータ スケジューリングの一貫性が実現されます。

統合スケジューリングでは、スケジューリング関係管理、スケジューリングサイクル管理、スケジューリングステータス管理、およびスケジューリングリソース管理を実行できます。