ビッグデータ運用管理（ビッグデータガバナンス管理と運用システムデータガバナンス総合ソリューション（PPT））

ビッグデータガバナンス管理および運用システムデータガバナンス全体ソリューション（PPT）

インターネットから入手したもので、コミュニケーションと学習を目的としています。権利侵害がある場合は、すぐに削除するようご連絡ください。詳細については、公式アカウントをご覧ください：Youxiang Think Tank

狭義では、データ ガバナンスとは、データ品質の管理とデータ自体への重点を指します。

広義では、データ ガバナンスとは、データの収集、クリーニング、変換などの従来のデータ統合およびストレージ作業に加え、データ資産カタログ、データ標準、品質、セキュリティ、データ開発、データ サービス、アプリケーションなど、データのライフ サイクル全体の管理を指します。データ ライフサイクル全体を通じて実行されるすべてのビジネス、技術、管理アクティビティは、データ ガバナンスの範囲内に含まれます。

データ ガバナンスの定義:データ ガバナンスは、企業や機関のデータ資産としてデータを適用および管理するための一連の管理メカニズムに重点を置いています。データの不整合を解消し、標準化されたデータアプリケーション標準を確立し、データ品質を向上させ、内部および外部のデータ共有を実現し、データを組織の貴重な資産としてビジネス、管理、戦略的意思決定に適用して、データ資産の価値を最大化できます。

ビッグデータリソースプラットフォーム全体の管理とアプリケーション開発のための統一された入り口です。

データ処理のコア機能を提供し、他の機能モジュールを接続および統合して、需要指向のデータ生成を完了します。これは、生データ リソースをデータ アプリケーション サービスに変換するための中心的なハブです。

これは、データ リソースとデータ資産の管理およびアプリケーション制御のための主要なインターフェイスです。

バッチデータ処理:データ収集プラットフォームのタスクスケジューリングにより、委員会や局のフロントエンドデータベースデータと構造化ファイルの変更がタイムスタンプに従って定期的に検出され、データ収集プラットフォームの分析を通じて増分データがデータレイクに抽出されます。

ストリーム データ処理: Kafka メッセージング システムはデータ レイクに独立して展開され、委員会または局によるプッシュまたは自動プルを通じてストリーミング データにアクセスします。

現在の抽出ステータス、抽出の進行状況、切断アラーム、一貫性テストの結果などのリアルタイム監視を含む、抽出中のデータを監視し、分散展開を通じてデータ抽出速度を向上させます。

データ収集プラットフォームは、収集タスクを完了すると、開発およびスケジュール管理プラットフォームのライブラリ処理プログラムに通知して、スケジュールタスクを接続します。

データ サポート プラットフォームは、開発およびスケジュール管理プラットフォームがデータベース操作のスケジュールを実装するために呼び出すための JDBC インターフェイスを提供します。開発およびスケジュール管理プラットフォームは、ストリーム データ処理タスクをデータ サポート プラットフォームに公開します。

データ資産管理プラットフォームは、ライブラリ内処理および開発のためにモデル メタデータを開発スケジュール管理プラットフォームに同期するためのメタデータ同期インターフェイスを提供します。

データ スケジューリング プラットフォームは、関連するデータ アプリケーション計算を完了すると、ライブラリ テーブル データを外部で使用するためにデータ オープン プラットフォームにプッシュします。

プロバイダーのデータ供給責任に従って、アクセス データ リソースがカタログ化され、ビジネス属性と管理属性が維持され、初期のアプリケーション条件が満たされます。

データ標準に従ってデータ モデル構造とビジネス コードを設計し、変更管理とバージョン管理を確立してデータ モデルの管理と制御を実装します。

基本的なメタデータを通じてデータ資産の仕様 (ライブラリ テーブル、ファイル、フォルダー、インターフェイスなど) を定義し、統合プラットフォームを利用してリソース アクセスを実現します。