ビジネスデータには何が含まれるのか（ビッグデータのデータ分類ガイド）

ビッグデータ: データ分類ガイド

ビッグデータ分類構造図

1. 分類プロセス

1. 概要

ビッグデータ分類プロセスは、上図に示すように、分類計画、分類準備、分類実施、結果評価、維持・改善の 5 つの段階に分かれています。

2. 分類計画

2.1 分類の観点の選択

分類の観点を選択するプロセスには以下が含まれます。

a) ビジネスシナリオを明確にし、分類する。

b) ビジネスシナリオに基づいて分類の観点を選択します。

2.2 作業計画を作成する

作業計画プロセスには以下が含まれます。

a) 分類されるデータの範囲を明確に定義する。

b) 採用すべき分類の次元と方法を明確にする。

c) 期待される分類結果を明確にする。

d) 分類作業の実施計画とスケジュールを明確にする。

e) 分類結果の評価方法を明確にする。

f) 分類結果システムの保守計画を明確にする。

3. 分類の準備

3.1 調査データの現状

データの現在の状態を調査するプロセスには以下が含まれます。

a) 状況に基づく調査データ（データのシナリオ、主題、方法、頻度、密度、合法性、コンプライアンスなどを含むがこれらに限定されない）。

b) データ内容の形式、保存方法、保存場所、保存容量等を含むがこれらに限定されない、データ保存の現状を調査する。

c) 調査データの品質（データの標準化、完全性、正確性、一貫性、適時性、アクセス可能性などを含むがこれらに限定されない）。

d) 組織の人事管理データ、運営データ、財務データなどの業種別調査データ。

e) 調査データの機密性（データの機密性、セキュリティ、保護の要件を含むがこれらに限定されない）

f) 研究データの応用（データの目的、応用分野、使用方法などを含むがこれらに限定されない）。

g) データ処理の適時性要件およびデータ価値の適時性を含むがこれらに限定されない、データの適時性を調査する。

h) 調査データの所有権（データの所有権、管理権、使用権を含むがこれらに限定されない）。

3.2 分類対象を決定する

分類オブジェクトを決定するプロセスには以下が含まれます。

a) データ分類のビジネスシナリオを決定する。

b) データ生成の開始時刻と終了時刻を決定する。

c) データ量を決定する。

d) データ生成の頻度を決定する。

e) データの構造的特性を決定する。

f) データの保存方法を決定する。

g) データ処理の適時性を決定する。

h) データ交換方法を決定する。

i) データのソースを特定する。

j) データフローの種類を決定する。

k) データの品質を決定する。

l) データの機密性を決定します。

3.3 分類次元の選択

分類ディメンションを選択するプロセスには以下が含まれます。

a) 分類の観点からデータの特徴を整理する。

b) データの特性に基づいて分類ディメンションを選択します。

3.4 分類方法の選択

分類方法を選択するプロセスでは、分類次元の順序と組み合わせを明確にする必要があります。

注: 混合分類方法を選択する場合は、どの分類ディメンションがメインのものであり、どの分類ディメンションが補足的なものであるかも考慮する必要があります。

4. 分類と実装

4.1 提案された実施プロセス

提案された実装プロセスは、ビッグデータのライフサイクルと組み合わせて、実装手順の明確化、実装作業の開始、実装作業の実行、実装プロセスの要約などを含むがこれらに限定されない、特定の分類実装プロセスを策定する必要があります。

4.2 開発ツールスクリプト

開発ツール/スクリプトは、実装プロセス、分類次元、分類方法に基づいて分類アルゴリズムを記述し、ソフトウェア開発者の仕様またはスクリプトコンパイルに従って分類ツール/スクリプトを開発する必要があります。

4.3 実装プロセスを記録する

実施プロセスを記録する 分類実施プロセスの各ステップとその分類結果を記録し、ドキュメントを出力することをお勧めします。

4.4 出力分類結果

出力分類結果では、各ステップの分類結果を整理して、データ分類テーブルを形成する必要があります。

5. 結果の評価

5.1 検証実施プロセス

以下の内容を含む実装プロセスを検証します。

a) データ分類表をチェックして、分類が妥当かどうかを判断します。

b) 分類プロセスの記録を確認し、分類結果と期待される目標との間の偏差の程度を明らかにする。

c) 分類ディメンションをチェックして、ビジネス要件と分類目標を満たしていることを確認します。

d) 分類方法の合理性を確認する。

e) 検証結果に基づいてビッグデータ分類プロセスを調整します。

5.2 関係者へのインタビュー

関係者へのインタビュー:

a) データ分類の実行者にインタビューし、分類の観点、範囲、次元、方法、ビジネスシナリオとの関連性について質問する。

b) データ所有者にインタビューし、データ分類結果におけるデータ所有権分類と頻度分類が実際の状況と一致しているかどうかを尋ねる。

c) データ管理者にインタビューし、データ分類結果におけるデータ構造分類、データ保存方法分類、スパース性分類、感度分類などが実際の状況と一致しているかどうかを調査する。

d) データ利用者にインタビューし、データ処理リアルタイム、交換モード、業務帰属、流通タイプなどの分類結果が実際の適用状況と一致しているかどうかを質問する。

e) 一般的な問題と課題を確認し、ビッグデータ分類プロセスを調整します。

5.3 テスト分類結果

テスト分類結果には以下が含まれます:

a) 分類されたデータに対して分類スクリプトまたはプログラムを実行し、分類戦略に準拠しない分類結果があるかどうかを確認します。

b) コメントと問題を確認し、ビッグデータ分類プロセスを調整します。

6. 保守と改善

6.1 変更管理

変更管理には以下が含まれます:

a) 変更の必要性と合理性を分析し、変更を実施するかどうかを決定する。

b) 変更計画を策定し、分類次元および分類方法の変更を含むビッグデータ分類作業に対する変更の影響を評価する。

c) 変更を実行し、分類結果を修正し、変更プロセスを記録する。

d) 新しいビッグデータ分類結果を評価する。

e) 新しいビッグデータ分類結果を公開する。

6.2 定期評価

定期的な評価には以下が含まれます:

a) ビッグデータの分類の次元と方法の合理性を定期的に評価し、ビジネスシナリオや分類の観点の変化と一致しているかどうかを確認する。

b) ビッグデータ分類結果の有効性と応用性を定期的に評価し、ビジネスアプリケーション要件の更新を満たしているかどうかを確認する。

c) コメントと問題を確認し、ビッグデータ分類プロセスを調整します。

2. 分類の観点

1. 概要

ビッグデータの分類の観点は、技術選択の観点、ビジネスアプリケーションの観点、セキュリティとプライバシー保護の観点に分かれています。

2. 技術選択の観点

技術選択の観点には、以下のものが含まれますが、これらに限定されません。

a) データ生成頻度を明確にし、データ生成ルールを明確にし、データ更新サイクルとストレージ戦略を決定し、データストレージプラットフォーム構成などのストレージリソース割り当て計画を決定します。

b) データがどのように生成されるかを明らかにし、データのソースと品質を分析し、データ処理プロセス全体におけるデータの位置、およびデータ処理および保存技術を決定する。

c) データの構造的特性を分析し、データの保存および処理ソリューションを決定する。

d) データの保存方法を明確にし、データモデリングモデルとデータアクセス方法を決定し、さまざまなデータアプリケーションシナリオをサポートします。

e）データの疎性と密度の程度を明らかにし、データの疎性と密度の法則を明らかにし、データ保存戦略と分析方法を決定し、データ保存計画と分析計画を選択する。

f) データ処理の適時性要件を明確にし、データ処理のタイミングを明確にし、データ処理戦略を決定し、コンピューティングプラットフォームとリソースのマッチングを含むデータ処理ソリューションを選択する。

g) データ交換方法を明確にし、データ共有方法と戦略を決定し、情報交換システムの構築を支援する。

3. ビジネスアプリケーションの観点

ビジネス アプリケーションの観点 (以下を含むがこれに限定されない):

a) データのソースを明確にし、データの所有権とアクセス権を明確にし、データの追跡とトレースを容易にする。

b) データ適用シナリオを明確にし、データビジネステーマを決定し、データ適用価値を判断し、データ分析ソリューションを選択する。

c) データ配信シナリオを明確にし、データ適用産業を決定し、利用可能なデータの種類と範囲を明確にする。

d) データ品質の状況を明確にし、データ適用要件を定義し、データ品質管理計画を決定します。

4. セキュリティとプライバシー保護の観点

セキュリティとプライバシー保護の観点（ただし、これらに限定されません）：

a) 機密性の異なるレベルのビッグデータの保存、送信、アクセス、配布に関するセキュリティ要件を明確にする。

b) 機密性の異なるビッグデータに対するプライバシー保護要件を明確にする。

c) 分類機関がプライバシー保護計画を策定するよう指導する。

d) 分類機関が安全管理計画を策定できるように指導する。

3. 分類の次元

1. 概要

この記事では、テクノロジの選択、ビジネス アプリケーション、セキュリティとプライバシーの保護という 3 つの観点からさまざまな分類ディメンションを示し、各分類ディメンションの説明に使用される分類要素、データ カテゴリ、適用可能なシナリオについても説明します。

2. 技術選択の次元

2.1 発生頻度による分類

2.1.1 概要

発生頻度による分類とは、データの発生頻度（単位時間あたりに発生するデータ量、または規定のデータ量に達する頻度）に応じてデータを分類することです。

2.1.2 分類要素

発生頻度によって分類される要素は次のとおりです。

a) 秒、分、時間、日、週、月、四半期、半年、年などのデータ生成サイクル。

b) 単位サイクルで生成されるデータの量は、数百万レコード、数千万レコード、GB レベルのデータ、TB レベルのデータなど、レコード数またはデータが占めるスペースで表すことができます。

2.1.3 カテゴリー

データ生成頻度に基づいてリソース割り当ての合理性やデータ分析の価値を判断するなど、生成頻度別に分類された応用シナリオ。

2.1.4 適用可能なシナリオ

データ成果物の頻度に基づいてリソース割り当ての合理性やデータ分析の価値を判断するなど、生成頻度別に分類した適用シナリオ。

2.2 生成方法による分類

2.2.1 概要

生成方法による分類とは、データが生成される方法に応じてデータを分類することを意味します。

2.2.2 分類要素

生成方法によって分類される要素は次のとおりです。

a) データの取得または収集方法（手動収集、情報システムを通じた収集など）。

b) 元データ、二次加工データなど、データが加工された度合い。

2.2.3 カテゴリー

生成方法による分類には、手動で収集されたデータ、情報システムによって生成されたデータ、センシングデバイスによって生成されたデータ、生データ、二次処理されたデータなどが含まれます。

2.2.4 適用可能なシナリオ

データ収集計画、データ保護計画、データ処理計画の決定など、生成方法別に分類された適用可能なシナリオ。

2.3 構造的特徴による分類

2.3.1 概要

構造化された特徴による分類とは、データの構造の程度に応じてデータを分類することを指します。

2.3.2 分類要素

構造特性によって分類される要素には以下が含まれます。

a) 事前定義されたデータ モデルはありますか?

b) データ構造が規則的であるかどうか。

c) データ長が標準化されているかどうか

d) データ型が固定されているかどうか。

2.3.3 カテゴリー

構造化特性に応じて、小売、金融、バイオインフォマティクス、地理データなどの構造化データに分類できます。画像、ビデオ、センサーデータ、Web ページなどの非構造化データ。アプリケーション システム ログ、電子メールなどの半構造化データ。

2.3.4 適用可能なシナリオ

データ構造に基づいたデータ処理やストレージ構造の計画など、構造化された機能によって分類された適用可能なシナリオ。

2.4 保管方法による分類

2.4.1 概要

保存方法による分類とは、データに適したデータの保存方法に応じてデータを分類することです。

2.4.2 分類要素

保存方法によって分類される要素には以下が含まれます。

a) データモデリング：リレーショナルモデル、ドキュメントモデル、グラフモデルなど、使用に適したデータモデル。

b) SQL、SQLライク、グラフクエリ言語など、データアクセスに使用されるクエリ言語。

2.4.3 カテゴリー

保存方法によって、リレーショナルデータベース保存データ、キーバリューデータベース保存データ、列指向データベース保存データ、グラフデータベース保存データ、ドキュメントデータベース保存データなどに分けられます。

2.4.4 適用可能なシナリオ

データ保存に使用するデータベースシステムの選択、アプリケーションシステムとデータ保存システム間のデータアクセス方法の決定など、保存方法別に分類された適用可能なシナリオ。

2.5 スパース性による分類

2.5.1 概要

スパース性による分類とは、データのスパース性または密度に応じてデータを分類することを指します。

2.5.2 分類要素

スパース性によって分類される要素には、主にデータスパース性の評価基準、つまりデータセット内の欠損データまたはゼロデータの割合が含まれます。ヌル値またはゼロ値が 50% 未満の場合、データは密なデータであり、ヌル値またはゼロ値が 50% 以上の場合、データはスパース データです。

2.5.3 カテゴリー

疎性の度合いに応じて、密なデータと疎なデータに分けられます。

2.5.4 適用可能なシナリオ

単位時間あたりのデータの大きさに基づいてデータ値の密度を分析および判断するなど、スパース性によって分類された適用可能なシナリオ。

2.6 処理の適時性による分類

2.6.1 概要

処理の適時性による分類とは、データ処理の時間遅延要件に従ってデータを分類することを意味します。

2.6.2 分類要素

処理の適時性によって分類される要素は次のとおりです。

a) データ処理遅延時間要件、つまり、アプリケーションシナリオに処理遅延時間に対する明確な上限要件があるかどうか。

b) データ価値の適時性、すなわち、時間の経過に伴うデータ応用価値の有効性。

c) データ処理量、つまり遅延の上限内で処理する必要があるデータの量。

2.6.3 カテゴリー

処理の適時性に応じて、リアルタイムデータ処理、準リアルタイムデータ処理、バッチデータ処理に分けられます。

2.6.4 適用可能なシナリオ

データの適時性要件に応じて業務シーケンスやリソース投資を調整するなど、処理の適時性によって分類された適用可能なシナリオ。

2.7 交換方法による分類

2.7.1 概要

交換方法による分類とは、提供者と受信者の間でデータが交換される方法によってデータを分類することを指します。

2.7.2 分類要素

交換方法によって分類される要素は次のとおりです。

a) データを交換する両当事者間のネットワークの状態、つまり、両当事者間のネットワークが相互運用可能であるかどうか。

b) 交換の両当事者間のデータの同期およびリアルタイム要件。

c) 単一のトランザクションで交換されるデータの量。

d) データ交換の頻度（固定頻度交換、固定周波数交換、固定時間交換、オンデマンド交換など）。

2.7.3 カテゴリー

交換方式によって、ELT方式、システムインターフェース方式、FTP方式、モバイルメディアコピー方式などに分けられます。

2.7.4 適用可能なシナリオ

さまざまな交換方法がビッグデータ共有の利便性に与える影響に基づいて情報交換システムのアーキテクチャを計画するなど、交換方法別に分類された適用可能なシナリオ。

3. ビジネスアプリケーションの次元

3.1 情報源による分類

3.1.1 概要

ソースによる分類とは、データが生成された実際のコンテキストに基づいてデータを分類することを指します。

3.1.2 分類要素

発生源別に分類される要素には次のものがあります。

a) 人間、機械、センサー、アプリケーションソフトウェア、情報システムなどのデータ生成主体。

b) データ所有権、つまりデータの所有権。

3.1.3 カテゴリー

生成元によって、ソーシャルデータ、電子商取引プラットフォーム取引データ、モバイル通信データ、モノのインターネット知覚データ、システム操作ログデータなどに分類できます。

3.1.4 適用可能なシナリオ

データ収集戦略の決定、データソースに基づくサービス提供とデータ取引価格の予測など、ソース別に分類された適用可能なシナリオ。

3.2 業種別分類

3.2.1 概要

業種別分類とは、データが属する業種ごとにデータを分類することです。

3.2.2 分類要素

事業所属別に分類される要素には次のものがあります。

a) 分類対象事業体の事業形態の分類（生産事業、管理事業、経営分析事業など）

b) 製品開発、マーケティング、財務管理、人事管理など、データを生成するビジネス機能。

c) 商品取引、会員登録、人材採用等のデータを生成する特定のビジネス。

3.2.3 カテゴリー

業務所属別に、生産業務データ、管理業務データ、運用分析業務データなどに分類できます。

3.2.4 適用可能なシナリオ

業務属性によるデータ適用価値の評価など、業務所属別に分類した適用シナリオ。

3.3 循環型による分類

3.3.1 概要

流通種別による分類とは、流通取引処理におけるデータの取引種別に基づいて分類することをいいます。

3.3.2 分類要素

循環タイプ別に分類された要素には以下が含まれます:

a) データの権利と責任、すなわち、所有権、配布権、使用権、複製権など、データ要求者が取得できるデータの権利と利益。

b) 課金方法、すなわち、使用量に応じた課金、使用期間に応じた課金など、データ供給者とデータ需要者間のデータ取引料金の計算方法。

c) 配信コンテンツ、すなわち、データ供給者がデータ需要者に提供するデータコンテンツ（元のデータセット、データ分析レポートなど）。

d) 産業テーマ、すなわち、農業、林業、医療、運輸、科学研究など、流通データが属する産業分野。

e) 機密性、つまり流通するデータが国家機密、業界コード、企業コード、または個人のプライバシー（公開データ、非機密データ、機密データなど）に関係するかどうか。

3.3.3 カテゴリー

流通タイプに応じて、直接取引可能なデータ、間接取引可能なデータ、非取引可能なデータなどに分類できます。

3.3.4 適用可能なシナリオ

ビッグデータ分析やビッグデータ取引を事業内容とする企業向けの商品企画など、流通形態別に分類した適用シナリオ。

3.4 産業分野別分類

3.4.1 概要

業種分野別分類とは、データの内容が属する業種分野に応じてデータを分類することです。

3.4.2 分類要素

業界セクター別に分類される要素は次のとおりです。

a) データ生成産業、すなわち、データ生成活動が属する国家経済部門。

b) データ応用産業、すなわち、データの分析および利用の活動が属する国民経済産業。

3.4.3 カテゴリー

産業分野別に分けられるカテゴリはGB/T 4754-2017に示されています。

3.4.4 適用可能なシナリオ

公安、気象、水文学などの業界におけるビッグデータ分析など、業界分野別に分類された適用シナリオ。

3.5 データ品質による分類

3.5.1 概要

データ品質による分類とは、データ品質の違いに応じてデータを分類することを意味します。

3.5.2 分類要素

データ品質によって分類される要素は次のとおりです。

a) データの正確性、すなわち、データが異常、誤り、または古くなっているかどうか。

b) データの完全性、すなわち、データが欠落しているかどうか、および欠落しているデータの程度。

c) データの一貫性、つまりデータの内容が統一された標準に準拠しているかどうか。

d) データの適時性、つまり、必要なデータが適切なタイミングで対象アプリケーションに到達するかどうか。

e) データの再現性、つまり重複データが大量にあるかどうか。

3.5.3 カテゴリー

データの品質に応じて、高品質データ、普通品質データ、低品質データなどに分類できます。

3.5.4 適用可能なシナリオ

異なるデータ品質の割合に基づいてデータ活用の価値やデータ品質管理の難易度を判断するなど、データ品質別に分類された適用可能なシナリオ。

4. セキュリティとプライバシー保護の側面

4.1 概要

データセキュリティとプライバシー保護の次元による分類は、データ内容の機密性に応じてデータを分類することです。

4.2 分類要素

セキュリティとプライバシー保護の次元によって分類される要素は次のとおりです。

a) データの機密性、すなわち、データ自体またはその派生データが国家秘密、企業秘密または個人のプライバシーに関係するかどうか。

b) データの機密性、すなわちデータが知られる範囲。

c) データの重要性、すなわち、データの不正な開示、紛失、乱用、改ざん、破壊によって国家安全保障、企業の利益、国民の権利と利益に及ぼされる損害の程度。

4.3 カテゴリー

データセキュリティとプライバシー保護の次元に応じて、高機密データ、低機密データ、非機密データなどに分類できます。

4.4 適用可能なシナリオ

データ コンテンツの機密性に基づいて、ビッグ データ アプリケーションの境界、データ保護戦略、データ感度低下ソリューションなどを決定するなど、セキュリティとプライバシー保護の次元によって分類された適用可能なシナリオ。

4. 分類方法

1. 線分類法

1.1 概要

行分類の目的は、分類オブジェクト（つまり、この標準で定義されているデータ）を、選択されたいくつかの属性または特性に従っていくつかのレベルに分類することであり、各レベルはいくつかのカテゴリに分割されます。同じブランチ内の同じレベルのカテゴリは並列関係を形成し、異なるレベルのカテゴリは従属関係を形成します。同じレベルのカテゴリは繰り返されたり重複したりしません。

線分類法は、カテゴリの分類に単一の分類ディメンションのみが選択されるシナリオに適しています。

1.2 分類カテゴリー間の関係の決定

線分類を使用して分類カテゴリ間の関係を決定するプロセスには、次のものが含まれます。

a) 分類次元を決定する。

b) 分類次元の分類カテゴリーを決定する。

c) 各分類カテゴリについて：分類カテゴリをさらにサブカテゴリに分割する必要がない場合は、手順 d) に進みます。それ以外の場合は、分類カテゴリを細分化するための分類次元を決定し、手順 b) に進みます。

d) すべての分類カテゴリをさらに細分化する必要がなく、分類カテゴリ間の関係が決定されます。

注: 上記のプロセスが完了すると、分類カテゴリ関係ツリーが形成されます。ツリーのノードは最終的な分類項目であり、通常は基本カテゴリと呼ばれます。残りのノードは中間カテゴリです。

1.3 特徴

行分類の特徴は次のとおりです。

a) カテゴリ間の論理的な関係をより適切に反映できる適切な階層構造。

b) 実用的かつ便利であり、機械が情報を容易に処理できる。

c) 構造の柔軟性が低い。分類構造は一度決定されると変更が困難です。

d) 効率が低い。分類レベルが多いと、データ処理速度に影響します。

2. 顔の分類

2.1 概要

顔分類法は、選択された分類オブジェクト（つまり、標準で定義されたデータ）を、その固有の属性または特徴に従って、互いに関連のない独立した顔に分割することです。各面には一連のカテゴリが含まれています。複合カテゴリは、特定の面のカテゴリと 1 つ以上の他の面のカテゴリを組み合わせることによって形成されます。

顔分類は並列分類方法であり、同じレベルで複数の分類次元が存在する場合があります。顔分類法は、カテゴリの分類に複数の分類次元を同時に選択するシナリオに適しています。

2.2 分類カテゴリー間の関係の決定

顔分類を使用して分類カテゴリ間の関係を決定するプロセスには、次のものが含まれます。

分類オブジェクトのいくつかの特徴的な面、すなわち分類面を構成する分類次元を決定します。

分類ファセットの順序を決定します。分類ファセットは、分類ディメンションの重要性または使用頻度に応じて左から右に並べ替える必要があります。

分類次元ごとに分類カテゴリを分割します。各分類次元の分類ルールを決定し、このルールに従って各分類次元の分類カテゴリを分割します。

2.3 特徴

顔分類の特徴は次のとおりです。

a) 柔軟性が高く、1 つの「表面」内のカテゴリの変更は他の「表面」に影響を与えません。

b) 適応性が高く、ニーズに応じてあらゆるタイプに形成できます。

c) カテゴリの追加や変更が簡単

d) 組み合わせることができるカテゴリは多数ありますが、実際に使用できるカテゴリは多くありません。

3. ハイブリッド分類

3.1 概要

ハイブリッド分類法は、線分類と面分類を組み合わせて、これら 2 つの基本方法の欠点を克服し、より合理的な分類を実現します。混合分類の特徴は、分類方法の 1 つを主とし、もう 1 つを補助として用いることです。ハイブリッド分類方法は、1 つの分類ディメンションを使用して大きなカテゴリを分割し、別の分類ディメンションを使用して小さなカテゴリを分割するシナリオに適しています。

3.2 特徴

ハイブリッド分類アプローチの利点は次のとおりです。

a) 2 つの分類方法の利点を活かし、実際のニーズに応じて 2 つの分類方法を柔軟に構成できます。

b) 網羅性が高く、属性や特性が不明瞭なデータの分類に適しています。