Python 運用データ分析 (Python データ分析)

Python データ分析

ではデータ分析とは何でしょうか?名前が示すように、データ分析はデータに分析を加えたものです。 「データ」とは、観察、実験、計算などを通じて得られた結果である数値です。データには多くの種類があります。最も単純なのは数字です。データは、テキスト、画像、音声などにもなり得ます。データは、科学的研究、設計、検証などに使用できます。「分析」とは、研究対象全体をさまざまな部分、側面、要因、レベルに分割し、個別に調査する認知活動です。分析の意義は、問題を解決できる主な糸口を注意深く見つけ、それを利用して問題を解決することにあります。したがって、データ分析とは、適切な統計分析手法を使用して、収集された大量のデータを分析し、有用な情報を抽出して結論を​​導き出し、詳細な調査を実施してデータを要約するプロセスです。

このプロセスは品質管理システムをサポートするプロセスでもあります。実際のアプリケーションでは、データ分析は人々が判断を下し、適切な行動をとるのに役立ちます。データ分析の数学的基礎は 20 世紀初頭に確立されましたが、実用的な操作が可能になり、データ分析が広く普及したのはコンピュータの登場によってからでした。データ分析は数学とコンピューターサイエンスの組み合わせによって生まれます。データ分析を一言で定義すると、データ分析は、データを使用して合理的に考え、意思決定を行うプロセスであると考えることができます。

分離されたデータは意味がありません。実際のビジネスに投入されて初めて価値を生み出すことができます。では、データ分析は具体的に何のために使用するのでしょうか?哲学には三つの究極の問いがあります。「私は誰か？」私はどこから来たのでしょうか？どこへ行くの？同様に、データ分析の目標もこれら 3 つの質問に答えることです。

（１）私は誰か：過去に何が起こったか。

あなたがどこにいるか分からないのなら、地図を渡しても意味がありません。企業にとっての最初の仕事は、過去に何が起こったかを理解することです。電子商取引サイトを例にとると、企業は新規ユーザー登録、ユーザーの再購入、倉庫在庫、流通、収益などの運用指標を把握し、これらの指標を提供して会社の運営を測定し、現在のビジネスが良いのか悪いのか、どの程度良いのか悪いのかを示す必要があります。企業は、業務指標の監視に加えて、各事業の構成、発展、変化を把握する必要もあります。 「私は誰か」というデータ分析は、通常、日次、週次、月次レポートの形式で提示されます。時には、企業はTmallの「双十一」イベント期間中の売上、注文、速達などのリアルタイム表示など、業務をリアルタイムで把握する必要もあります。

（２）私はどこから来たのか：帰属。

「私は誰か」という問いは現状の問題を解決するので、「私はどこから来たのか」という問いは、なぜそうなっているのかという問題の帰属を解決することが必要です。現状分析により、会社の現在の業務について大まかに把握できましたが、最近ユーザー離脱が発生しているにもかかわらず、なぜ収益が増加したのでしょうか。最近配達がいつも遅れるのはなぜですか？最近、顧客満足度が低下しているのはなぜでしょうか?これはデータ分析が解決する必要がある 2 番目の問題、つまり問題の原因を見つけることです。

（３）私はどこへ行くのか：予測。

「私はどこへ行くのか」は、単に将来何が起こるかを伝えます。一方で、当社は企業の現在の運営状況を把握することで将来の発展の傾向を予測し、企業の持続的かつ健全な発展を確保するための企業運営目標と戦略を策定するための有効な参考資料と意思決定の基盤を提供します。一方で、顧客行動をリアルタイムに予測し、顧客に対して精密なマーケティングを実施したり、商品をショッピングカートに追加した後の顧客の次の行動を推測したりする必要もあります。同様の予測は数多くあります。例えば、一部の外資系銀行では、求人検索サイトに掲載されている求人数をもとに就職率を推測しています。米国疾病予防管理センターは、インターネットユーザーの検索に基づいて、インフルエンザなどの病気の世界的な蔓延を分析しています。これらはすべて未知の予測です。

一般的なデータ分析またはビジネス分析 (ビジネス分析) は、次の 3 つのカテゴリに分類されます。

記述的分析: 何が起こったか?

予測分析: 何が起こるでしょうか?

処方的分析: 何をすべきか?

記述分析は、従来のデータ分析の主な応用分野です。主に使用されるテクノロジーには、データ ウェアハウス ベースのレポート、多次元オンライン分析処理などがあります。ビジネスで何が起こったかを理解し、データ内のパターンを見つけるために、さまざまなクエリが使用されます。例えば、今月の特定のカテゴリーの商品の販売量はいくらか、顧客の平均注文額はいくらか、顧客維持率はいくらか、などです。

予測分析は主にビッグデータに基づいており（実際、従来のデータ ウェアハウスやデータベースに基づくこともできます）、さまざまな統計手法とデータ マイニング手法を使用して、ビジネスのさまざまな側面で何が起こるかを予測します。たとえば、過去数年間の時系列売上データに基づいて来年の売上を予測します。クラスター分析、分類分析、ロジスティック回帰などの手法に基づいて顧客の信用格付けを予測する。関連性分析に基づいて、さまざまな製品の組み合わせによる販売効果を予測します。現在、データマイニング技術を含むビッグデータにおけるすべての一般的な統計アプリケーションは、予測分析に分類できます。

処方的分析は翻訳が難しい言葉です。これは通常、規範的分析と翻訳されますが、やや混乱を招きます。このタイプの分析の本質的な意味は、最良の結果を得るためにユーザーが何をすべきかを伝えることです。したがって、これを「分析を導く」と訳す方が適切です。意思決定分析とも訳されます。これは主にオペレーションズ・リサーチ手法の使用、つまり数学モデルやインテリジェントな最適化アルゴリズムを使用して、企業が取るべき最善の行動に関する提案を行うことを指します。たとえば、利益を最大化するために商品の最適な価格を決定するために数学モデルが使用されます。たとえば、Web ページ上の最適な広告レイアウト、製造会社の最適な生産スケジュール、最適な労働スケジュールなどを実現する方法などです。記述的分析と予測的分析に焦点を当てます。

データ分析は統計分析と切り離せません。統計的な観点から見ると、一般的なデータ分析手法は次のカテゴリに分類できます。

記述的統計分析: 統計特性、統計表、統計グラフ、その他の方法を使用して、データの定量的特性とその分布パターンを測定および記述します。

確認的統計分析: 既存の仮説またはモデルの検証に重点を置きます。

探索的データ分析: データ内の新しい特徴や有用な隠れた情報を積極的に発見します。

記述統計分析とは、物事の全体的な状況や、物事間の相関関係、カテゴリー関係などを要約して記述するために使用される統計手法です。統計処理により、図 1 に示すように、いくつかの統計値を使用して、データセットの中心傾向、分散度、分布形状を簡単に表すことができます。

図1 記述統計分析

確認的統計分析は、データ モデルと研究仮説の検証です。パラメータ推定、仮説検定、分散分析は、確認的統計分析でよく使用される方法です。パラメータ推定とは、サンプル統計を使用して母集団のパラメータを推定することです。仮説検定はパラメータ推定に似ていますが、視点が異なります。パラメータ推定では、サンプル情報を使用して未知の母集団パラメータを推測しますが、仮説検定では、母集団パラメータの仮説値を提案し、サンプル情報を使用して仮説が有効かどうかを判断します。仮説検定は以下のように分けられます。

1サンプル仮説検定;

· 2標本平均比較仮説検定

· 対になったサンプルの平均を比較するための仮説検定。

ANOVA は、母集団のさまざまな推定値間の差を比較することによって、分散の正規母集団が同じ平均を持つかどうかをテストします。複数の要因間の差異の重要性をテストするための重要な統計分析手法です。一般的に使用される ANOVA 手法は次のとおりです。

一元配置分散分析

二元配置分散分析。

探索的データ分析 (EDA) とは、事前の仮定をできるだけ少なくして、グラフを描いたり、表を作成したり、方程式を当てはめたり、特徴量を計算したりするなどして、既存のデータの構造と規則を探索するデータ分析方法を指します。この方法は、1970 年代にアメリカの統計学者 J.K. テューキーによって提案されました。従来の統計分析方法では、多くの場合、まずデータが統計モデルに準拠していると想定し、次にデータサンプルに基づいてモデルのいくつかのパラメータと統計を推定して、データの特性を理解します。しかし、現実には、想定された統計モデルの分布に従わないデータが多く存在し、満足のいくデータ分析結果が得られないことがよくあります。探索的データ分析は、より実際の状況に沿った分析方法です。データが自ら語ることを重視します。探索的データ分析を通じて、データの構造と特性を真に直接的に観察することができます。探索的データ分析の登場後、データ分析プロセスは探索段階と検証段階の 2 つの段階に分かれます。探索フェーズでは、データに含まれるパターンまたはモデルの発見に重点が置かれ、検証フェーズでは、発見されたパターンまたはモデルの評価に重点が置かれます。多くの機械学習アルゴリズム (トレーニングとテストのステップに分かれています) はこの考え方に従います。データを入手したときに、データ分析の目的が明確でターゲットを絞っていないと、少し混乱してしまうかもしれません。現時点では、探索的なデータ分析を実施することがさらに必要です。これは、データの構造と特性を予備的に理解し、パターンやモデルを発見するのに役立ちます。業界の背景知識と組み合わせることで、有用な結論を直接得ることができるかもしれません。