Data analysis

データ分析とは

データの識別、クリーニング、変換、モデリングを行って意味のある有用な情報を検出するプロセス

データ分析のカテゴリ

• 記述的
• 診断的
• 予測的
• 処方的
• 認知的

記述的分析

履歴データに基づいて、何が起きたか

• 大規模なデータセットを要約
• KPI (主要業績評価指標) を開発することにより、これらの戦略を使用して、主要な目的の成功または失敗を追跡する
• e.g. 組織の売上と財務データを把握するためのレポートの生成

診断的分析

イベントがなぜ発生したか

• 記述的分析から得られた結果を利用して、原因を究明
• 業績評価指標を詳細に調べて、これらのイベントが改善された、または悪化した原因を究明
• e.g. データの異常を特定 → 関連データ収集 → 統計的技法を使用して異常を説明する関係や傾向を見つけ出す

予測的分析

目標またはターゲットを達成するためにどのアクションを実行する必要があるか

• 処方的分析から得られた分析情報を使用して、データ ドリブンの意思決定を行う
• 過去の意思決定やイベントを分析して、さまざまな結果の可能性を推定する

認知的分析

既存のデータやパターンから推論を引き出し、既存のナレッジベースに基づいて結論を導き出した後、将来の推論 (自己学習のフィードバック ループ) のために、これらの結論をナレッジ ベースに追加する

• 状況が変化した場合に何が発生する可能性があるかを理解し、そのような状況にどのように対処するかを決定するサポートとなる
• 推論は、ルール データベースに基づく構造化クエリではなく、複数のソースから収集され、さまざまな信頼度で表現される非構造化仮説
• e.g. 自然言語処理の概念を使用して、コールセンターの会話ログや製品レビューなどのデータソースの意味を解明する

データ分析のタスク

• 準備
• モデル
• 視覚化
• 分析
• 管理

準備

データのモデル化と視覚化に備えて、データのプロファイル、クリーニング、変換を行うプロセス

• データの整合性の確保
• 不正確なデータの修正
• 欠落データの特定
• データの構造や種類の変換
• データを読みやすくする処理
• データの匿名化

モデル(データモデリング)

テーブルを相互に関連付ける方法を決定するプロセス

メトリックスを定義し、カスタムの計算を追加してデータを充実させることで、モデルを拡張する

視覚化

視覚化タスクの最終的な目的は、ビジネス上の問題を解決すること

データの意味を理解するのに役立ち、正確で重大な意思決定を行うことができるようにする

分析

レポートに表示される情報を理解および解釈する

• 分析情報の検出
• パターンと傾向の特定
• 結果の予測

管理

コンテンツの適切な管理と共有

• データ資産の管理
• レポートやダッシュボードなどのアイテムの共有と配布の監視
• データ資産のセキュリティの確保