第1回：現代の企業が抱えるデータ管理の課題

今回は「第1回：現代の企業が抱えるデータ管理の課題」についてご紹介します。

関連ワード（データ統合の新潮流「データ仮想化」とは、ビッグデータ等）についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　データ統合は、さまざまなデータソースを組み合わせて、消費するアプリケーションに統一されたビューを提供するデータ管理の領域です。ただし過去20年間で、非構造化データが含まれるようになり、エンタープライズデータの状況は劇的に変化しました。同時に、組織によるクラウド技術の急速な進化と採用により、エンタープライズアーキテクチャーはさらに複雑になっています。

　データ管理におけるこれら全ての変化と、変化する市場の状況に迅速に対応するためのスピードと俊敏性に企業がどのように焦点を合わせているかを考えると、組織は柔軟なデータ統合技術を必要としています。

　データ仮想化は、データを複製することなくアプリケーションにリアルタイムなデータ統合ビューを提供する最新のデータ統合アプローチです。データ仮想化は、エンタープライズデータのランドスケープを証明し、新しいビジネスユースケースをサポートするための俊敏なデータプラットフォームを提供します。

　この連載では、現代企業の抱えるデータ管理の課題から従来型アプローチの落とし穴やデータファブリックの必要性と構築方法、データ仮想化によるデータセキュリティとガバナンス、そしてデータ仮想化を活用したクラウドイニシアチブの推進からデータ管理の未来について見ていきます。

　データ中心の組織は、差別化に成功し競争上の優位性を確立しています。従って、全ての組織は、さまざまな業務で生成されるデータを効果的に収集、保存、整理、分析できるデータ管理戦略を策定しておくべきでしょう。データ管理戦略の目的は、デジタルシステムにおけるデータを正確で利用しやすいものにすることです。

　しかし、クラウドやビッグデータといった新たなテクノロジーの急速な進歩や、過去のデータだけではなくリアルタイムなデータも要する変化の激しいビジネス要件を考慮すると、将来を見据えたデータ管理戦略の策定は非常に複雑な作業となります。

　加えて、データ保護やプライバシーに関する新たな規制の影響など、その他の種類の要件もBI（ビジネスインテリジェンス）システムなどに影響を及ぼします。現在では、個人を特定できる情報（PII：Personally Identifiable Information）を誰もが確認できるわけではありません。一部のデータは匿名化する必要があり、「忘れられる権利」（「削除権」「消去権」ともいわれる）を保障する必要もあります。

　データを提供する「工場」全体で透明性を高めるよう求めるビジネスユーザーや規制当局が増えており、これは、より新しいデータカタログやメタデータが必要とされていることを示しています。包括的なデータ管理戦略とそれを補完するデータアーキテクチャーを生み出すために考慮する必要のある、重要な課題の幾つかを見てみましょう。

リアルタイムデータアクセス：組織が市場の変化に素早く適応し、消費者行動のモニタリングや広告の最適化、製品の推奨といったリアルタイムアナリティクスのユースケースに役立てるには、リアルタイムデータにアクセスする必要があります。つまり、データは生成直後にユーザーが分析しなければならないということです。

　しかし、ほとんどの組織のデータアーキテクチャーは、リアルタイムアナリティクスをサポートするように設計されていません。BIやアナリティクスへの最も一般的なアプローチとして多くの組織が採用している方法では、複数のETL（抽出、変換、ロード）プロセスを用いて、ソースシステムからデータウェアハウスやデータレイクなどの中間ストレージソリューションにデータを複製する必要があります。

　このアプローチは通常のビジネスレポートには適していますが、リアルタイムアナリティクスのユースケースには対応していません。そのため、組織は従来の形のビジネスレポートと、リアルタイムアナリティクスやストリーミングアナリティクスなどの高度なアナリティクスの両方をサポートする代替アプローチを採用する必要があります。

ビッグデータ：高度なアナリティクスを行うために、組織はさまざまなビッグデータを保存して分析する必要があります。こうしたさまざまなビッグデータには、テキスト（契約書やソーシャルメディアのメッセージなど）、ボイスメッセージ（航空管制官とパイロットの会話など）、画像（事故による車の損傷など）、映像（監視カメラや、空港および小売店のカメラの映像など）が含まれますが、これらに限定されません。

　組織はまた、大量のデータが生成される新たなビジネスプログラムのモニタリングからデータを収集して保存したいとも考えています。さらに、ソースからリアルタイムなストリーミングアプリケーションにプッシュする必要のあるストリーミングデータの場合もあります。ウェアラブルデバイスやゲームプレーヤーのアクティビティーから得られるデータや、コネクテッドデバイスからのテレメトリーデータも、このカテゴリーに分類されます。企業が実施したいと考えるアナリティクスの種類に関係なく、大量のさまざまなビッグデータはデータアーキテクチャーのテクノロジーに直接影響を及ぼします。

クラウドプラットフォームの相互運用性：クラウドコンピューティング技術は、かつてない速さで成長を続けています。アプリケーションの移植性が高まり、ワークロードをリアルタイムに処理するコンピューティングサイクルが実現しています。また、データ統合プラットフォームによって接続が簡素化され、プラットフォーム間の境界が解消されることによって、ハイブリッドマルチクラウドアーキテクチャーが事実上の業界標準になりつつあります。

　そのため、新たなデータアーキテクチャー戦略では、クラウドプラットフォームの相互運用性をサポートする必要があります。これにより、複数のクラウドプラットフォームからデータを取得する必要のあるビジネスケースのレポート作成や分析もできるようになります。

データサイエンス：データサイエンスにより、組織は分析モデルを作成して、データに隠されたパターンを発見できます。これらの分析モデルは、統計、ディープラーニング（深層学習）、機械学習、人工知能（AI）などの手法を用いて作成します。

　ただし、幾つかの調査によると、データサイエンティストの多くはデータクレンジングやデータ探索などのデータ準備作業に80％の時間を費やしており、予測モデルの作成にかける時間はわずか20％にとどまっています。そのため、最新のデータアーキテクチャー計画には、データサイエンティストがコアスキルに集中できるようにする適切なツールを含める必要があります。

　世界の変化のスピードを考慮すると、企業には、それに見合うアジャイルなデータ管理戦略が必要です。従って、現在必要とされているのは、最小限の再構成であらゆる種類の新たなソースを盛り込み、多くのユーザーや業務アプリケーションに対応できる柔軟な論理アーキテクチャーです。

　次回は従来型データ統合アプローチとその落とし穴について見ていきます。

ビッグデータ – Wikipedia

ビッグデータ（英: big data ）とは、一般的なデータ管理・処理ソフトウエアで扱うことが困難なほど巨大で複雑なデータの集合を表す用語である。. 組織が非常に大きなデータセット（テラバイト、ペタバイト、エクサバイトなどで測定）を作成、操作、および管理できるようにするすべてのものと、これらが格納されている機能を指す。. ビッグデータを …

https://ja.wikipedia.org/wiki/%E3%83%93%E3%83%83%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF

ビッグデータとは – コトバンク

知恵蔵 – ビッグデータの用語解説 – インターネットの普及や、コンピューターの処理速度の向上などに伴い生成される、大容量のデジタルデータを指す。近年のブログや動画サイト、または、FacebookやTwitterといったSNS(ソーシャル・ネットワーキング・サービス)の利用者の増加に…

https://kotobank.jp/word/%E3%83%93%E3%83%83%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF-189502

ビッグデータ(Big Data)とは｜定義・活用・AIとの関係・普及した …

膨大な量のデータに簡単にアクセスできる今、「ビッグデータ」という言葉が世界的に普及しています。本稿ではそんな私たちの生活を大きく変化する可能性を秘めたビッグデータの定義やその活用事例、またビッグデータの普及の理由、AIやIoTとの関係について詳しく解説します。

https://ledge.ai/big-data/

ビッグデータとは – IT用語辞典 e-Words

ビッグデータ【big data】とは、従来のデータベース管理システムなどでは記録や保管、解析が難しいような巨大なデータ群。明確な定義があるわけではなく、企業向け情報システムメーカーのマーケティング用語として多用されている。多くの場合、ビッグデータとは単に量が多いだけでなく、様々な種類・形式が含まれる非構造化データ・非定型的データであり、さらに、日々膨大に生成・記録される時系列性・リアルタイム性のあるようなものを指すことが多い。

https://e-words.jp/w/%E3%83%93%E3%83%83%E3%82%B0%E3%83%87%E3%83%BC%E3%82%BF.html