ビジネスをけん引するリアルタイムデータの最前線

今回は「ビジネスをけん引するリアルタイムデータの最前線」についてご紹介します。

関連ワード （データマネジメント等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

　社会のさまざまな場面でデジタル化が進むにつれて、最新データをリアルタイムに反映することはビジネスにとってますます重要になっています。データの更新が遅れると、機会損失や顧客離れにつながる可能性があります。また、サイバーセキュリティの侵害やクレジットカードの不正利用を即座に検出・通知することが、ビジネスの保護につながります。

　データをリアルタイムに処理するには、従来のバッチ処理よりも、データが到着するたびに処理を行うストリーミング処理が向いています。Confluentは、データストリーミングとストリーミング処理のデファクトスタンダードである「Apache Kafka」や「Apache Flink」をベースに、必要な機能を統合した完全なデータストリーミングプラットフォームを提供しています。

　今回から前後編に分けて、リアルタイムデータがビジネスでどのように必要とされ、どのようにビジネスを推進するかを解説します。データストリーミングの導入を検討するための基礎知識を提供できれば幸いです。

　現在、生活のさまざまなシーンがソフトウェアによって大きく変わりつつあります。さらに、日常生活のあらゆるところでリアルタイムデータが活用されるようになり、社会は進化してきました。

　例えば銀行では、以前は支店に行って手続きを行う必要がありましたが、現在ではスマートフォンやPCを使ってオンラインバンキングでリアルタイムに手続きが完了できます。スーパーでの買い物も、店舗に行くだけでなく、ネットスーパーを利用して配送を依頼する方法が普及しています。

　タクシーも、以前は街で拾うか電話で呼ぶ必要があり、乗客とタクシーが互いに探し合う形でした。それが、「Uber」ではスマートフォンで目的地を指定するだけで、瞬時にタクシーがマッチングされ、到着までの状況もリアルタイムに表示されます。さらに、Uberでは交通や天気などのリアルタイム情報を基にしたダイナミックプライシングも導入されています。

　このような状況では、データがリアルタイムでないと大きな損失を招く可能性があります。実例を見てみましょう。世界最大のスーパーマーケットチェーンであるWalmartは、2018年からネットスーパーを展開しています。しかし、以前は店舗の在庫情報がリアルタイムにネットスーパーに反映されていませんでした。そのため、店舗で売り切れている商品がネットスーパーでは在庫があると表示されることがしばしばありました。

　その結果、顧客が商品を購入できないことによる販売機会の損失や、他店舗からの配送コストが発生し、顧客満足度が低下しました。この損失は、1秒当たり数百万ドルに達したといいます。そこでWalmartはConfluentの製品を導入し、在庫管理システムをリアルタイムにデータを反映するように作り直すことで、この問題を解消しました。

　別の例を見てみましょう。Intelは、常に世界中からのサイバー攻撃にさらされています。そのため、以前から各種ログデータをリアルタイムにSIEM（ログを一元的に集約し分析してインシデントを検知するシステム）に集めています。

　しかし、以前は全てのデータをそのまま収集していたため、検知の精度が低下し、検知に時間がかかり、コストも増大していました。そこでIntelはConfluentの製品を導入し、不要なデータをフィルタリングしてから検知するようにしました。これにより、リアルタイムに高精度なデータをSIEMに送信できるようになり、コスト削減にも成功しました。これもリアルタイムデータの活用例の一つです。

　このように、リアルタイムにデータにアクセスできる能力が、昨今のビジネス成長を推進する要因となっているのです。

　リアルタイムデータが企業内で活用されるようになると、さまざまなチームが多様なデータにアクセスすることになります。データを効率的に活用するためには、利用しやすい形で提供されることが重要です。また、適切に統制され、ガバナンスを効いた信頼性の高いデータであることも求められます。

　そのため、Confluentは信頼性の高いリアルタイムデータを提供するため、データガバナンス用の「Stream Governance」スイートを組み込んでいます。Stream Governanceでは、データの正確な型を検証するだけでなく、データの生成元や構造、使用されているシステムなどの情報を視覚的に提供します。また、データポータルを通じて、組織内の多種多様なデータにアクセスできるようになります。

　データガバナンスを通じて、さまざまな場所にあるデータを最大限に活用できるようになります。また、コンプライアンス要件を順守しながら差別化を図ることで、顧客満足度を向上させることができます。

　Stream Governanceは、3つの主要な要素に基づいて構築されています。1つ目はデータストリームの品質です。信頼できる高品質なイベントストリームを提供し、データの整合性を維持します。

　2つ目はストリームカタログです。データの再利用性を高めるために、分類、整理、検索が可能で、ディスカバリーを提供します。具体的には、ポータル、メタデータ、タギングが用意されています。他の部門が管理するデータには、データポータルを通じてアクセス権を申請できます。

　3つ目はストリームの系譜です。データの生成元や進化の過程を理解できるようにします。例えば、売上データに顧客マスターをマッピングしてデータをよりリッチにする際、その系譜を可視化して分かるようにします。