米Uber、1エクサバイト超のデータ量を持つ世界最大規模のHadoopシステムを、オンプレミスからGoogle Cloudへ移行すると発表

今回は「米Uber、1エクサバイト超のデータ量を持つ世界最大規模のHadoopシステムを、オンプレミスからGoogle Cloudへ移行すると発表」についてご紹介します。

関連ワード (世界最大級、区別、提携等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


米Uberは、オンプレミス上に構築した数万台ものサーバによる1エクサバイト超のデータ容量を持つ世界最大級のHadoopエコシステムを、Google Cloudへ移行すると発表しました。

UberはGoogle Cloudへの移行のメリットを次のように説明しています。

Modernizing with GCP will enable big gains in user productivity, engineering velocity, improved cost efficiency, access to new innovation, and expanded data governance.

GCPによるシステムのモダナイズで、ユーザーの生産性、エンジニアリングのスピード、コスト効率の改善、新しいイノベーションへのアクセス、データガバナンスの拡大などが可能になるでしょう。

fig

Uberは世界中で同社が提供しているライドシェアやフードデリバリーのサービスの背後で、ドライバーと利用者のマッチングや価格設定などの自動化および最適化などの処理を機械学習で行っており、最近ではAIを用いた自動運転や自動配達にも進出しています。

そのデータ処理基盤となっているのが、今回Google Cloudへ移行することになったオンプレミス上に構築されたHadoopエコシステムです。

HDFSをオブジェクトストアへ移行

下記の図が同社が説明する移行前(左)と移行後(右)のシステム概要です。

fig

HDFSをGoogle Cloudのオブジェクトストアに移行し、それ以外の部分はGoogle CloudをIaaSとして用い、オンプレミスのシステムをほぼそのままGoogle Cloud上に再構築します。

その上で、Google Cloudのオブジェクトストレージの上にHDFS互換のインターフェイスを実装することで、既存のデータ処理システムはそのまま利用可能にすると説明しています。

同社のコンピュートプラットフォーム、コンテナ環境、デプロイメントツールなどはオンプレミスとクラウドを区別しないように作られているため、オンプレミス上のサービス群をクラウドのIaaS上に簡単に拡張できるようになっているとのことです。

移行にあたりUberが想定する課題とは

UberはオンプレミスからGoogle Cloudへの移行に当たって、以下の課題に取り組むと説明しています。

パフォーマンス
HDFSとオブジェクトストアには機能や性能特性の違いがあるため、オープンソースのHadoopコネクタを活用し、パフォーマンスを最大化するための進化を支援する。

ガバナンス
クラウド関連の利用コストは、効果的かつプロアクティブに管理しなければ膨れ上がる可能性がある。社内のキャパシティ・エンジニアリングチームと提携し、より細かいメカニズムとトラッキングを構築する。

非分析用途でのHDFSの使用
ここ数年、一般的なファイルストアとしてHDFSを使い始めるケースもあるため、これらのユースケースにたいしては、他のサービスに積極的に移行させるためのパスを提供する。

未知の課題
オンプレミス上のシステムは7年前から構築されてきており、クラウドへの移行には予期せぬ課題に直面することは確実だ。レガシーなユースケースは積極的に非推奨とするなど、こうした課題に先手を打っていく。

移行の目的はコスト削減よりもモダナイズ

これらのUberの説明を見ていくと、オンプレミスからクラウドへの移行はコスト削減よりも、システム全体を見直しつつ再構築することによるモダナイズと、古いユースケースや本来の使い方から外れた利用法などを廃止することによる効率化や最適化にあるのではいかと考えられます。

Uberは今後も移行に関する進捗や教訓を共有していくとしています。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
キャリアSNS「YOUTRUST」が登録ユーザー数累計5万人突破と発表、iOSアプリ正式リリースで急増
HRテック
2021-04-15 12:02
ドイツ裁判所がフェイスブックに対する「スーパープロファイリング」訴訟を欧州司法裁判所に付託
ネットサービス
2021-03-26 07:48
KADOKAWA Connected、グループ従業員にデータ活用の研修提供–事業にひも付く教材作成
IT関連
2023-09-03 19:26
[速報]AWS、大規模言語モデルのトレーニングに最適化した独自プロセッサ「AWS Trainium2」発表。前モデルより最大4倍のトレーニング性能。AWS re:Invent 2023
AWS
2023-11-29 00:55
Zoomが考えるAI機能の活用–ZVC JAPAN、「働き方改革サミット」開催
IT関連
2024-01-27 11:44
上っ面の業務自動化ではなく、本質的な自動化に必要なこと
IT関連
2022-06-10 13:44
日立とギブリーが明かす、「Azure OpenAI」や「Microsoft Copilot」導入の成果
IT関連
2024-10-18 18:55
24時間365⽇スマホで医師に相談できる医療相談アプリLEBERを手がけるリーバーが資金調達、累計調達金額10億円突破
IT関連
2022-02-11 13:53
ハンシン建設、情報システム部門のノンコア業務を削減
IT関連
2024-03-01 06:10
新種のランサムウェアとその亜種、2021年には大幅に減少–ウィズセキュア調査
IT関連
2022-06-28 23:04
トヨタファイナンス、社内業務の改善基盤に「intra-mart」を採用–1年でコスト回収
IT関連
2022-12-28 13:05
軽量かつモダンな「GNOME」系デスクトップを搭載した「Voyager 23.10」
IT関連
2023-11-15 21:31
対話型AIがコンタクトセンター分野で着実に成長–ガートナー
IT関連
2023-08-09 22:42
Snapが同社のARグラスに技術を提供するWaveOpticsを545億円以上で買収
VR / AR / MR
2021-05-24 14:37