Amazon S3、データの整合性確認を最大90％高速化。新たなオブジェクトのチェックサムアルゴリズム追加で

今回は「Amazon S3、データの整合性確認を最大90％高速化。新たなオブジェクトのチェックサムアルゴリズム追加で」についてご紹介します。

関連ワード （機能、発表、簡単等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Amazon Web Services（AWS）は、オブジェクトストレージサービスを提供しているAmazon S3の新機能として、新たなチェックサムアルゴリズムによってより簡単かつ迅速にAmazon S3に保存するオブジェクトの整合性をチェック出来る機能を発表しました。

Amazon S3ではすでにMD5がチェックサムとして利用されていますが、今回、広く使われている4種類のチェックサムアルゴリズム、「SHA-1」「SHA-256」「CRC-32」「CRC-32C」を追加。オブジェクトをAmazon S3にアップロードする際に、このチェックサムを用いてデータの整合性を迅速に確認できるようになりました。

チェックサムが検証され、一致したときのみアップロードを受け付け

この新機能に対応した最新のAWS SDKを用いると、新たに追加されたチェックサムアルゴリズムを用いてあらかじめAmazon S3に保存するオブジェクトのチェックサムを計算しておき、それをオブジェクトのアップロード時にHTTPのTrailerヘッダ内にチェックサムを格納して送信。Amazon S3は実際にアップロードされるオブジェクトのチェックサムを検証し、一致したときのみアップロードを受け付ける、ということが可能になります。

さらにマルチパートアップロードでは、AWS SDKはクライアントサイドの並列処理を利用することで、各パートのチェックサムを計算するようになりました。各パートのチェックサムをまとめたチェックサムも計算され、アップロードが完了する時点でAmazon S3に送信されます。

Amazon S3に送信されたチェックサムは、その後メタデータとしてオブジェクトと一緒に保存され、必要に応じて取得可能となります。