AWS Lambda、ローカルの/tmpが最大10GBまで拡張。大規模データ処理も可能に

今回は「AWS Lambda、ローカルの/tmpが最大10GBまで拡張。大規模データ処理も可能に」についてご紹介します。

関連ワード （一時、基盤、拡大等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

Amazon Web Servicesは、サーバレスコンピューティング基盤を提供するAWS Lambdaで、/tmp以下で利用できるローカルの一時ファイルシステムの容量が最大10GBまで利用可能になったと発表しました。

これまでの利用可能なファイル容量は最大で512MBでした。

データを受け取って加工するような処理をAWS Lambdaで実現しようとする場合、これまでは処理するデータを一時ファイルシステムの512MB以内に収まるように工夫することが一般的でした。

この一時ファイル容量が最大で10GBになることで、より大規模なデータ処理をAWS Lambdaで行いやすくなりました。

AWSのブログ「AWS Lambda Now Supports Up to 10 GB Ephemeral Storage」でも、AWS LambdaでETLや機械学習などの大規模データ処理ができるようになると次のように説明しています。

You can now control the amount of ephemeral storage a function gets for reading or writing data, allowing you to use AWS Lambda for ETL jobs, ML inference, or other data-intensive workloads.

関数がデータを読み書きを行う一時ファイルストレージの量を制御できるようになることで、ETLジョブ、ML推論、その他のデータ集約型ワークロードにAWS Lambdaを使用できるようになりました。

ただし512MB以上の容量には追加料金が必要となります。

AWS Lambdaはすでに、利用可能なコンテナイメージが最大10GBまで、割り当て可能なメモリが最大10GBまで拡張されています。今回の一時ファイルシステムの最大容量が10GBにまで拡大したことで、より大規模な処理をAWS Lambdaで行う環境が揃ったといえそうです。