Meta、「無兆候データ破損」の検知に向けたアプローチを公開

今回は「Meta、「無兆候データ破損」の検知に向けたアプローチを公開」についてご紹介します。

関連ワード (ITインフラ等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 Metaは、無兆候データ破損(Silent Data Corruption:SDC)という、主にハードウェアに起因する静かなデータ破損の検知に向けたさまざまな手法を数年前から評価してきた。同社は米国時間3月17日、SDCの検知に向けた自社のアプローチについて概説した。

 SDCは、システムログに記録や痕跡を残さずに発生するデータエラーであり、原因としてはデータパスの依存関係や、温度の変化、使用年数の他、シリコンに端を発する要素などが挙げられる。こうしたデータエラーは一切兆候を見せることなく発生するため、ワークロード内で検知されないまま、複数のサービスをまたがって拡散していく場合もある。

 この種のデータエラーはメモリーやストレージ、ネットワーキングとともに、CPUに影響を与え、データの喪失や破損を引き起こしかねない。

 サーバーやCPUといったコンポーネントが、いったん本番環境のデータセンターフリートの1つとして組み込まれてしまうと、SDCの検知は困難となるため、Metaのエンジニアらは3年前、SDCの検知に向けたアプローチの評価に着手した。

 MetaのエンジニアであるHarish Dattatraya Dixit氏は、「われわれは、大規模なかたちでSDCを検知、低減することでアプリケーションの健全性とフリートのレジリエンシーを維持する斬新な検知アプローチを必要としていた」とブログで説明している。

 同社はその評価により、アウトオブプロダクション(非本番時)テストとリップル(波及)テストの双方を使用することが、SDCを検知する上で最も好ましい方法だという結論に至った。

 アウトオブプロダクションテストとは、システムの再起動やカーネルのアップデート、ホストマシンのプロビジョニングといった保守管理上のイベントの際に実行するSDC検知手法だ。この種のテストは、保守管理上のこういったイベントと抱き合わせ、より時間をかけて実行できるため、「より踏み込んだ検知処理」が可能になる。

 一方、リップルテストとは、ワークロードがアクティブとなっている際にSDCの検知を実行するというものだ。これはワークロードを用いたシャドーテストの実行とともに、フリートやワークロード内にビットパターンと期待される結果を断続的に注入することで実施される。Metaは、リップリテストの方がアウトオブプロダクションテストよりも迅速にSDCを検知できることを見いだした。

 このより高速なタイプのテストはMetaのインフラ内に「波及」していく結果、そのテスト時間はアウトオブプロダクションテストの1000分の1に短縮される。

 Metaのエンジニアらの推定によると、リップルテストではデータ破損のうちの70%を15日以内に検知できる一方、アウトオブプロダクションテストではそれらのデータ破損を含む、大半のデータ破損の検知に約6カ月かかるという。ただ、データ破損の中にはアウトオブプロダクションテストでしか検知できないものもあるという。

 Dattatraya Dixit氏は、このようなメリットとトレードオフを説明した上で、大規模インフラを有しており、SDCの検知に向けて取り組んでいる組織に対して、双方のアプローチを採用するよう推奨した。

 「大規模なフリートで両方を採用、導入することを推奨する」とDattatraya Dixit氏は述べた。

 「SDCの検知は大規模なインフラで困難な課題だが、長年のテストで、(アウトオブプロダクションテスト)とリップルテストがSDCを大規模に、可能な限り素早く検知するための新しいソリューションを提供できることが分かっている」(Dattatraya Dixit氏)

 Metaのエンジニアらは、双方のテスト用いることで、最終的にすべてのSDCを検知できるという結論に至ったという。同社はSDCの70%をリップルテストで15日以内に、23%をアウトオブプロダクションテストにより6カ月で検知し、残る7%をデータセンターフリート内での反復リップルテストで検知できるとしている。

 SDCの検知で更なるイノベーションを推進するため、Metaはそれぞれ5万ドル(約600万円)相当の5つの賞金を提供し、学術機関がこの分野の研究でリサーチプロポーザルを作成できるようにすることも発表している。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
開発者会議「Google I/O」、5月11~12日に開催へ
IT関連
2022-03-18 11:42
SAPジャパンとコンカーが本社移転、社員の42%が「フルリモート」希望
IT関連
2021-02-08 13:18
「フェムテック」って何? 女性特有の不便・不調を技術で解決
IT関連
2021-06-08 04:39
アカマイ、セキュリティ強化とエッジ開発など展開–2021年戦略
IT関連
2021-02-27 16:39
電帳法改正にどう対応するか(後編)–検討における4つのステップ
IT関連
2022-03-25 13:31
入金消込作業を約90%削減–SBIビジネス・ソリューションズ、「請求QUICK」提供へ
IT関連
2022-02-10 19:17
アップルが最新iOS 15のベータ版をすべての人に公開、開発者アカウント不要
ソフトウェア
2021-07-02 20:30
3Dプリントで「弾力性とエネルギー効率の高い住宅」を建てるICONが213億円調達、評価額は約2300億円に近づく
IT関連
2022-02-20 17:10
ServiceNowがノーコードワークフローの構築を支援する新機能を追加
ソフトウェア
2021-03-13 07:02
AWSが示した新たなアプローチによる誤り耐性量子コンピューターの"青写真"
IT関連
2021-04-30 18:42
Amazon、3期連続の売上高1000億ドル超も予想は下回る AWSは好調
企業・業界動向
2021-07-31 03:33
「Windows 11」、セットアップ終了後にまずやっておきたい6つのこと
IT関連
2022-01-21 22:59
セブン銀行と交通9社が1000円プレゼントキャンペーン キャッシュレス利用で非接触促す
最近の注目ニュース
2021-01-13 21:06
ニコニコ大百科に偽サイト、Google検索の上位に 公式が注意喚起
連載チーム
2021-04-22 14:02