Redis互換で25倍高速とする「Dragonfly」がオープンソースで登場。2022年の最新技術でインメモリデータストアを実装

今回は「Redis互換で25倍高速とする「Dragonfly」がオープンソースで登場。2022年の最新技術でインメモリデータストアを実装」についてご紹介します。

関連ワード (効率、技術、高効率化等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、Publickey様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Redisやmemcachedに代表されるインメモリデータストアは、高速なデータアクセスを要求される場面で使われています。

このインメモリデータストアを2022年の最新技術を用いて設計、実装することで、Redis/memcached互換を実現しつつRedisの25倍高速とする「Dragonfly」がオープンソースで登場しています(開発元のアナウンス、GitHub)。

fig

Redisやmemcachedが登場した十数年前と比べて、現在ではCPUのマルチコア化やI/Oの高速化、メモリの大容量化など、ハードウェア技術が大きく進化しています。

これらを最大限活用する設計と実装を取り入れることでRedisやmemcachedよりも大幅な高速化と高効率化を目指したのがDragonflyです。

採用した主な技術の1つ目が、マルチコアを活用するために採用されたのがマルチスレッドにおけるシェアードナッシングアーキテクチャです。これによりそれぞれのコアの能力を最大限に引き出しているとのこと。下記はGitHubのREADME.mdからの引用です。

we used shared-nothing architecture, which allows us to partition the keyspace of the memory store between threads, so that each thread would manage its own slice of dictionary data. We call these slices – shards.

われわれはシェアードナッシングアーキテクチャを採用しています。これにより、メモリストアのキー空間ごとにスレッドを分割し、各スレッドが辞書データのスライスを管理することができます。このスライスをシャード(shard)と呼んでいます。

さらに「Dash」と呼ばれるハッシュテーブルを採用したことで、TTLレコードに対する効率的な期限管理や、LRUやLFUなどよりも高いキャッシュヒット率をメモリのオーバーヘッドなしに実現し、優れたスナップショットアルゴリズムも実現したとのこと。

また、Dragonflyでは操作のアトミック性(操作全体が成功か失敗かどちらかで終わること)が保証されています。

下記が開発チームによるAmazon EC2のインスタンスを用いたベンチマーク結果の一部抜粋です。飛び抜けて高い6本のマーカーがどれもDragoflyによるもの。最大でRedisの25倍高速であり、Dragonflyは1インスタンスで数百万QPS(Query Per Second)を実現するとのこと。

fig

また、メモリ効率もRedisと比較してアイドル時で30%、最大時で3倍優れており、スナップショットも高速に終了するとしています。

Dragonflyは現時点で130のRedisコマンドとすべてのmemcachedコマンドの互換性を有しており、Redis 2.8のほとんどのAPIをサポート。

次はRedisからDragonflyへのレプリケーションとDragonfly同士のレプリケーションの実現による高可用性の実現を目指し、さらに多くのRedis APIのサポートを実装していくとしています。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
モバイル関係者が震撼、AppleのATT導入でマーケティングはこう変わる
セキュリティ
2021-04-23 09:50
Facebookの幹部、「二極化はアルゴリズムのせいではない」と長文Mediumで擁護
企業・業界動向
2021-04-02 14:13
ウェブのオープンソースインフラストラクチャの公平化に1.4億円の助成金
その他
2021-04-07 01:21
「macOS」アプリサンドボックス回避の脆弱性、MSがパッチ適用を呼びかけ
IT関連
2022-07-16 22:14
オフィス空調をAIで一括管理 消費電力を約半分に 東京建物など3社が実験
クラウドユーザー
2021-01-20 05:41
スマートロックのLatchが不動産企業と組んでSPACによる上場を目指す
ハードウェア
2021-01-27 16:13
次期「Nintendo Switch」は4K出力に対応か──Bloomberg報道
くらテク
2021-03-25 15:36
ビジネスパーソン向け無料AI講座「AI For Everyone」が開講から約2週間で受講登録者数5000人を突破
人工知能・AI
2021-05-23 02:25
グーグル、UIツールキット「Jetpack Compose」のベータ版をリリース–Androidアプリの開発を迅速化
IT関連
2021-02-26 04:06
オンライン企画で気軽に世界旅行 SDGsツアーも フジテレビ
IT関連
2021-08-13 15:04
テスラが超高速モデル「Model S Plaid」の発売イベントを開催
モビリティ
2021-06-13 09:41
ドラクエ35周年記念特番、27日に配信 堀井雄二さん出演で新作への期待高まる
くらテク
2021-05-14 01:43
フォードとBMWが全固体電池のSolid Powerに142.2億円を投入
モビリティ
2021-05-06 16:24
「Windows Server 2022」プレビュー版が登場、安全なブートなどセキュリティ強化。Microsoft Ignite 2021
Microsoft
2021-03-04 04:02