サーバーのクロックを同期するClockworkがその技術の応用プロダクトをローンチ

今回は「サーバーのクロックを同期するClockworkがその技術の応用プロダクトをローンチ」についてご紹介します。

関連ワード （影響、要求、計測等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

膨大な数のサーバー隊列のクロックの同期は、解決済みの問題と思われるかもしれないが、実は今なお難しい問題で、特に要求がナノ秒クラスの精度という場合は難しい。そしてこのことはまた「クロックの時間に基づくシステムを作ってはならない」という命題が、コンピューターサイエンスの公理であり続けている理由でもある。米国時間3月16日、2100万ドル（約25億円）のシリーズAの資金調達ラウンドを発表したClockwork.ioはこれを、ハードウェアのタイムスタンプでは5ナノ秒、ソフトウェアのタイムスタンプでは数百ナノ秒という同期精度でこの状況を変えようとしている。

その技術に基づいて同社は本日、ユーザーにクラウド上やオンプレミスそしてハイブリッドの環境で、レイテンシーが極めて地裁データを提供する最初のプロダクトLatency Senseiをローンチした。ユーザーはそのようなデータを使って自分のネットワークのボトルネックを見つけ、チューンナップすることができる。同社の顧客にはすでにNASDAQやWells Fargo、RBCなどがいる。

画像クレジット：Clockwork

同スタートアップはYilong Geng（イーロン・ゲン）氏とDeepak Merugu（ディーパック・メルグ）氏、そしてスタンフォード大学の「VMwareの創業者たちのコンピューターサイエンス教授」と呼ばれるBalaji Prabhakar（バーラージー・プラバカール）氏らが創業し、VMwareの共同創業者でスタンフォードのコンピューターサイエンス教授であるMendel Rosenblum（メンデル・ローゼンブラム）氏が取締役およびチーフサイエンティストになっている。この由緒正しい顔ぶれからもわかるように、Clockworkのシステムは、チームがスタンフォードで行った学術的な基礎研究がベースとなっている。

今日の多くのコンピューターがクロックの同期に使っているNetwork Time Synchronization Protocol（NTP）と呼ばれる標準形式は至るところで使われているが、あまり正確ではない。その改良はこれまでも行われており、たとえばFacebookは2021年、ハードウェアによるソリューションをOpen Compute Projectに寄贈したが、Clockworkのチームは、それよりもはるかに高い精度を自負している。

プラバカール氏の説明によると「データセンターの中で1秒の違いが生じることもある。私のスマートフォンとこのベースステーションの秒はおそらく合っているでしょう。しかし、もっと細かく、マイクロ秒やナノ秒になると、それらを合わせることは難易度は上がります。2つのクロックが指す時刻を、ナノ秒まで正しくすることは、とても難しいことです。しかも、同期は一瞬実現するだけでなく、両者の同期を維持しなければなりません。気温の変化や振動の影響を受けない高精度のクロックをサーバーに装備することは可能ですが、そんなクロックはすぐにサーバー本体よりも高価なものになります」。

画像クレジット：Clockwork

この問題を解決するためにチームは、タイムスタンプが任意のサーバーに到着するのに要する時間を極めて正確に計測できるシステムと機械学習のモデルを開発した。NTPとそれほど違わないものだったが、チームはさまざまなタイムスタンプ使って改良し、さらにクロックのオフセットと周波数の相対的な違いも考慮に入れた。そして、それらすべてを機械学習のモデルに入れる。そしてチームは、異なるクロックが互いに会話して、同期してないことや自分たちが正しいことを検出できるシステムも開発した。

信頼できるタイムスタンプがないため、これまでの分散システムはクロックのない設計に依存してきた。しかしそれによって、複雑なシステムがさらに一層複雑になった。Clockworkのチームは、彼らの仕事によって研究者たちが、データベースの一貫性とか、イベントの正しい順序、コンセンサスのプロトコル、各種の台帳など、多くの問題領域で時間をベースとする新しいアルゴリズムを実験できるようになる、と期待している。ローゼンブラム氏とプラバカール氏のチームによる最初の研究は、分散システムでクロックを信頼できるなら何ができるか、という問題に集中していた。

「現在、GoogleのSpannerやCockroachDBなど、あるいは一部のデータベース関連の仕事をしている人以外は時間を使っていない。しかし、今後は時間が重要な課題があちこちで出てくるでしょう。それらにうまく対応するためには時間の同期が重要であり、正しく行う方法を私たちは研究開発しています。そこで私たちは、このようなシステムを別の方法でプログラミングするようになるのではと考えています」。

同期化の問題を解決したと信じているClockworkは、今度のLatency Senseiを嚆矢として、それを利用するプロダクトを作ろうとしている。しかしプラバカール氏が念を押すのは、チームはすでに、データセンター内の渋滞を容易に検出できるプロジェクトに取りかかっているということだ。彼によると、TCPはワイドエリアネットワーク（WAN）には向いているが、データセンターの中で使うのはまったくの浪費だ。しかしネットワークとそのレイテンシーについてもっとよく知れば、データセンターの中でパケットをルートする最良の方法を同社のシステムで見つけて、TCPプロトコルにヒントを与えることができるかもしれない。同社のシリーズAをリードしたのはNEAで、さらに著名なエンジェル投資家であるMIPSの共同創業者John Hennessey（ジョン・ヘネシー）氏、初期のGoogleの投資家Ram Shriram（ラム・シュリラム）氏、そしてYahooの共同創業者Jerry Yang（ジェリー・ヤン）氏が参加した。

画像クレジット：MirageC/Getty Images

【原文】

You’d think that synchronizing the clocks across a fleet of modern servers is a solved problem, but it’s actually quite a hard challenge to solve, especially if you want to get to nanosecond accuracy. This also means that it remains an axiom in computer science that you should never build a system based on clock time. Clockwork.io, which is announcing a $21 million Series A funding round today, promises to change this with sync accuracy as low as 5 nanoseconds with hardware timestamps and hundreds of nanoseconds with software timestamps.

Based on this work, the company is also launching its first product today, Latency Sensei, which can give its users extremely fine-grained latency data in their cloud, on-premises and hybrid environments, which they can then use to find bottlenecks and tune their networks. The company’s customers already include the likes of Nasdaq, Wells Fargo and RBC.

Image Credits: Clockwork

The startup was founded by Yilong Geng, Deepak Merugu and Stanford’s “VMware Founders Professor of Computer Science” Balaji Prabhakar, with VMware co-founder and Stanford computer science professor Mendel Rosenblum serving as board member and chief scientist. Given this group’s pedigree, it’s no surprise that the core research behind Clockwork’s system is based on fundamental academic research the team did at Stanford.

The Network Time Synchronization Protocol (NTP), which is the standard format that most computers use for synching clocks today, is ubiquitous but not very accurate. There has been some work on improving that, with Facebook, for example, contributing a hardware solution to the Open Compute Project last year, but the Clockwork team promises far greater accuracy.

“Sometimes, inside data centers, I couldn’t get them to agree on a second. My phone and the base station here probably agree on the second. Then you get finer and finer and finer — down to the microseconds and nanoseconds. That is very hard. It’s very hard for two clocks to know exactly what nanosecond they are in,” Prabhakar explained. He noted that it’s also not good enough to synchronize these clocks once. You also have to keep them in sync. You can put high-accuracy clocks that are immune to temperature variations and vibration into a server, but that clock would quickly become more expensive than the server itself.

Image Credits: Clockwork

To solve this issue, the team built a system and machine learning model that allows it to very accurately measure the time it takes for a timestamp to arrive at a given server. That’s not so different from how NTP works, but the team then takes this a few steps further by looking at a variety of timestamps and then getting both the offset of the clock and the relative frequency difference. All of this then feeds into the machine learning model. In addition, the team also built the system so the different clocks can talk to each other and detect (and correct) when they are not synchronized.

In the absence of trustworthy timestamps, distributed systems have long had to rely on clockless designs, which adds an extra level of complexity to building complex systems. The Clockwork team hopes that its work will allow researchers to experiment with new time-based algorithms across a number of problem areas like database consistency, event ordering, consensus protocols and ledgers.

The original research by Rosenblum’s and Prabhakar’s team was all about what you could do if you could trust the clocks in a distributed system.

“Currently, nobody uses time except for maybe Spanner at Google, CockroachDB or someone doing database things,” Rosenblum said. “We believe that there’s a lot more places, especially as more and more time-critical things came up. We can do time sync, since we figured out how to do that pretty well. And so we asked: is this part of a trend where we’re going to start programming these systems differently? And [researchers] got kind of excited about that possibility of us being able to pull this off.”

So with the synchronization issues solved, the Clockwork team is now looking to build products on top of this, starting with Latency Sensei. But Prabhakar also noted that the team is already working on another project that makes it easier to detect congestion inside of data centers. TCP, he noted, is great for wide-area networks, but inside the data center, it is quite wasteful. But when you know more about the network — and its latencies — then that in turn could be used to provide the TCP protocol with better hints about how to best route packets inside the data center.

The company’s Series A round was led by NEA, with participation from well-known angel investors, including MIPS co-founder John Hennessey, early Google investor Ram Shriram and Yahoo co-founder Jerry Yang.

（文：Frederic Lardinois、翻訳：Hiroshi Iwatani）