アニメーションと音声で写真に生命を吹き込む、MyHeritageとD-IDが提携し故人が話す動画が作成可能に

今回は「アニメーションと音声で写真に生命を吹き込む、MyHeritageとD-IDが提携し故人が話す動画が作成可能に」についてご紹介します。

関連ワード （今日開発、作成、啓発等） についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

2021年、家系調査サービスのMyHeritageが、故人の顔写真を動画化できる斬新な「ディープフェイク」機能を導入して話題になった。TikTokのユーザーたちはいち早くその技術に反応して、動画を投稿し、自分が会ったこともない親戚やまだその死を悲しんでいる故人を蘇らせて、「ディープノスタルジア」と呼んだ。今日まで、1億枚以上の写真がこの機能で動画になった。そしてその機能が進化した。米国時間3月3日、MyHeritageはパートナーのD-IDとともに「ディープノスタルジア」を拡張した「ライブストーリー」機能をローンチした。写真の人物を生き返らせるだけでなく、彼らに話をさせるのだ。

MyHeritageが技術をライセンスしたD-IDはテルアビブのスタートアップで、AIとディープラーニング利用した再現動画の技術で特許を取得している。

D-IDの技術は、APIを通じて開発者に提供され、メディア、教育、マーケティングなど、さまざまなライセンシーに利用されています。例えばWarner Bros.（ワーナー・ブラザーズ）は、D-IDを利用して、ユーザーが映画の予告編をアニメーション写真でパーソナライズできるようにしたり、ハリー・ポッター展のために協力した。Mondelēz International、広告代理店のPublicis、Digitas Vietnamは、地元の祭りのマーケティング活動でD-IDと提携している。インドの短編動画アプリJoshは、顔アニメーションの技術をクリエイティブツールとして統合した。また、非営利団体や政府も、さまざまな啓発キャンペーンにこの技術を利用している。

MyHeritageは、こライブストーリーでD-IDの最新AI技術をユーザー向けに利用している。この機能を使うためには、ユーザーはまず無料でMyHeritageのアカウントを無料で作成することができ、その技術を何度か無料で試用できる。その後は、有料のサブスクリプションでライブストーリーを無制限に利用できる。

本技術で先祖の人生を物語にしたり、それを本人に語らせることもできる。それを可能にするのが、D-IDの特許取得技術Speaking Portrait Technology（肖像発話技術）だ。アップロードされた写真をもとにナレーション入りの動画を作り、それを合成音声生成装置にかける。語られるストーリーは、ユーザーが提供したテキストだ。

言葉と唇の動きが同期するためにD-IDは、人が話している動画のデータベースでニューラルネットワークを訓練した。言語は、どんな言語でもよいというが、MyHeritageは10種ほどの方言や、性による声の違いを含む31言語をサポートしている。

D-IDの共同創業者でCEOのGil Perry（ギル・ペリー）氏によると「優秀な技術であるためドライバービデオは不要です」という。つまり、本物の人物の動きを動画で撮影し、それを静止画像にマップする処理は不要だ。「テキストと写真があれば、その人が話している動画ができ上がります」という。「ただし、まだ完璧な技術ではありません。現状は、本当に良質なリップシンクらしいものを作ったにすぎません」とのこと。

そうやって作成されたライブストーリーは、それを見たり、友だちと共有したり、ソーシャルメディアに投稿することができる。テキストを編集し、さらに話をカスタマイズし、別の声を選んだり、自分が録音したオーディオをアップロードしてもいい。

画像クレジット：D-ID

D-IDの長期的な展望は、この技術をメタバースの環境で使うことだ。メタバースであれば顔だけでなく、デジタルアバターを動画にできるし、体全体の動きを3Dで表現できる。ペリー氏はユーザーが自分の幼児期や家族、歴史的人物の写真をアップロードして、それらをメタバースで動かし、会話をさせることもできると考えている。

「子どもたちがAlbert Einstein（アインシュタイン）と会話して、彼の話を聞いたり、彼に質問したりすることもできるでしょう。しかも彼は疑問に答えてくれます。さらにユニバーサル翻訳であれば、アインシュタインはユーザーの母国語で会話することもできるはずです」。

もちろんそんな技術は何年も先のことだが、実現するとすれば、それらはディープノスタルジーやライブストーリーのような、今日開発したコンセプトに基づいて作られることとなる。

MyHeritageとD-IDはそれぞれ、この技術を別々のやり方でデモする独自のアプリを世に送り出す。D-IDによると、それは数週間後だという。

MyHeritageのライブストーリー機能は本日、米国時間3月3日、家族史テクノロジーのカンファレンスRootsTechで発表された。デスクトップとモバイルウェブ、MyHeritageのモバイルアプリで利用できる。

MyHeritageの創業者でCEOのGilad Japhet（ギラッド・ジャフェ）氏は、ライブストーリーのローンチに関する声明で次のように述べている。「最新機能で、MyHeritageは今後もオンライン家族史の世界をビジョンとイノベーションの両方でリードし続けることになります。AIを利用して歴史的な写真に新しい命を吹き込むことはユニークな機能であり、何百万もの人が先祖や愛する故人との感情的な結びつきを掘り起こし一新することができます。家系の本質は家族史の表現と保存にあり、私たちは世界に向けて家系の楽しさと魅力を伝えていきたい」。

D-IDは、Sella Blondheim（セラ・ブロンドハイム）氏とEliran Kuta（エリラン・クタ）氏が創業。現在、チームは32名で今後は米国や英国、シンガポール、そしてイスラエルでそれぞれ現地の人数を増やし、社員数を倍増したいと考えている。

画像クレジット：D-ID

【原文】

Last year, genealogy service MyHeritage went viral after introducing a new “deepfake” feature that allowed users to animate the faces of loved ones in still photos. TikTok users posted videos reacting to the technology, called “Deep Nostalgia,” as they brought back relatives they never got to meet or those whose loss they still grieved. To date, more than 100 million photos have been animated with the feature. Now comes the next iteration. Today, MyHeritage along with technology partner D-ID is expanding upon “Deep Nostalgia,” with the launch of “LiveStory,” a feature that doesn’t just bring the people in photos to life with movement, but actually has them speak.

MyHeritage licensed the new technology from D-ID, a Tel Aviv-based startup that works to create patented video reenactment technology powered by AI and deep learning techniques.

D-ID’s technologies, available to developers through APIs, have been used by a range of licensees, across media, education, marketing and more. Warner Bros., for instance, worked with D-ID to allow users to personalize a movie trailer with animated photos and for a Harry Potter exhibition. Mondelēz International, advertising agency Publicis and Digitas Vietnam partnered with D-ID on marketing efforts for a local festival. India’s short-form video app Josh integrated the facial animation tech as a creative tool. Nonprofits and governments have also used the technology in various public awareness campaigns.

With the debut of LiveStory, MyHeritage is bringing the latest AI tech from D-ID directly to consumers.

To use the feature, consumers can create a free MyHeritage account, which allows them to try out the tech for free several times. Beyond that, they’ll need to upgrade to a paid subscription plan for unlimited use of LiveStory.

The technology works to create an animated video narrative of an ancestor’s life, so they can tell their own story. This is powered by D-ID’s patent-pending Speaking Portrait Technology, which generates a narrated video based on an uploaded photo, then combines it with a synthetic voice generator. The story’s narration comes from text input by the user.

To make the lips match the words, D-ID trained a neural network on a database of videos of people speaking. Its technology is able to work with any language, the company says. The MyHeritage implementation, however, supports 31 languages, including dozens of dialects, with both male and female voice options.

“The technology is so good that you don’t need a driver video,” notes D-ID’s co-founder and CEO Gil Perry — meaning, the tech doesn’t require a video of a real person’s movements which are then mapped to a still image. “You input only text and the photo and then you get the person to speak,” he says. The technology is not perfect, Perry admits, likening it instead to “really good lip-syncing.”

After the LiveStory is created, users can watch it, share it with friends or post it to social media. They also can customize the story further by editing the text, choosing a different voice or even uploading their own audio recording.

Image Credits: D-ID

Longer-term, D-ID envisions how this technology could be used in a metaverse environment, where digital avatars of people could be animated with AI — and not just faces, but full-body movement in 3D worlds. Perry imagines how users could upload their own childhood photos, those of family members or even historical figures, then animate them in the metaverse, and have conversations.

“Our children will want to converse ourselves with Albert Einstein and learn and hear him and ask him questions,” he says. “And he will answer us.” (And when universal translation is available, he could even answer in the user’s own language.)

This technology, of course, is several years down the road, but it will be built on concepts being developed today — like Deep Nostalgia and LiveStory — when and if it eventually comes to pass.

In the meantime, there’s MyHeritage and, soon, D-ID’s own consumer app that will help to demonstrate its technology in a different way. The app will arrive in the “coming weeks,” D-ID says.

The MyHeritage LiveStory feature was announced today at the RootsTech family-history tech conference. It will work on desktop, mobile web and in the MyHeritage mobile app.

“LiveStory takes storytelling to the next level,” said Gilad Japhet, founder and CEO of MyHeritage, in a statement about the launch. “With this latest viral feature, MyHeritage continues to lead the world of online family history in both vision and innovation. Our use of AI to breathe new life into historical photos is unique and is helping millions of people cultivate a renewed emotional connection with their ancestors and deceased loved ones. Genealogy is all about telling and preserving our family stories. We keep showing the world how fun and compelling genealogy can be.”

D-ID, which was also co-founded by Sella Blondheim and Eliran Kuta, is a team of 32 and plans to double by hiring across positions in the U.S., U.K., Singapore and Israel.

（文：Sarah Perez、翻訳：Hiroshi Iwatani）