顔交換アプリ「Reface」でユーザーがアップロードした画像の顔入れ替え＆アニメーション化が可能に

今回は「顔交換アプリ「Reface」でユーザーがアップロードした画像の顔入れ替え＆アニメーション化が可能に」についてご紹介します。

関連ワード（Reface、アプリ、ディープフェイク、機械学習等）についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、TechCrunch様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。

人気の顔交換動画アプリ「Reface（リフェイス）」は、ユーザーが自分で作成したコンテンツをアップロードし、AIがそれに命を吹き込むことで、単なる自撮りに留まらないリアリティシフトの可能性を拡大しようとしている。

iOSおよびAndroidアプリのユーザーは、ユーザー自身が作成した動画をアップロードすることはまだできないものの「スワップ・アニメーション」と呼ばれる最新の機能では、人型のもの（彫像や肖像画、あるいは実際に他の人の写真など）の画像をアップロードし、アプリ内に用意された歌や詩の中から選んで、AIによって生まれ変わったそれらの画像が、話したり歌ったりしているように見せることができる。

Refaceのフリーミアムアプリは、これまでユーザーがアニメーション化できるコンテンツは厳選されており、あらかじめ設定された映画やミュージックビデオの一場面（あるいはミーム、GIF、ハリウッド俳優の写真、ヘアスタイルなど）に、自撮りした写真の顔を入れ替えることができるだけだった。

しかし、今回導入された新機能により、ユーザーが自分の顔を交換したりアニメーションさせたりする素材を自分でアップロードできるようになったことで、アプリによる表現の可能性がさらに広がった。この現実歪曲効果は、従来と同様にGAN（generative adversarial network）アルゴリズムによるものだ。

競合アプリの中には、すでにこのような機能を提供しているものもあり「Avatarify（アバタリフィ）」や「Wombo（ウォンボ）」「Deep Nostalgia（ディープ・ノスタルジア）」などのアプリにRefaceが追いついたという面もある。

関連記事
・ディープフェイク動画のiOSアプリ「Avatarify」が電子透かし提供へ
・MyHeritageが古い家族写真をディープフェイク技術でアニメーション化

しかし、このアプリはさらに進化しており、ユーザーは自分の顔を、選択したソースコンテンツに入れ替えることができる。例えば、自分が歌うミロのヴィーナスになったり、Andy Warhol（アンディ・ウォーホル）のMarilyn（マリリン）のようなポップアートの中で、自分の顔が詩を朗読するのを見ることができるのだ。

Andreessen Horowitz（アンドリーセン・ホロウィッツ）が支援するこのスタートアップは、同社のハイテクを駆使した顔入れ換えツールでユーザーができることを拡大する際にも、慎重な姿勢を保ち続けており、この新機能からユーザーがアップロードしたコンテンツは、すべて同社のモデレーションチームと検出ツールによって審査され、利用規約に違反する禁止コンテンツはブロックすると述べている。

ディープフェイク分野のライバル企業は、より早く機能を開放することに積極的であることは間違いない。Avatarifyのようなアプリでは、すでにユーザーが自分のスナップをアニメーションできるようになっている。そして注目すべきは、Refaceの広報担当者が、ユーザーが作成した動画を「近い将来」にアップロードできるようにする予定であると語ったことだ。

Pro版のユーザーはさらに特典を受けられる。この最新の機能追加によって、自分でGIF画像をアップロードして顔を入れ替えることができるようになったのだ。

「私たちは、Refaceのユーザーがこの機能を使ってどんな顔入れ替え映像を作り出すか、見るのがとても楽しみです。この機能は、Refaceのアプリに使われている機械学習技術の面において、大きな節目となります」と、RefaceのDima Shvets（ディマ・シュヴェッツ）CEOは声明の中で語っている。「Refaceのコンテンツ制作者は、パーソナライズされたコンテンツの作成や自己表現のために使えるさらなるツールを求めていました。今回の機能が提供されたことで、彼らのビジョンや創造性を実現する機会は劇的に広がります」。

Refaceはまだ誕生して間もないアプリだが、短期間の間に人気を博した。ユーザーは自分の顔に交換したおもしろいビデオを披露することに熱心で、それがソーシャルメディアでシェアされて話題になった。

公開から4カ月あまりが経過した2021年3月の時点で、すでにRefaceのインストール数は1億件に達している。

関連記事：口コミで大流行の顔交換ビデオアプリRefaceにa16zなどの有名投資会社が約6億円を出資

画像クレジット：Reface

【原文】

Buzzy face-swapping video app Reface is expanding its reality-shifting potential beyond selfies by letting users upload more of their own content for its AI to bring to life.

Users of its iOS and Android apps still can’t upload their own user generated video but the latest feature — which it calls Swap Animation — lets them upload images of humanoid stuff (monuments, memes, fine art portraits, or — indeed — photos of other people) which they want animated, choosing from a selection of in-app song snippets and poems for the AI-incarnate version to appear to speak/sing etc.

Reface’s freemium app has, thus far, taken a tightly curated approach to the content users can animate, only letting you face swap a selfie into a pre-set selection of movie and music video snippets (plus memes, GIFs, red carpet celeb shots, salon hair-dos and more).

But the new feature — which similarly relies on GAN (generative adversarial network) algorithms to work its reality-bending effects — expands the expressive potential of the app by letting users supply their own source material to face swap/animate.

Some rival apps do already offer this kind of functionality — so there’s an element of Reface catching up to apps like Avatarify, Wombo and Deep Nostalgia.

But it’s also going further as users can also swap their own face into their chosen source content. So you could, for example, get to see yourself as a singing Venus de Milo, or watch your visage recite a poem from the middle of a pop-art painting like Andy Warhol’s Marilyn.

The Andreessen Horowitz-backed startup is still being cautious as it expands what users can do with its high tech face-shifting tool — saying it will be manually moderating all uploads from the new feature.

Rivals in the deepfake space are arguably pushing its hand to open up functionality faster, though, with apps like Avatarify already letting users animate their own snaps. And — notably — a Reface spokeswoman told us it’s planning to make user generated video uploads available “in the near future”.

Pro users are getting a little taster — as they can upload their own GIFs to face swap into with this latest feature release too.

“We’re really excited to see what Reface users do with swap-reenactment, which is a major technical milestone in terms of the machine learning technology inside of the app,” said CEO Dima Shvets in a statement. “Reface content creators have been clamoring for more tools for personalized content and self-expression – and this feature delivers, dramatically extending the opportunities for realizing their vision and creativity.”

The still young app has proved popular over its short run, garnering viral buzz via social media shares as users were keen to show off their funny face swaps.

As of March 2021 Reface said it had 100M installs some 14 months since going live.

（文：Natasha Lomas、翻訳：Hirokazu Kusakabe）