ユーザーの声でAIがリアルに歌う–中国で進化するカラオケアプリ

今回は「ユーザーの声でAIがリアルに歌う–中国で進化するカラオケアプリ」についてご紹介します。

関連ワード (中国ビジネス四方山話、開発等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、ZDNet Japan様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


 中国で生成AIといえば、「ChatGPT」に追従する大規模言語モデル(LLM)関連をはじめ、画像生成系のサービスが目立つ。音声系についても、スマートスピーカーを展開する百度(バイドゥ)、阿里巴巴(アリババ)、小米(シャオミ)のほか、中国で最も有名なカラオケアプリ「全民K歌」で模索されている。

 全民K歌は、カラオケ店に負けじと専用マイクを音響メーカーと共同開発したり、スマートテレビ向けアプリでシャオミや創維集団(スカイワース)などと提携したり、家庭用カラオケ機器で聯想集団(レノボ)と協業したりしてきた。また、歌っている人の声に合わせて伴奏や音量、音程、エコーなどを自動で調整するAI補正機能も導入した。このようにカラオケのハードルを下げるため、さまざまな技術を開発している。

 そうした全民K歌が最近、自分の声でAIに歌ってもらうサービス「AI歌手」を開始した。まず、ユーザーがカラオケで最低3曲を歌うことで、AIがユーザーの歌声を生成してくれる。AI歌手を手本とし、カラオケが上達したという話もある。

 中国のポップミュージック(C-POP)にはさまざまな楽曲があるが、高い音域や広い声域が特徴でカラオケで歌うには難易度が高い。アジアのポップスターと言われる周杰倫(ジェイ・チョウ)の楽曲はラップもあって難しい。こうした楽曲も、AI歌手が自分の声で代わりに歌い上げてくれる。さらには、日本のポップミュージック(J-POP)や韓国のップミュージック(K-POP)をAI歌手に歌ってもらうユーザーも出てきた。例えば、日本語ができないユーザーであっても、日本の音楽ユニット「YOASOBI」(中国でも人気)の楽曲を、自分の声でAI歌手に正しく歌わせることができる。

 全民K歌はAI歌手を実装するため、データ収集や特徴抽出、モデル学習を行った。データ収集のプロセスでは、大量の楽曲データ(メロディー、楽譜)や歌詞データを集める。次に、深層学習を用いて収集したデータから音高や音色、拍子、語彙(ごい)、感情といった特徴を抽出する。そして、抽出された特徴を活用してモデルに学習させていく。

 こうして構築されたモデルに、新たな歌声のサンプルを提供すると、学習した内容を組み合わせて原曲と同じように歌わせられるという。このテクノロジーを活用すれば、「X」(旧twitter)で話題になった音楽生成AI「Suno」のようなことも可能となる。

 中国だけでなく、海外でも音声AIを使ったアプリが登場し、自分の声でいろいろな歌が気軽に歌えるようになる将来がやってくるだろう。日本のアニメやドラマが世界で人気になり、その主題歌も注目され、動画サイトでミュージックビデオがたくさん視聴され、さらに主題歌をAIに自分の声で歌わせて、それをSNSで共有するという流れも想像に難くない。

 中国のSNSではプライベートなものや、中国の動画配信サービス「哔哩哔哩」(ビリビリ)のような公開された場でのフォロワーとの共有のほか、全民K歌が歌手のオリジナル楽曲を使った公認のAI歌手カラオケコンテストをキャンペーンとして行っている。有名な歌手や楽曲をきっかけに同社カラオケサービスの利用者をさらに増やそうとしている。

 ちなみに、華為技術(ファーウェイ)も利用者の声をAIで学習させ、その音声で本や文章を読み上げるサービスを提供している。このサービスは、国慶節や春節などの家族団らんの場でAIテクノロジーの体験を楽しんだり、子どもに本を読んであげる時に代わりになったりするという使い方ができる。

 音声AIには倫理的な問題や悪用の危険性も存在する。一方で、本人の同意のもとに楽しく使えるサービスも提供されている。今後さらに意欲的なサービスが出てくることに期待したい。

COMMENTS


Recommended

TITLE
CATEGORY
DATE
IBM Research、世界初の2nmチップ技術を発表
IT関連
2021-05-07 11:09
ツイッター、クリエイターが収益を管理・分析するための新ツールをリリース
IT関連
2022-03-10 18:46
広告などの制作支援を行うレイ、社内業務システムの標準クラウドに「Oracle Cloud Infrastructure」導入
IT関連
2021-04-26 20:43
Ruby30周年イベント(後編):まつもと氏「Static Compiler for Ruby」を作りたい。道具立ては揃ってきた
Ruby
2023-03-03 08:33
VR内で終日勤務–集中力と生産性が高まる「無限」の作業場
IT関連
2022-04-23 15:57
Facebookは「Stop the Steal(選挙泥棒を止めろ)」関連投稿を全面排除の方向へ
ネットサービス
2021-01-13 17:12
クラロティ、医療向け高度サイバー脅威検出機能をリリース
IT関連
2024-03-17 02:12
フルスタックエンジニアから「フルサイクルエンジニア」へ。和田卓人氏による「組織に自動テストを根付かせる戦略」(その3)。ソフトウェア品質シンポジウム2022
CI/CD
2022-09-27 17:14
読売新聞子会社でクレカ情報流出 すでに767万円の金銭的被害も確認
セキュリティ
2021-07-15 04:15
Microsoft、「HoloLens 2」ベースの「IVAS」12万台を米陸軍に納入する約219億ドルの契約獲得
企業・業界動向
2021-04-02 02:47
カシオ、従業員の自律性を育成する人材管理システムを開発
IT関連
2022-03-11 09:27
Google Cloud、顧客のシステムを間違って全削除した大規模障害の原因を報告。プライベートクラウドの期間を1年と設定ミス
Google
2024-05-28 14:49
富士通、AI向けGPU最適化技術を発表–処理性能を最大2.25倍に向上
IT関連
2024-10-23 22:03
第3回:セキュリティとガバナンスに不可欠なデータ仮想化–多様なデータソースをシングルポイントで管理
IT関連
2021-03-01 20:14