ピアノの演奏動画から楽譜を自動作成 ディープラーニングで 京大と理研が技術開発 :Innovative Tech

今回は「ピアノの演奏動画から楽譜を自動作成 ディープラーニングで 京大と理研が技術開発 :Innovative Tech」についてご紹介します。

関連ワード (公開、執筆、音声等) についても参考にしながら、ぜひ本記事について議論していってくださいね。

本記事は、It Media News様で掲載されている内容を参考にしておりますので、より詳しく内容を知りたい方は、ページ下の元記事リンクより参照ください。


Innovative Tech:

このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

 京都大学と理化学研究所の研究チームが開発した「」は、Web上のピアノ演奏動画の音声データから楽譜を作成する、深層学習(ディープラーニング)を用いた自動変換システムだ。

 システムは、3段階で構成される。1段階目は、入力された動画の音の信号に対してMIDIシーケンスを深層学習ネットワークで推定(Multipitch detection)する。ピッチ解析用とベロシティ推定用のネットワークを別々で学習し、その出力を組み合わせてMIDIシーケンスを合成する。2段階目は、MIDIシーケンスのオンセット/オフセット時刻をクォンタイズし、拍単位で表現(Rhythm quantization)。3段階目は、クォンタイズされたMIDIシーケンスをMusicXMLファイルに変換する(Score typesetting)。

 このままでも音符レベルでは高い再現性を達成しているものの、全体の音楽特性(テンポや拍子の誤認、小節線の位置)を誤って推定するケースが見つかった。そこで、この出力結果から、全体の音楽特性を推定するための後処理手法を新たに構築した。

 これにより全体の音楽特性が改善され、精度が向上したという、Web上で公開されているピアノ演奏動画の音声データから楽譜を生成するタスクにおいて、実用レベルの出力結果を実証したとしている。

 では、実際にYouTube動画から作成した楽譜のサンプルを複数公開しており、出力結果を確認できる。

Copyright © ITmedia, Inc. All Rights Reserved.

大阪府警察 落とし物公開情報

落とし物の検索画面へ 落とし物検索画面を表示します ご利用にあたって 検索要領を表示します FAQ よくある質問を表示します 分類名 物品の分類などを表示します(新しいウインドウが開きます) 大阪府警察ホームページへ

素人画王 -毎日素人厳選ヌード画像を公開!無修正画像大量!-

華麗で美しい女性の卑猥な性癖を無修正で公開します。 14 鬼畜緊縛郷[SM] 変態牝犬奴隷、緊縛、虐待等 15 熟女ヌード部屋[無修正リンク] 塾女の局部丸見えヌードギャラリーへの直リンク 16 素人娘の裸体[無修正リンク] 厳選したA級素人

CLOCKUP オフィシャルサイト

アダルトゲームブランド「クロックアップ」公式サイト このウェブサイトには18歳以上を対象としたコンテンツが含まれています。 18歳未満の方の閲覧はご遠慮くださいますようよろしくお願い致します。

CHOUJIN ☆ WORLD - 超神☆わーるど

CHOUJIN WORLD

-yukari-

エロゲー・アダルトゲーム・18禁ゲームを制作している「縁-yukari-」のオフィシャルサイトです。 貴方は18才以上でアダルトコンテンツに興味がありますか?

さかあがりハリケーン official web site

(c) 2008-2011 GIGA All Rights Reserved.

小学館版学習まんが少年少女日本の歴史

期間限定・無料本棚

BALDR_SKY WEB

サイバーパンクアクション

アトリエかぐや公式ホームページ

このホームページには成人向けのコンテンツが含まれているため 18歳未満の方は入場できません。 情報はコチラから このホームページは解像度1024*768HighColor以上での表示を推奨致します。 すべてのページの掲載物はアトリエかぐやに帰属します。

映画『his』公式サイト|絶賛公開中!新宿武蔵野館ほか全国 ...

映画『his』公式サイト|絶賛公開中!新宿武蔵野館ほか全国ロードショー 映画『his』へ感動の声続々!! - Curated tweets by his_movie

超小型・最軽量 音声合成エンジン | 株式会社アクエスト

株式会社アクエスト(AQUEST)は、音声合成エンジン「AquesTalk」を開発しています。数100万台の製品に組み込まれている超小型軽量の音声読み上げライブラリです。

音声ダウンロードアプリ「LISTENING PRACTICE」(リスニング ...

桐原書店の第二弾アプリ無料音声ダウンロードアプリ 「LISTENING PRACTICE」(リスプラ)が誕生!桐原書店の教材の音声が、パソコンやCDプレイヤーがなくても、この「LISTENING PRACTICE」アプリで聴くことができます。

日本音響研究所 音声鑑定・声紋鑑定・音響分析・音声分析 ...

音声鑑定・声紋鑑定・音響分析・音声分析・音声鑑定・雑音除去減少・ノイズ除去減少 日本音響研究所 HOME 業務内容 鑑定・分析業務 ノイズ減少処理 講演会 商品開発 お問い合わせ 研究所案内 会社概要 沿革 代表取締役 鈴木創 声紋 ...

Twitter

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

日本経済新聞 電子版 × ラジオNIKKEI | ラジオNIKKEI

radiko.jpサイト へ移動します 「radiko.jp」は登録などの手続きなく、よりクリアな音声で手軽に番組をお聴きいただける無料のサービスです。 パソコンやスマートフォンなどでお聴きいただけます。 国内株に関するニュース、市場概況を中心に生放送でお送りするラジオNIKKEI第1の番組を、全てお ...

Audacity(音声ファイル編集)をMP3で書き出せるようにする

Audacity(音声ファイル編集)をMP3で書き出せるようにする Audacity はそのままではMP3形式でファイルを書き出すことができません。 MP3形式で直接書き出せれば、変換の手間もはぶけるし、ディスクの容量 も必要なく手便利なことがあり ...

Twitter

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

リバーブ追加で音を滑らかに仕上げる(Audacity)

リバーブを加えると音がまろやかに自然なります。 最後の仕上げにさりげなく使うといいです。 特にマイクで録音した物や、VOCALOID2などで音声合成したものとかに使うと効果的です。 ここでは オープンソースの音声編集ソフト Audacityを使ってリバーブのかけ方を説明します。

‎「音声をテキストに変換する - Speechy Lite」をApp Storeで

‎「音声をテキストに変換する - Speechy Lite」のレビューをチェック、カスタマー評価を比較、スクリーンショットと詳細情報を確認することができます。「音声をテキストに変換する - Speechy Lite」をダウンロードしてiPhone、iPad、iPod touchでお楽しみください。

美少女ゲーム専門音声制作AG-promotion

美少女ゲームの音響制作会社であるAG-promotionが所属声優育成のために特待生オーディションを開催します。美少女ゲームや歌、コスプレコンパニオンに興味のある方は是非ご参加下さい。 本オーディションは門戸を広く開くため、「興味はあるけど自信がない」等という方々も大歓迎です。

小説執筆ツール「notes」

執筆した小説はサーバ上に自動保存されるため、 pcでもスマホでも、デバイスに関係なく続きを執筆できます。 小説専用テキストエディタ +プライベート文章倉庫 自動保存 文字数カウンタ 進捗報告 エディタ色設定 シンプルな ...

各種論文執筆のためのスタイルフォーマット

和文論文執筆用スタイルファイル(LaTeX2e) ※技術研究報告(研究会発表論文)原稿作成にも御利用頂けます。 LaTeX2ε (アスキー版の pLaTeX2e に対応) 各スタイルファイル(*.sty),クラスファイル(*.cls)の利用方法については,アーカイブ展開後にできる【Readme.pdf】を御参照ください.

Twitter

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

Twitter

詳細の表示を試みましたが、サイトのオーナーによって制限されているため表示できません。

|竹田恒泰チャンネル2 執筆中 生放送3 - YouTube

来世も日本に生まれたくなる日本全史!古事記~令和『天皇の国史』https://amzn.to/33fO2dK『中学歴史 令和元年度文部科学省検定不合格教科書』https://amzn.to/3khb8XH 新チャンネル、【公式】竹田恒泰chおやつタイム はじめました!https://bit.ly/2E5lDdf-...

松井玲奈、小説執筆に意欲的「長いものに挑戦したい」 出版 ...

 元SKE48の女優、松井玲奈(29)が13日、オンラインで小説「累々」(集英社、税抜き1400円)の出版イベントを開いた。結婚、セフレ、パパ活など短編5作を収…

野口悠紀雄Online

野口悠紀雄の自著紹介の他、読書案内や音楽鑑賞のページ、「超」整理手帳のコミュニティサイトなどがあります。 2021年03 ...

あんちゃ / 執筆屋 (@nomad_minimal_ancha) • Instagram ...

7,535 Followers, 60 Following, 146 Posts - See Instagram photos and videos from あんちゃ / 執筆屋 (@nomad_minimal_ancha)

原稿執筆要領・提出必要書類等|電子情報通信学会

執筆要項 こちら >>>Top pageへ戻る SITEMAP 電子情報通信とは?電子情報通信早わかり 電子情報通信知識ベース 単行本の紹介 電子情報通信学会からの提言 電子情報通信の未来 電子情報通信学会の紹介 トピックス 会告、通知 ...

尾崎世界観が又吉直樹、村田沙耶香と『ボクらの時代』出演 ...

クリープハイプの尾崎世界観(Vo,G)が、2月28日放送の『ボクらの時代』(フジテレビ系)に出演する。『ボクらの時代』は、毎回様々なジャンルで活躍するゲストを迎えて、多彩な話題や事象を取り上げるトーク番組。28日の...

COMMENTS


11158:
2021-03-19 20:41

音声オン、全画面にして再生してくれよ

11162:
2021-03-19 20:22

ゲーマーヒロインが……流行ってる……!? つまり今なら……! 今ならタルコフでソロ漁りする女の子や、連邦でミニッツメン率いる女の子の音声を作れる……!?

11157:
2021-03-19 20:12

【uber魂募集 】 ただいまから狐耳和風の女の子の魂募集を開始します。 第1回締め切りは3月20日23:59までです⏳ 応募には「自己紹介動画(音声のみ可)」が必要になります。詳しくは応募フォームからご確認ください? ご応募お…

11153:
2021-03-19 18:17

よし!いつもの毎日の更新と 公式ブログに記事をUP出来たので 少し休憩したらご飯を食べて 食後に音声を取って配信し それから有料コンテンツ作りの 続きをやっていきます? やることたくさんあるけど 1つ1つ取り組みます?

11154:
2021-03-19 16:48

インターホン応対や電話に使える感じの音声らしい

11160:
2021-03-19 12:35

衝撃の新事実! そうですか、ナゾ音声だったんですか。 はーたらっく ゆっうーふぉおー♪

11161:
2021-03-19 07:55

えっちな音声作品からは抜けられんよ!

11156:
2021-03-19 07:07

ちなみに音声参加する前学年LINEでLIVEしてた時に推しが歌ってて可愛かった(音声参加したら寝ながらスマホいじってたしぬ)

11151:
2021-03-19 04:01

予算質疑終了。鈴木宗男さんに「お前の過去はいろいろ知ってるんだ!」と恫喝する小西洋之議員に、「恫喝は辞めろ!」と口論するの図。動画に音声残ってるかな。

11155:
2021-03-19 03:10

一昨年「手話で創る脚本教室」をご一緒した早瀬憲太郎さんと公開座談会(配信)やります? 「手話による脚本の創り方を考える」 3/20(土)18:30-20:00 参加無料 定員・締切なし 申込はウェビナー登録を? co/Ls…

11159:
2021-03-19 02:05

【音声なし】唯一の解決策 ホアン・O・サヴィン 2021/03/10 @YouTubeより

11152:
2021-03-19 01:45

キャラクターシートと自己紹介音声を渡したら出来上がって10回転生しました。

Recommended

TITLE
CATEGORY
DATE
“ダイパリメイク”、11月19日発売 新作「アルセウス」は22年1月末に
くらテク
2021-05-28 02:57
ハイレゾ配信「Amazon Music HD」日本でも追加料金不要に
社会とIT
2021-06-10 19:55
KDDIとJAL、遠隔操縦者1人でドローン3機の同時運航に成功
IT関連
2024-07-03 00:21
マイクロソフト、オープンソースの分散アプリケーションランタイム「Dapr 1.0」リリース。Kubernetes対応、サービス間メッセージング、ステート管理など提供
Dapr
2021-02-22 17:29
Oculus、審査なしでVRアプリを販売できるサービス 非公式ストアとも連携
企業・業界動向
2021-02-04 23:52
生産技術代行商社のヤスヒラ、マネージド型脅威検知・対応でセキュリティ対策を強化
IT関連
2024-11-21 21:46
LINEに“いいね”風の新機能 スマホアプリ版に「リアクション」追加
企業・業界動向
2021-08-03 04:28
富士通、AI向けGPU最適化技術を発表–処理性能を最大2.25倍に向上
IT関連
2024-10-23 22:03
オラクルがクラウド時代に企業へアピールするアプリケーションの姿
IT関連
2022-11-16 21:03
中国政府、ディープフェイク悪用防止の基本規則を発行
IT関連
2022-12-17 09:59
Salesforceで障害か 「ログインできない」報告相次ぐ【追記あり】
クラウドユーザー
2021-05-13 06:35
マスク着けたまま顔認証、マスクなしと同等の精度99%を実現 富士通がレジなし店舗に導入
セキュリティ
2021-01-22 13:34
アクセラレータープログラムCode Republicがデモデイ開催、第10期採択企業4社と卒業企業1社が事業内容を発表
IT関連
2022-02-22 02:03
オンラインRPGでAWSを学ぶ「AWS Cloud Quest」/登大遊氏はインチキネットワークの普及に取り組む/Electronの代替を狙うRust製「Tauri」ほか、2022年3月の人気記事
編集後記
2022-04-08 14:45