Research

モーフィングを用いたコード進行生成

ある楽曲のコード進行を変更することで楽曲の雰囲気などに変化をつけることをリハーモナイゼーションといいます.
元のコード進行とリハーモナイゼーション後のコード進行を少数学習し,モーフィングを行うことで, 多彩なリハーモナイゼーションを生成できると期待されます.本研究では,Variational Auto Encoder を用いてこのモーフィングを実現しました.
また,潜在空間上で操作できるアプリケーションも作成しました.ユーザは,潜在空間上にプロットされた元のコード進行及びリハーモナイズされたコード進 行を参考に,新たにコード進行を生成し,視聴することができます.


Picognizer (共同研究)

※ 音響イベント検出部の実装・評価を担当しました

Picognizerは,JavaScriptのみで記述された電子音検出・認識のためのオープンソースライブラリです.
ゲーム音,録音し再生された人間の声や音楽、電子機器の通知音などの検出を行えます.
機械学習は用いておらず,Webブラウザ単体で動作します.

ソースコードはこちら

デモ動画はこちら


時間周波数情報に着目した音楽番組からの楽曲区間抽出


音楽番組の頭出しのような視聴支援や音楽情報検索を目的として,楽曲区間を抽出するにあたり, クロマベクトルの時間情報に着目し,音楽番組から楽曲区間を抽出する手法を提案しています.
クロマベクトルでは,楽曲部分は時間方向に連続成分が続き,それ以外の区間は周波数方向に成分が続いたり 不連続であったりすることから,時間方向に続く成分を抽出・指標化し,閾値処理によって楽曲区間の判別を行います.
具体的には,クロマベクトルの各フレームのピーク位置において8近傍の値から時間方向と周波数方向の曲率を算出し, 時間方向に緩やかな場合に1,それ以外は0となるマスクを生成し,ノイズ除去を行うために平滑化フィルタ (メディアンフィルタ,ガウシアンフィルタ,バイラテラルフィルタ)を適用します.


楽曲圧縮による音楽要素の認識への影響

近年,楽曲のダウンロード販売やストリーミング配信に伴い,多数のエンコードファイル (MP3, AAC, OGG, etc.)が見受けられます. 圧縮によって周波数特性が変化するため,これらのファイルを用いて周波数解析を行って音楽要素を認識する場合,影響を及ぼす 可能性があります.本研究は楽曲に対する圧縮の影響を調べるにあたり,客観音質評価や学習ベースの和音認識手法を用いて, 特徴量の解析を行いました.