ピアノを練習する人の多くは、伴奏をつけることに苦労しています。
既存の伴奏生成システムでは、五線譜に正しく変換できるものはほとんどありません。

そこで情報工学科4年の花房青空さん（中沢実 研究室）は、深層学習（Deep Learning）を用いて伴奏をメロディから自動で生成するシステムを開発し、実現しました。

【当研究の概要】

花房さんはまず222個のクラシック音楽を主とした楽譜が用意されている既存の楽譜データセットを深層学習に使用することにしました。これらの楽譜ファイルを深層学習で使用できるよう数値に変換し、変換の際には、学習の煩雑さを軽減するため、音階推移と音長推移 [1] の2つに分けて学習モデルを生成しました。

音階推移学習モデルには、前方向と後ろ方向の両方から値を処理でき、前後の関係が重要である音楽に適することから、ニューラルネットワークの一つである双方向LSTM（Long Short Term Memory）を使用。

また音長推移学習には、画像や小説、音楽などに使われるディープラーニングモデルであるGAN(Generative Adversarial Networks)〔敵対的生成ネットワークとも呼ばれる〕を使用しました。

メロディの入力に使われるMIDIキーボードには、音の長さを音符の種類として取得する機能がないため、「BPM」（Beats Per Minute）が120の状態で演奏されていると仮定し、それに応じた秒数で音符の種類を当てはめることで、学習時と同様の形状に変換しました。

また音楽らしさを高めるため、音楽理論に基づき、メロディの調における3和音を3種類、音の高さは7段階分用意。学習モデルを通して得られた音階から、用意した3和音と最も近しい値に自動変換することで、伴奏音を調整しました。

その結果、MIDIキーボードでメロディを入力すると、以下のデモ動画のようにメロディと協調性を持つ伴奏が生成されるに至りました。

情報工学科4年の花房青空 さんが開発した伴奏生成システムのデモ動画

音楽生成の研究分野では定量的な評価基準がなく、加えて個々人の感性や音楽経験の有無に大きく左右されるため、今後、有用的と考えられる評価基準が確立されることが期待されます。

[1] 音階推移と音長推移

情報工学科では2025年2月13日（木）、14日（金）の2日間、金沢工業大学扇が丘キャンパス8号館で1年間の研究成果について公開発表を行う「プロジェクトデザインⅢ公開発表審査会」を開催します。

花房さんは当研究成果を、8号館8.506室で2月13日（木）13時30分から15時50分まで行われる中沢実研究室の発表時間帯において、発表します。

詳細は以下のサイトにてご確認ください。

学部4年生が1年間の研究成果について公開発表する「プロジェクトデザインⅢ公開発表審査会」開催。2025年2月13日（木）、14日（金）の2日間、金沢工業大学扇が丘キャンパスで

（関連ページ）

金沢工業大学研究室ガイド　情報理威廉希尔中文网站 情報工学科　中沢実 研究室