音メディア知能研究室

澤田 隼 助教

教員紹介

メディア知能研究室では、音楽や音声を中心としたメディアを、人工知能（AI）や機械学習などの技術を用いて解明し、音楽の構造や意味、演奏の表現、音声の感情や個性などを解析・モデル化し、新たなメディア技術の開発と人間理解の深化を目指しています。
また近年では、声質変換や感情認識、表情豊かな合成音声・歌声の生成といった、音声メディアに関する研究も進めています。そのほか、画像・動画・自然言語など他のメディアへのAI応用、AIそのものの技術開発、認知心理学と連携した人間理解の研究も歓迎しています。
人々の心を豊かにするコンテンツや体験を情報技術を活用して開発・研究する分野としてエンターテインメントコンピューティングがあります。音楽、映画、アニメーション、ゲーム、VR、インタラクションデザインなど、さまざまな分野が組み合わさっています。皆さんの中にも、こうした分野に関心を持っている人は多いのではないでしょうか？
「なぜおもしろいのか？」
「どうしたらおもしろくなるのか？」
「おもしろいとは何か？」
といった問いを追求すれば、世界的にも学問分野として認知されている立派な研究分野です。
本研究室では好奇心や自由な発想、クリエイティブな感性を大切にし、技術とアイデアを融合させたユニークな研究ができる環境作りを目指しています。

こんな人におすすめ！
・音楽が好きで、音楽の研究をしてみたい
・AIや最新技術に興味がある
・クリエイティブなことが好きで、新しいことにチャレンジしたい
・アイデアを形にすることが好き

私たちの身のまわりにある音楽には、ギター、ピアノ、トランペット、サックスなど、さまざまな楽器が使われています。では、楽譜だけを見て「その楽譜がどの楽器で演奏されるものか」を自動で見分けることはできるでしょうか？
こうした「楽譜から演奏される楽器をAIで判別する技術」は、楽器の理解や音楽検索、自動作曲など、幅広い応用が期待される重要な研究テーマです。

通常、楽器の分類には「音そのもの（録音された音など）」を使いますが、本研究では、音色などの情報を含まない楽譜データ（MIDI）だけを使って、演奏している楽器を推定するという課題に挑んでいます。
この課題に対して、次のようなアプローチで取り組んでいます。

「楽器の音に詳しいAI」から教えてもらいながら学ぶ「楽譜を読むAI」（知識蒸留）：
まず、録音された音から楽器を判別することができる「楽器の音に詳しいAI」を学習させ、その知識を「楽譜を読むAI」に教えることで、楽譜だけでも楽器をうまく分類できるようにする仕組みを作りました。これは「知識蒸留」という手法を応用したものです。
    
音と楽譜の関係を学習する（コントラスト学習）：
ある演奏の「音」とその「楽譜」が対応していることを使って、音と楽譜の関係を学ぶAIモデルを開発しました。このモデルを使うことで、楽譜だけでも楽器の特徴をより深く理解できるようになります。
    
このように、音の知識を活かす工夫を取り入れることで、楽譜からでも楽器を賢く判断できるAIを作る研究を進めています。

ドラム演奏には、次にどの音を叩くかの「流れ」やそこから形成されるドラムパターンの「つながり方」にある種の文法のようなルールをつくることができます。この研究では、ドラムパターンがどのパターンに移るかをモデル化し、ある曲のドラムを別の楽曲のドラムパターンに自然に置き換える技術を開発しました。

ドラムの「言い回し」を変えても意味が通じるような、音楽のリズム文法を活かした変換技術といえます。

音楽と言葉には、「小さな単位がつながって大きなまとまりをつくる」という点など様々な共通点があります。
たとえば、「文字」が組み合わさって「単語」になり、「単語」がつながって「文」になるように、音楽でも「音」が集まって「フレーズ」を形づくると考えることができます。

この研究では、メロディにおける文法のような自然な区切りや流れを、コンピュータが自動で学ぶ技術を開発しています。言葉の意味を理解するAIの技術を応用して、メロディの「意味のまとまり（フレーズ）」を見つけたり、似た旋律を集めたりすることもできます。また、音楽の文法を学ぶことができれば音楽の構造をより深く理解できるだけでなく、新しい音楽の自動生成や検索、分析の手助けにもつながります。