第15回 古川聖「マッシュアップ ベートーヴェン」

　小川先生のエッセイ（https://www.pac.geidai.ac.jp/post/essay10）でも紹介されましたが、12月16日の250年目のベートーヴェンの誕生日に東京藝術大学 COI拠点と演奏藝術センターの共催で行われる「AIベートーヴェン」というオンライン・コンサートで “ベートーヴェン ミーツ「オズの魔法使い」”という作品を発表します。私が(株)coton社の森本洋太さんと共同で行っている、このAI（人工知能）を使った、あたらしいプロジェクトについてその背景も含め書いてみたいと思います。

- アルチンボルド？知っていますか

　イタリア、マニエリスムの画家、アルチンボルドを知っていますか。きっと、あの花や果物、植物の組み合わせにより描かれた不思議な肖像画を目にしたことがあると思います。

　全体を見ると人の顔に見えるのに、細部を見ると花や果物が見えるという視覚の二重性の揺れが楽しですね。

　私たちがAIを使って行うプロジェクトは、考え方としてちょっとこれに似ているところがあります。

アルチンボルド　『四季』より『夏』

　まず、ベートーヴェンのある音楽作品（今回は「エリーゼのために」）の録音データを数千の音の短い断片に切り刻みます。そしてAIを使いその断片を全く異なるほかの音楽作品の録音データ（今回は「オズの魔法使い」）と比べ、「オズの魔法使い」に聴こえるように並べ替えます。また反対に数千の音の短い断片になった「オズの魔法使い」を「エリーゼのために」に聴こえるように並べ替えます。（AI風の言い方だとベートーヴェン音楽作品を教師にして機械学習にかけるといいます。）

　このように音楽を切り刻み、短い断片にしてしまい、それから新たなものを作り出す行為はDJイベントなどで使われる手法であるマッシュアップ（Mashup）によく似ています。

ヴィクター・ フレミング　「オズの魔法使い」

- 今日の音楽聴取

　さて、このプロジェクトの目標、私たちの制作の意図をお伝えするためにまず、私たちの時代、私を取り囲む、今日の音楽聴取の特殊性について説明したいと思います。

　ベートーヴェン自身は作曲者であるにも関わらず、まだ絶対主義の時代であった当時には今日のようなコンサートエージェントも録音技術もなかったので、生演奏を前提とする“運命”交響曲をベートーベン自身、おそらく生涯には10回も聴いていないのではないでしょうか。

　ベートーヴェンの音楽は本来、その音楽の中に出てくるモティーフを目印に、その場で脳が音楽を記憶し、切り貼りし、音楽形式の枠のなかで短期記憶を組み合わせて理解するものであり、演奏が終われば大半は忘れ去ってしまうようなものだったはずなのですが、今日、複製技術の発達により、現代のベートーヴェン・ファンはCDやWEBなどの複製音源を通し“運命”何百回も聞いていて、それらは言わば、長期記憶に定着してしまっている状況にあります。

　つまりベートーヴェンの時代と現代とでは音楽の聴取は大きく異なっていて、結果、現代の私たちは“運命”の断片を聞いただけでも“運命”交響曲が長期記憶から引っ張り出され、想起されるようなベートーヴェン当時とは異なる状況下にあります。

- 耳の冒険、あたらしい音楽体験のデザイン

　このプロジェクトの目的は、私たちが今日の音楽聴取において持っている堅牢な長期記憶を利用し、作品の二重性を楽しむという、あたらしい音楽体験、音楽の違った楽しみ方、耳の冒険を、AIを使いデザインすることです。

　私たちの脳は「エリーゼのために」という長期記憶に記憶されたメロディーに沿って、「オズの魔法使い」の短い断片の連なりの中に「エリーゼのために」を探し組み立て、意識は長期記憶のなかに広がるベートーヴェンと「オズの魔法使い」との間を行き来し、めまいのように脳全体を揺すぶるような、あたらしい聴き方を体験します。

　12月16日に行われるオンラインコンサートにいらしていただき、是非、このあたらしい聴き方を楽しんでください！

テスト映像などは以下のHPにあります。

http://furukawalab.org/project/aibeethoven/　

ベートーヴェン「エリーゼのために」　演奏：谷原佐智

古川 聖

（東京藝術大学美術学部 先端芸術表現科教授）

---

「AIベートーヴェン」　

2020年12⽉16⽇（水) 16時/19時 ２回配信

http://innovation.geidai.ac.jp

2020年冬、ベートーヴェン⽣誕250年を記念して、ベートーヴェン作品を題材とし、AI技術を用いた４つの作品によるオンライン演奏会『AI ベートーヴェン』を開催する。

AIが持っている多様な可能性を追求するという新しい「Music Experiments」。

演奏終了後、参加メンバーによるパネル・ディスカッションを行う。

参加作品：

《ベートーヴェンの音高による6つの歌 / Sechs Lieder von Beethoven》

大久保雅基［名古屋芸術大学］

＞人工知能（AI）を使って、ベートーヴェンが残した文章をメロディー化し、それを元に新しい音楽を創作する。

《Beethoven Complex / ベートーヴェン・コンプレックス》

大谷紀子［東京都市大学］with 小川 類［東京藝術大学 COI拠点］

＞ベートーヴェン作品と他の作曲家の作品と組み合わせ、AIにより新しい音楽素材にして構築する作品＋コンテンポラリー・ダンス（振付・ダンス：深澤南土実、吉田駿太朗）

《ベートーヴェンが蘇り現代の女性に恋したら、どのような“エリーゼのために”を作るか》

後藤 英［東京藝術大学 音楽環境創造科］

＞顔認識のAIにより、その人物の魅力度や年齢などが分析され、そのデータをもとにベートーヴェンが恋をして、さらに音楽のAIにより作曲をする。

《ベートーベン ミーツ「オズの魔法使い」》

古川 聖［東京藝術大学 先端芸術表現科］

＞ベートーヴェンの音楽が「オズの魔法使い」に生まれ変わり、「オズの魔法使い」がベートーヴェンの音楽に生まれ変わる。

主催：東京藝術大学 COI拠点 デザイニング ミュージック＆サイエンス グループ

共催：東京藝術大学 演奏藝術センター

協賛：日本AI音楽学会〈JAIMS〉

後援：先端芸術音楽創作学会〈JSSA〉

---

古川 聖　Kiyoshi Furukawa

ベルリン芸術大学、ハンブルク音楽演劇大学にて尹 伊桑、G.Ligetiのもとで作曲を学ぶ。作曲・音楽理論修士、スタンフォード大学で客員作曲家、ハンブルク音楽演劇大学で助手、講師を経てドイツのカールスルーエ ZKM でアーティスト研究員。作品は新しいメディアや科学と音楽の接点において成立するものが多く、1997年のZKM の新館のオープニングでは委嘱をうけて、マルチメディアオペラ『まだ生まれぬ神々へ』を制作・作曲。多くの受賞歴がある。東京藝術大学・先端芸術表現科教授。

---

つながるベートーヴェンエッセイへ戻る