歌謡曲の歌詞を書き出す方法を実験｜画像生成と会話するAIの魅力と可能性
https://note.com/chat_gpt777/n/ne1148f2e558f
聴覚障碍者の方が歌謡曲等歌詞の入っている歌を「目で見ることが出来ない」また「見てみたい」ということを知った。普通は聞いている歌謡曲から歌詞をテキストを抽出できないか？生成AIを使って実現できないか。簡単な実験をやってみた。
ユーチューブから「雨の駅裏」村上幸子という曲を録音してデータmp3を作成する。音楽と歌が交じり合っている状態。伴奏と音声が同時に流れてくる。これが歌謡曲ですね。そこから歌詞を検出できるか、試してみた。音声だけ、アカペラのようなものだと良いけれどなかなかない。
Gemini1.5Proにデータをアップして、「この歌の歌詞を書き出してください」と指示すると、歌詞を書き出してくれた。1番から3番までかなり正しく抽出してくれるが厳しくみて70%位正解かな？
次に歌詞がアップしてあるサイトを探すとここにUta-net「https://www.uta-net.com/song/289973/」あった。ここは歌詞を見ることは出来るが、コピーは出来ない。
また生成AIに「雨の駅裏」の歌詞を教えてと指示すると、著作権法違反になるので、歌詞は出すことは出来ないと断られてしまった。（各種の生成AIも試してみましたが同じでした）geminiは歌詞のあるurl、YouTubeを紹介してくれました。
そこで歌詞のあるページをキャプチャーして、画像にしておいてGemini1.5Proに「この画像に書いてあるテキストを全文書き出してください。」と指示すると歌詞を全文書き出してくれました。間違いは一つもなかった。
歌のデータから抽出した歌詞と比べたのが次の図です。
今回は歌詞、ユーチューブがあって確認しやすい素材だったけれど、有名でない人の自作の歌などを録音しておいて、そこから抽出するのにもGemini1.5Pro有効だと思う。よくできている。ただ抽出した歌詞と原音を耳の聞こえる人がチェックして手直しが必要になりますね。一から耳コピーをするのに比べると格段に簡単ですね。
Untitled prompt | Google AI Studio（Gemini1.5Pro）
https://aistudio.google.com/app/prompts/new_chat?hl=ja
雨の駅裏村上幸子 - YouTube
https://www.youtube.com/watch?v=9BJFFthMjdI
Uta-net（雨の駅裏）
https://www.uta-net.com/song/289973/
