在AI眼中岛国老师该是什么声音?

AI百科6个月前更新 快创云
64 0

如果提到岛国老师,你脑子里会盘旋什么 BGM?是 FBI Warning 后经典的 TokyoHot 片头曲,还是 P 站的片头曲?

PS:老司机们先别急着开车,说些类似谁谁谁没去过这俩地方客串的话,咱这里不讨论这个。

之所以我提到 TokyoHot 片头曲和 P 站片头曲,还不是因为这俩 BGM 太过深入人心, 或多或少的陪伴过咱们。

换句话说,提到老师们时,脑子里所盘旋着的 BGM 极大概率是根据我们心里为其所打标签而出现的。

那如果让 AI 来识别老师们的照片,并自动为其作曲呢?

浅试了一下深田咏美老师的照片,仅仅 1 分钟左右的时间,AI 就生成了一段 30 秒的音频。

潮气满满、颇具节奏还带一丝搞怪的曲调是 AI 对这张深甜咏美老师照片的评价,可能 AI 也从照片中嗅到了深田咏美老师那一丝大气时尚。

别老停留在 AI 作画了,今年可是 AIGC 的破圈「元年」。

除了文本、作画,创曲也是 AI 创作的一环,而且体验起来并不麻烦,仅仅需要一段描述、一张图片就能制作出不同风格的 BGM。

只用深田咏美老师的一张照片评判 AI 创曲的效果难免有失公允,我多试了几次,不妨一起来听听看它的表现。

文生曲

利用图片来生成 AI 音乐,这背后的原理,相信大家也能猜到,简单说,就是和 AI 作画反着来——先利用类似 CLIP-Interrogator 这个项目为图片生成文字描述,再把文字描述转接到 AI 作曲的项目中来。

所以这里我们先来试试利用文字描述来作曲的项目,AI 社区 Hugging Face 里的 Text-to-Music。

文生曲的操作和之前分享的那几个文生图的操作类似,我们只用在项目界面里输入自己的邮箱和 prompt(描述语),然后选择生成的音频时间,提交后就能获得一段有趣的曲子。

比如关键词是「狗,温柔,美好」,当然,这个英文输入的项目咱们得翻译成「Dog, gentle, beautiful」。

稍等片刻,一段 30 秒不紧不慢,温柔美好的小曲就这么诞生了:

在项目的下方,还标注有 AI 对这段配乐的认知,也就是标签——钢琴、摇篮曲、管弦乐。

那如果我想要一段大气一点,具有史诗感、舞台风的曲调呢?我在输入「美人、史诗风格、舞台」的描述词后,得到了一段听着像是舞台走秀的 BGM。

为了进一步了解这个项目的实现原理,我找到了这个项目调用的接口,背后其实是 Mubert,一个 AI 作曲的平台。

注册了账自己试了试,并结合官网内的介绍,我发现与其说是 AI 作曲,不如说是 AI 组曲,这个平台买了百万 + 的音乐版权,依靠 AI 实现识别、分类,并打上标签,根据选择生成一段全新的音乐。

图生曲

好了,既然说完了图生曲背后的原理,那该到正题了,图片照片是 AI 平台内另外一个项目 Img-to-Music。

我先试了三上老师发布时的照片,放心,是正儿八经的照片:

生成的音频也带着那股子正儿八经,岁月静好,大气温柔的味道,有理由怀疑是我用得图太正经才导致的。

所以我试了一张三上老师的,这次咱先听曲,再看图。

曲子很轻快,给我一种闪亮精致略带迷离的感觉,那图呢?不卖关子了,大家直接来看:

确实,三上老师的这张图精致感拉满。

其实除了深田、三上两位老师,我还试了一些具有代表性的图,比如深海鲨鱼

比如深海美人鱼:

前者深海感十足,后者又颇具探索味道,仿佛要开启一段新的探险。

至于下面这张图,很奇妙的是,AI 为我生成了一段夹杂风声白噪音的曲子:

等等,既然图片能生成曲子,AI 又能自己作图,那能不能让 AI 作图后自己配曲呢?

我本想着去拿百度之前那个飞桨文生图试试看,Text-2-Img-2-Music-Video 的项目,你没看错,这个套娃真的整起活来了。

我们只要输入图片的描述词,选择风格后,它会为我们生成一段拥有配乐的视频。

我用项目内提供的例子,赛博朋克版的蒙娜丽莎试了试效果,直接来看视频,只能说有那赛博味了。

结语

当然了,AI 作曲也有翻车的时候,我在查资料的时候,看到有小伙伴说,梵高的名画《星月夜》可以让 AI 生成外放会社死的配乐。

因为每次生成的配乐都是随机的,为了能让大家享受社死,我对着这些项目苦熬了十几次,才得到一个有那么点意思的曲子。

这次友情提示写到前头,这段曲咱还是戴耳机的时候听吧,可别再怪我说晚了啊。

随机性强,识别不够准确可能是现阶段文生曲、图生曲的弊端,但随着这些项目日新月异的发展,说不定哪天它们就站起来了呢?

我把上面提到的项目都放这里了,虽然是国外的 AI 平台上的项目,但都是免翻能直接用的,感兴趣的小伙伴快去试试吧。

文生曲:

https//huggingface.co/spaces/Mubert/Text-to-Music

图生文:

https//huggingface.co/spaces/pharma/CLIP-Interrogator

文生曲:

https//huggingface.co/spaces/fffiloni/img-to-music

文生图再生曲:

https//huggingface.co/spaces/DGSpitzer/TXT-2-IMG-2-MUSIC-2-VIDEO

© 版权声明

相关文章