Netflix携手加拿大初创公司Resemble AI,以声音复制技术重现安迪·沃荷之声,为纪录片《安迪‧沃荷:时代日记》增添独特魅力。此纪录片不仅让观众得以聆听这位艺术巨匠的亲自叙述,更深刻感受其生平故事。(来源:视频截屏)
在2022年,Netflix推出了以艺术先驱安迪·沃荷为主题的记录片《安迪‧沃荷:时代日记》。借助生成式AI的力量,通过声音模拟技术,使安迪·沃荷的原始声音得以在片中作为旁白,让观众在聆听艺术家本人的声音的同时,沉浸于他的非凡人生故事。
这一技术的幕后推手是来自加拿大的声音科技创业公司Resemble AI,该公司今年成功筹集了800万美元的A轮融资。Resemble AI不仅提供声音复制和即时翻译服务,还成为了超过上万名游戏主播的得力工具。
从游戏直播到日常生活:Resemble AI的声音科技之旅
为何游戏主播需要“声音转换”服务?因为通过变声效果营造的氛围能更轻松地吸引观众进入游戏场景,提升沉浸感,甚至帮助主播塑造鲜明的个人特色,从而在竞争中脱颖而出。
2019年,Resemble AI的创始人Zohaib Ahmed在职业转型之际,凭借自己在游戏产业的工作经历以及人工智能技术的背景,决定运用AI提供声音转换服务,从而创立了Resemble AI,旨在通过语音为核心的新体验。
最初,Resemble AI主要与游戏直播产业合作,只需主播提供3分钟的原声参考音频,就能通过深度学习技术训练计算机复制其说话语气。主播只需列出希望AI协助创造的句子,系统就会以主播的声音读取这些句子,甚至可以根据主播的喜好调整情绪、语调,使转换出的声音更加真实。
据Zohaib Ahmed透露,目前Resemble AI的用户已超过100万人,合作的企业伙伴也超过了200家,包括音乐制作人、游戏工作室等。随着企业规模的扩大,Resemble AI也开始提供多样化的声音转换应用服务,包括将声音复制功能应用于多语言翻译领域。用户只需提供音频及希望转换成的翻译文本,就能在短短几分钟内收到转换成不同语言的音频,从而帮助内容创作者更好地与全球粉丝互动。
目前,Resemble AI提供两种付费方案:每月24美元的入门方案和每月449美元的专业方案,同时也提供根据企业需求定制的解决方案。
为了应对可能的伦理问题,Resemble AI采取了多项措施。例如,在用户进行新声音转换项目前,系统会要求用户录制一段系统随机指定的句子或上传一段想要复制的文件作为声音建模的标准和类声音切结书(consent clip)。如果后续上传的音频与模型不符,系统就会限制用户的权限。此外,Resemble AI还推出了“PerTh Watermarker”声音服务在音频中加入难以察觉的间断性音频作为浮水印(inaudible watermark),以便日后辨别音频是否经过AI处理。
Zohaib Ahmed表示作为研究者及企业家他们深知所提供服务可能带来的影响因此致力于保护声音来源的权益。同时他们宣布即将开放PerTh Watermarker服务的源代码供其他有需要的软件开发者使用。
尽管新科技的推出伴随着诸多风险但Resemble AI始终坚守AI应用的基本原则包括公开算法、告知用户程序运行机制以及确保产品可追溯性。在与Netflix合作推出纪录片后Zohaib Ahmed在《Frieze》专访中表示尽管AI技术在艺术界引发了诸多讨论但他坚信生成式AI能够带来前所未有的改变并指出:“生成式AI的出现让过去不可能的应用成为可能。”