COVER Tech 更新实时语音口型与表情技术文章

COVER 株式会社 9 月 24 日表示，技术博客「COVER Tech」更新了「连接『声音』与『表情』、实时读取语音的表现技术」一文，由 CTO 办公室 AI 工程师 K・M 撰写。 文章详细介绍自 2024 年 7 月底前后开始在 3D 直播与视频中逐步使用的自研实时口型同步技术。针对既有库不擅长日语与长音的问题，团队采用轻量的时序卷积网络 TCN，将语音分为 5 个元音及鼻音・爆破音、其他辅音共 7 类，延迟约 20ms，可低负载支持 10 人以上同时使用。通过对比さくらみこ 2023 年生日 live 与 hololive 0 期生 live「Ray of Jewelry」的歌唱片段，说明无响应、口型闭合的情况大幅减少，拓展了演出空间。 文章还介绍了 2026 年 6 月 24 日起「动起来」的 mekPark 与 holoAN 所用的语音情感识别与笑声检测：以最近 1.5 秒语音为基础、每 0.5 秒推断表情用情感类别，仅用一支麦克风即可自动切换插画。文中以由比河ひなみ 2026 年生日直播为例，说明无需摄像头也能实现眨眼、口型等简单动作，并提到 2026 年 3 月的大幅改修与 ASIO 对应等持续改进。