COVER Tech 更新即時語音口型與表情技術文章

COVER 株式會社 9 月 24 日表示，技術部落格「COVER Tech」更新了「連接『聲音』與『表情』、即時讀取語音的表現技術」一文，由 CTO 辦公室 AI 工程師 K・M 撰寫。 文章詳細介紹自 2024 年 7 月底前後開始在 3D 直播與影片中逐步使用的自研即時口型同步技術。針對既有函式庫不擅長日語與長音的問題，團隊採用輕量的時序卷積網路 TCN，將語音分為 5 個母音及鼻音・爆破音、其他子音共 7 類，延遲約 20ms，可低負載支援 10 人以上同時使用。透過對比さくらみこ 2023 年生日 live 與 hololive 0 期生 live「Ray of Jewelry」的歌唱片段，說明無反應、口型閉合的情況大幅減少，拓展了演出空間。 文章還介紹了 2026 年 6 月 24 日起「動起來」的 mekPark 與 holoAN 所用的語音情感辨識與笑聲偵測：以最近 1.5 秒語音為基礎、每 0.5 秒推斷表情用情感類別，僅用一支麥克風即可自動切換插畫。文中以由比河ひなみ 2026 年生日直播為例，說明無需攝影機也能實現眨眼、口型等簡單動作，並提到 2026 年 3 月的大幅改修與 ASIO 對應等持續改進。