COVER Tech、「声」と「表情」をつなぐリアルタイム表現技術を更新

カバー株式会社は9月24日、技術ブログ「COVER Tech」で「『声』と『表情』をつなぐ。リアルタイムに音声を読み取る表現技術」を更新したと発表した。CTO室のAIエンジニアK・Mによる解説記事。 記事では、2024年7月末頃から3D配信・動画で使われ始めた内製のリアルタイムリップシンク技術を詳述。日本語やロングトーンを苦手とする既存ライブラリの課題を踏まえ、軽量なTemporal Convolutional Network（TCN）で音声を母音5種と鼻音・破裂音、その他子音の計7クラスに分類し、遅延20ms程度、低負荷で10人以上の同時利用にも対応できる設計とした。さくらみこ2023年生誕祭とホロ0期生ライブ「Ray of Jewelry」の歌唱比較で、反応しない箇所が大幅に減り演出の幅が広がったとしている。 さらに、2026年6月24日から「動く」ようになったmekParkやholoANで使う音声感情認識・笑い検知の仕組みも紹介。直近1.5秒の音声から0.5秒間隔で感情カテゴリを推定し、マイク一本でイラストの切り替えを自動制御する。由比河ひなみ2026年生誕配信での応用例にも触れ、カメラなしで目パチ・口パクを含む動きを付けられる可能性を示した。2026年3月の大幅改修やASIO対応など継続改善にも言及している。