拍手を対象としたオノマトペ付与による漫画風変換

田村陽輝 , 小玉周平 , 森谷友昭 , 高橋時市郎

映像表現・芸術科学フォーラム2025

実世界での動きに対してオノマトペを付与し，リアルタイムに漫画風変換する手法を提案する．本研究では，拍手のシーンを対象として拍手時に発生する衝突音からリアルタイムにオノマトペを推定し，衝突位置に推定したオノマトペを配置し，MRデバイス上で視覚化する．ハンドトラッキングによって両手の衝突位置を検出し，音声処理によってオノマトペの種類とサイズを推定し，最後に画像処理によって漫画風変換を行う．評価実験を実施し，提案手法は被験者から好意的な評価を得た．オノマトペの付与による実世界の漫画化を実現し，没入感の高い漫画風世界を構築できたことを示す．