映像と音声の話（＋AE設定備忘録）（12/19）

最近ヘッドホンから異音がして困っています。TDL.動画班のにすいです。
まだ買ってからそれほど経っていないのですが…
それはそうとして、みなさんは動画と音声がずれているような違和感を覚えたことはありませんか？
今回はそんなお話です。

オーディオ同期オブジェクトの違和感

最近は音楽系サブスク型ストーミングサービスの拡大でちょっと情勢が異なるかもしれませんが、
Youtubeやtwitter,ニコニコ動画の普及などで、楽曲が動画として公開されていることも多いですよね。
そんな動画公開楽曲の映像部分の定番オブジェクトと言えばオーディオウェーブフォームやオーディオスペクトラムです。
ちょっと変わり種で、音量に同期してオブジェクトが動くものもあります。
いろんなところで見かけますし、実際私もクロスフェードなどで多用しています。

音楽に連動するオブジェクト（なまえをいれてくださいクロスフェードより）静止画だとよくわかりませんが、これが音に合わせて拡大・回転します

これをじっと見ていると、なんだか違和感を覚えるときがありませんか？
とくにキックの音が鳴った瞬間とスペクトラムが上がる瞬間などは、わかりやすくずれているように感じられる場合があると思います。

基本的に映像が先

”動画を音声より先行させるとうまくいく”と映像界隈で経験則として語られています。
具体的に何フレーム先行させるかは人によってまちまちだったりしますが、映像を先行させるという点では合意しているようです。（このあたりはフレームレートはもちろん、DF/NDFとタイムコードの関係もあってややこしいので数値が揺らぐのはやむを得ません）
MV制作時に違和感があったら試してみてはいかがでしょうか？

私の場合では、ちょっと調整してはみたものの、違和感が拭いきれませんでした。
ですので、（そもそもこの映像先行の話を知ったのがいくつかのクロスフェードを作った後というのはありますが）今までの私の担当分のクロスフェードではオーディオ同期系のオブジェクトはすべて同タイミングで作られています。技術力が足りませんでした…

原因

光速と音速の差によるものであったり、ヒトの感覚器官の時間分解能の影響、脳の処理の影響であったりと複数の要因が考えられるようです。下記の論文に詳しく解説されています。映像の歴史にも触れられていてとても興味深いです。
映像学102号, 映像と音の同期―「動画先行の原則」の根拠と応用, 桑原圭裕(2019)
https://www.jstage.jst.go.jp/article/eizogaku/102/0/102_54/_article/-char/ja/

おまけ

クロスフェードを作っていていくつか便利だと思った設定があるので備忘録としてここに残しておきます。

プレビュー設定→再生前にキャッシュ

これをオンにしておくとプレビューのレンダリングが終わってから再生されます。
プレビューが異常なスローにならず、レンダリング後に等速で再生されるようになるので、とても便利です。
モーションの速度感なんかが確認しやすくなります。
音声がスロー再生されることもなくなりますよ！
プレビュー設定はミュートにできたりフレームレート変えたりいろいろできます。By使いこなせていない人