【スタッフブログ】vol.45「音の遅さの話」(堀田くん)

「ニコニコ本陣スタッフ通信」vol.45

皆さんこんにちは、道の駅日光、ホール担当の堀田です。

今回は音の遅さの話です。

まず音速はざっくり秒速340メートルです
340m進むのに1秒かかり、170m進むのに0.5秒かかり、34m進むのに0.1mかかります
逆に1m進むのにだいたい0.003秒かかり、10m進むのに0.03秒かかります
(実際には条件や環境によって変わるので今回はとりあえず1m=0.003秒で考えます)

ニコニコホール的に考えると

ステージ間口が12mなので立ち位置で端の人から指揮者まで約5mありだいたい0.015秒かかり
端の人から反対側の端の人まで約10mで0.03mもかかります
またステージセンターから客席C列(通常時の最前列)は約6mでだいたい0.018秒かかり
ステージセンターから客席最後列は約20mでだいたい0.06秒もかかります

数字だけ見るとすごく早く感じるかもしれませんし、実際に客席で聞いたら違和感はないと思います
でもこの遅さ舞台を作るうえでかなり厄介になります

実際の厄介さ

たとえばコンサートなどで音に合わせて明りを変える照明さんが客席後ろで生音だけ聞いていると確実に遅れます、なのでステージに立てたマイクの音を聞きながら操作をします。
そのマイクの音も各楽器それぞれの音だけ拾えれば問題ありませんが、例えばピアノの音を録るマイクにコーラスの音が少し遅れて入り、コーラスのマイクにピアノの音が少し遅れて入るとそれぞれ少しずつずれた音が入ってしまいコムフィルタ(詳しくはググってください)となり音が干渉し歪んでしまいます。
出力のスピーカーも同じで、人間は同じ音なら早く聞こえる場所から音が鳴っていると感じます。生演奏だけだと音量が足りないから少しだけスピーカーから音を出すような場面でスピーカーより後ろに出演者がいる場合には、スピーカーの音量を下げるのも行いますが数メートル分音を遅らせて違和感を減らす方法も良くやります。また、会場の響きが足りない時に壁面や天井のスピーカーから音を出して疑似的に残響を作ることもありますが、この時もステージからの距離分遅らせます。

映像が加わるとさらに厄介に

最近はさらに複数のカメラで録画をしそれを編集もします、プロ用の高級なシステムを使えばタイムコードで管理しつつ同時に録画開始出来たりすべてのカメラに直接マイクの音を入れられたりしますがニコニコホールではそんな高級品使えませんし一人でそこまで準備も出来ません。
なので録画の場合はすべてのカメラのマイクを生かして音と映像を同時に録り、音の波形を合わせて映像を同期させるという昔ながらの方法をとっています。(良くあるカチンコでやるやつ)
30fpsで記録した場合ステージ立てたカメラと客席後方から全体を取ったカメラだとこのカチンコの音が2~3フレーム分ずれることがあります。

生配信では逆に映像はすべて同期しているので良いのですが、その分PCが映像処理を行う時間(2~3フレーム分)だけ音を遅らせて配信に載せてあげる必要が出てきます。

映像をいじり始める前はそいう言うものとして気になりませんでしたが、最近栃木県総合文化センター大ホールでオーケストラのコンサートを2階席(音源から40mくらい?)で聴いたときに演奏者と音のずれが気になって気になって仕方ありませんでした。やっぱりコンサートは前の方で見た方が良いし、ニコニコホールなら一番後ろでも音の遅れはほとんど気にならなくてそういうところも含めてスタジオ向きなんだなと思いました。