はじめに

2 チャンネルしかないステレオフォーマットでは，一般に左右に関する一次元の空間情報のみが扱われます。 このため，2 次元や 3 次元の空間情報を保存・転送するには，ドルビーサラウンドやアンビソニックといった 特殊なフォーマットが必要となります。

全天球ステレオ技術では，シンプルなステレオフォーマットのみで 3 次元の空間情報が扱えるため，特殊なフォーマットを一切必要としません。 録音時のみ 4 トラック録音となりますが，空間情報を保持したままで 2 チャンネルのステレオ信号に変換できるのです。

3 次元空間で波の空間特性を測るには，原理的に 4 点計測が必須となります。 ここで，波の空間特性とは，観測点における周波数 bin ごとの伝搬方向と伝搬速度を指します。 波の伝搬方向と伝搬速度についての詳細は Technical note を参照ください。

そこで，Fig. 1 に示すような 4 本の無指向性マイクロフォンからなる 正四面体型マイクロフォンシステムを用いて信号を収録し，収録した信号から 3 次元の空間音響特性を解析します。


Fig. 1 Tetrahedral microphone system
Four omnidirectional microphones (Audio Technica, AT9903) are at the vertices of a tetrahedron. Each side of the tetrahedron is 15 mm long.

波の空間特性は伝搬方向と伝搬速度なので，任意の点における波の空間情報は， Fig. 2 に示すように周波数 bin ごとに 3 次元ベクトルとして表せます。 ここで重要なのは，波源の数に関係なく，つまり波源がいくつあろうと， 観測点における伝搬方向と伝搬速度は，必ず周波数 bin ごとにひとつだということです。 だから周波数 bin ごとにひとつのベクトルで表すことができるのです。

解析された観測点での空間特性を再生点で忠実に再現できれば，聴取者はあたかも観測点で聞いているかのような空間音響を体験できることになります。


Fig. 2 Spatial information of a wave
Spatial information of a wave can be expressed by a vector for each frequency bin. The orientation and size of each arrow represent the propagation direction and speed of each frequency bin, respectively.

全天球ステレオ技術では，4 トラック録音で得た信号を， 空間情報を損なうことなく 2 チャンネルのステレオ信号に変換することができます。

早速ですが，ステレオヘッドフォンを着用し，下のサムネイルをクリックしてデモンストレーションを起動してください。 画像が表示され，スクリーンに "Click to start" または "Tap to start" という文字が現れたら， 画像上をクリック（タップ）することで再生を開始できます。 再生中にクリック（タップ）すると一時停止できます。 ネットワーク環境によって，画面上に 'Loading data. Wait for a moment' の表示が出続ける場合があります。 そのような場合， 画像上をクリックすることで状況が改善するケースもあります。

バイノーラル再生なので ステレオヘッドフォンは必須です。

画像上でマウスポインタを左または右に動かすことで映像のパンニングが操作できます。 このとき，音のパンニングも変化することに注意してください。 マウスポインタを上または下に動かすとティルトも操作できます。

orimoto0
Demo with a file "orimoto0.wav"
(Pan and tilt are available)

本サイトのデモでは， 全天球映像の再生に Three.js 技術が使われています。

次のデモンストレーションでは，マウスポインタを画像の 4 隅に移動させることで， ロール（前後軸周りの回転）が操作できます（ティルトは変えられません）。 モバイルデバイスではロール操作の動作保証はできません。

PanoSterec_icon
Demo with a file "fss00.wav"
(Pan and roll are available)

上記のデモンストレーションで再生されている音は "orimoto0.wav" および "fss00.wav" というステレオ WAV ファイルに保存されたものです。 WAV ファイルが一次元の空間情報しか扱えないなら，パンニングもティルトやロールも変えられないはずです。

ステレオ WAV ファイルには 2 つのチャンネルしかありませんが， 全天球ステレオ技術ではステレオ WAV ファイルに 3 次元の空間情報を埋め込むことができるのです。

以下のデモも試聴してください。

lost_species
Demo with a file "lost_species.wav"		 orimoto1
Demo with a file "orimoto1.wav"		 haunted_sniper
Demo with a file "haunted_sniper.wav"

特徴

インタラクティブなパンニング制御以外にも以下にあげるような全天球ステレオならではの特徴があります。

[パノラミックビームフォーミング]

オーディオデータに全天球型（3 次元）の空間情報が含まれているので， その情報を利用した指向性の制御，つまりビームフォーミングが可能です。

次のデモンストレーションでは，Fig. 3 のように 6 名の話者が同時に 6 種の異なる文章を朗読しています。 これを中心に配置された正四面体型マイクロフォンシステムで収録しました。


Fig. 3 Six readers and the microphone system
Three males and 3 females are reading 6 different texts in an anechoic room. There is a tetrahedral microphone system in the center of the room.

スクリーン下方に表示される 'BEAMFORMER' ボタンで指向性パタンを切り替えて聞き比べてください。 指向性パタンは，無指向性（OMNIDIRECTIONAL）->カージオイド（CARDIOID）->ナロー（NARROW） ->スーパーナロー（SUPER NARROW）の順に切り替わります。 ビームの方向はパンニングに連動しているので，聞きたい方向に向けることができます。

下のサムネイルでデモンストレーションを起動してください。

recit6
Demo with a file "recit6.wav"
（協力：東京都市大学の学生）

このようにステレオ信号から任意の方向に向けて指向性ビームを作ることができるのです。 これがパノラミックビームフォーミングです。

[水中パノラミックサウンド]

上述のとおり，全天球型の空間音響は 4 点計測で収録できます。 収録に使用するマイクロフォンをハイドロフォンに変えれば， 水中でも空間音響を収録することができます。

水中の音速は空中よりも速いため，プログラム上で補正する必要がありますが， それ以外は空中とほぼ同じ手法で録音可能です。 Figure 4 は正四面体型ハイドロフォンシステムの外観です。


Fig. 4 Tetrahedral hydrophone system
An underwater panoramic sound recording system consists of 4 omnidirectional hydrophones (AQUARIAN AUDIO H2a-XLR). These hydrophones are placed at 4 vertices of a tetrahedron. Each side of the tetrahedron is 50 mm long.

以下のデモンストレーションは，このハイドロフォンシステムで実際に水中録音したものです。 やはりステレオ WAV ファイルから全天球型の空間音響が再現されます。

turtle01
Demo with a file
"turtle01.wav"		 squal
Demo with a file
"squal.wav"

[パノラミックサウンドモーフィング]

前述のとおり，観測点の波の空間情報は周波数 bin ごとにひとつのベクトルで表せます。 そこで，複数の正四面体型マイクロフォンシステムをアレイにすると，それぞれの観測点だけでなく， 観測点に挟まれた任意の点の空間情報もベクトルの補間によって推定可能になります（Fig. 5）。 つまり空間音響をモーフィングできるわけです。 この手法により，再生中，アレイに沿った聴取点の移動が可能になります。


Fig. 5 Estimation of spatial information
Spatial properties of a wave at any point between the measuing points A and B can be estimated by interpolation of vectors. Every wave source has to be far enough away from the sensor array or in other words, the distance between the measuring points has to be close enough compared to the distance of the wave sources from the sensor array.

次のデモは 4 つの正四面体型マイクロフォンシステムからなる線形アレイを使って録音されたものです。 Figure 6 のように話者 6 人が同時に異なる文章を朗読しています。 正四面体型マイクロフォンシステムが 4 つですので，計 16 トラックの録音になります。


Fig. 6 Six readers and the linear sensor array
Three males and 3 females are reading 6 different texts in an anechoic room. Sound was recorded by a linear sensor array consisted of 4 tetrahedral microphone systems.

再生中 'BEAMFORMER' ボタンの左右に表示される '(+)' ボタンと '(-)' ボタンでセンサアレイに沿った移動が可能です。

以下のサムネイルをクリックしてデモを試聴してください。 モバイルデバイスでの動作は不安定です。

recitarray6
Recitation by 6 individuals
Demo with 4 WAV files "recitarray0.wav, recitarray1.wav, recitarray2.wav and recitarray3.wav"
（協力：東京都市大学の学生）

別のデモも用意しました。

recitarray6
Recorder sonata (Handel, George Frideric)
Demo with 4 WAV files "recsonata0.wav, recsonata1.wav, recsonata2.wav and recsonata3.wav"

これらのデモでは，観測点が 4 ヶ所あるので，それぞれ 4 つのステレオ WAV ファイルを使用しています。

[後方互換性]

全天球型の空間音響を聞くには，専用のアプリかプログラムが必要です。 このサイトのデモンストレーションも JavaScript のプログラムを使用しています。

ただし全天球ステレオ技術で録音・保存された WAV ファイルには後方互換性があるので， 専用のアプリやプログラムが無くても，従来型（一次元）のステレオ再生は可能です。