はじめに

こんにちは。物理学科3年の L という者です。最近 Julia を触り始めたのですがなかなかいい感じなので、今回は布教もかねて Julia で音声ファイルの簡単な加工をしてみます。Python でのプログラミングを知っていれば Julia のコードもなんとなく分かると思います。物理とはほとんど関係ないです。

Julia とは

The Julia Programming Language

筆者は Julia の全貌をまだ把握しきれていません。とりあえず、Julia はプログラミング言語の1つです。一番の特徴は Python と同じくらい気軽にプログラムが書ける¹上で動作が速いことと言ってよいでしょう。並列処理などを活用してさらに高速化を図ることもできるようです。

ライブラリも充実していて、グラフのプロットや固有値計算だけでなく、群論・環論といった抽象代数学や、Webフレームワークを提供するライブラリも存在します。

また対話環境（REPL）も凝られています。Julia では全角文字もソースコード中で使うことができて、例えば円周率として"π"が用意されていたり、整数除算が"÷"だったりします²。しかし全角記号をわざわざ変換から出すのは面倒（そもそも Julia の開発者は日本語IMEとか持ってないはずなので）です。実は LaTeX コマンドの書き方が REPL 上でできます。"\pi" と打って Tab キーを押せば "π" になるし、"\div" と打って Tab キーを押せば "÷" になります。LaTeX に搭載されていないコマンドが Julia の REPL には搭載されていたり（\Alpha など）その逆もあったりして、遊んでいると無限に時間が溶けます。

あと Why We Created Julia（和訳）がかっこいい。ここから生まれた言語が実用に耐える形で受肉していることを思うと、トレードオフって何だろうという気持ちになれます。

Julia を始めるのは簡単で、公式ページからインストーラをダウンロードしてインストール（Add Julia to PATH のチェックはオン）します。終わったらターミナルを開いて "julia" と打ち込めば対話環境（REPL）が始まります。Ctrl + D で抜けられます。

Julia で音声ファイルを加工してみよう

Julia のライブラリは広範で、音声ファイルの読み書きに関するものも存在しています。パッケージを追加するには、REPL 上で "]" を押してパッケージモードに移り、"add パッケージ名" とします。今回使うのは FileIO、LibSndFile、SampledSignals です。ライブラリを使う場合は "using パッケージ名" が必要です。

音声ファイルの読み込み

音声ファイルは Windows なら .mp3 などもありますが、今回は圧縮されておらずプログラムで扱いやすい .wav の読み書きをします。

snd = load("ooooo.wav")

とすれば snd に音声データが読み込まれます。具体的には

• snd.data : 音の振幅
• snd.samplerate : サンプリング周波数

という感じでアクセスします。サンプリング周波数というのは、アナログな音の振幅の情報をデジタル的に保存するときに、どういう間隔で音の振幅を保存するかという情報です。snd.data には音の振幅を表す-1以上1以下の実数が並んだデータ（配列）が保持されていて、1つ1つの振幅の時間間隔がサンプリング周波数の逆数になります。この振幅をいじることが音声ファイルの加工そのものになります。

また、音声ファイルにはモノラルとステレオの2種類あります。モノラルは両方のスピーカーから出る音が同じで、ステレオは左右のスピーカーから違う音が出せる形式です。ステレオの場合は振幅の情報が右と左のそれぞれで必要です。snd.data には、モノラル形式のファイルを読み込んだ場合には1列の配列が、ステレオ形式のファイルを読み込んだ場合には2列の配列が入っています。

音声ファイルの書き込み

snd.data にいろいろ加工して得られた配列が result だとします。result を音声ファイルとして保存したい³場合は

buf = SampleBuf(result, snd.samplerate)
save("output.wav", buf)

のようにします⁴。出力する前に result の各データが-1以上1以下になっていることを確認しましょう⁵。

エコーをかける : -)

エコーをかけることで閉鎖的な空間にいるような効果を出すことが出来ます。逆に言えば、閉鎖的な空間にいればエコーがかかります。音源の発した音が、耳に直接届くだけではなく壁に跳ね返って弱まってかつ遅れて届いたりもして、エコーになるわけです。

これをプログラムで再現するには、ある振幅の音があったときに、その音に少し遅らせて強度も弱めた音を追加してやればよさそうです。

reduc = 0.3 # 何倍に弱めるか
delay = snd.samplerate * 0.1 # 何秒遅らせるか
repeat = 3 # 何回エコーを繰り返すか

for n in 1:length(snd.data)
  for i in 1:repeat
    m = Int(n - i * delay)
    if m >= 1 # Julia は 1-indexed
      result[n] += reduc^i * snd.data[m] # ←本体
    end
  end
end

"←本体" とコメントしてあるところが、数秒前の振幅（snd.data[m]）を今の振幅（result[n]）に足し合わせている部分です。reduc^i という部分は跳ね返った回数だけ音が弱まるということを再現しています（Julia の階乗は "^"）⁶。

加工のビフォーアフターを見せるためのサンプル音声は棒読みちゃんに出してもらいました。

加工前

加工後（エコー）

トレモロ・ビブラート

どちらも音を揺らすようなエフェクトです。

トレモロは n 番目の振幅に

をかけるというものです。つまり振幅が振動します。

加工前

加工後（トレモロ）

ビブラートはエコーと同じく遅延を利用するエフェクトです。遅延させる時間を揺らすことで音を揺らします。具体的には、

として result[n] には snd.data[n-τ(n)] の音を入れます。また、n-τ(n) は整数ではないことがほとんどなので、n-τ(n) を挟む2つの振幅の間を線形補間して n-τ(n) にあたる振幅であろう値を取り出します。

fs = snd.samplerate  # サンプリング周波数
depth = fs * 2e-3  # ビブラートの深さ（秒）
rate = 5  # ビブラートの振動数（Hz）

for n in 1:length(snd.data)
  τ = depth + depth * sin(2pi * rate * n / fs)
  t = n - τ
  m = floor(Int, t)  # n - τ より小さくて一番近い整数
  δ = t - m  # 小さくて一番近い整数との差
  if m >= 1 && m + 1 < length(snd.data)
    result[n] = δ * snd.data[m + 1] + (1 - δ) * snd.data[m]  # 線形補間
  end
end

線形補間の処理もあるので見にくいですが、ビブラートをかける処理です。

加工後（ビブラート）

聴き比べると、トレモロでは音の大きさが振動しているのに対して、ビブラートでは音の大きさはほとんど変わっていないのがなんとなく分かります。

おわりに

今回の内容は Julia でなければできないということは当然ありませんが、Julia はこんなこともできるよという紹介でした。

コーディングしていると、累乗を ^ で書けるとか、何もインポートしなくても数学の関数が使えるといった細かい嬉しさがボディブローのように効いてきます⁷。配列が1始まりなのも使っていれば慣れてきて、数式をコードに落とし込むときにそのまま書けるありがたみを感じられるようになることでしょう⁸。

Julia に入門したい人は、ググれば入門記事がいろいろ出てくるので見ながら練習してみてはいかがでしょうか。

最後に今回のプログラムの全体を貼っておきます。

using FileIO: load, save
using LibSndFile
using SampledSignals

function echo_sample(filename)
  snd = load(filename*".wav")
  fs = snd.samplerate
  reduc = 0.3
  delay = fs * 0.1
  repeat = 3

  result = copy(snd.data)
  result = float(result)
  for n in 1:length(snd.data[:, 1])
    for i in 1:repeat
      m = Int(n - i * delay)
      if m >= 1
        result[n, :] += reduc^i * snd.data[m, :]
      end
    end
  end
  result .*= 0.99997*maximum(result)

  buf = SampleBuf(result, fs)
  save(filename*"-echo.wav", buf)
end

function tremolo_sample(filename)
  snd = load(filename*".wav")
  fs = snd.samplerate
  depth = 0.5
  rate = 5

  result = copy(snd.data)
  result = float(result)
  for n in 1:length(snd.data[: ,1])
    a = 1 + depth * sin(2pi * rate * n / fs)
    result[n, :] = a * snd.data[n, :]
  end
  result .*= 0.99997*maximum(result)
  buf = SampleBuf(result, fs)
  save(filename*"-trem.wav", buf)
end

function vib_sample(filename)
  snd = load(filename*".wav")
  fs = snd.samplerate
  depth = fs * 2e-3
  rate = 5

  result = copy(snd.data)
  result = float(result)
  for n in 1:length(snd.data[: ,1])
    τ = depth + depth * sin(2pi * rate * n / fs)
    t = n - τ
    m = floor(Int, t)
    δ = t - m
    if m >= 1 && m + 1 < length(snd.data)
      result[n, :] = δ * snd.data[m + 1, :] + (1 - δ) * snd.data[m, :]
    end
  end

  buf = SampleBuf(result, fs)
  save(filename*"-vib.wav", buf)
end

println("＼resonance／")
echo_sample("physlab")
vib_sample("larmor")
tremolo_sample("larmor")

この記事はPhysics Lab. 2022 Advent Calendar 2021 11日目として書かれました（日付をまたいでしまいました。ごめんなさい）。

参考文献

注釈

1. 青木 直史『C言語で始める音のプログラミングーサウンドエフェクトの信号処理ー』（オーム社、2018）

2. 丸井 淳史『Juliaで音信号処理 (geidai.ac.jp)』