オーディオAIガイド
DDSP 微分可能オーディオ合成
DDSP (Differentiable Digital Signal Processing) は、古典的なシンセサイザーのビルディング ブロックとニューラル ネットワークを融合するため、ディープ ラーニングでオシレーターとフィルターを直接制御できます。
このガイドを聴くAIによるナレーション · ~2 min
概要
小さなモデルと少ないデータで驚くほど自然で制御可能な楽器サウンドを生成します。
ディープダイブ
Google の Magenta チームによって 2020 年に導入された DDSP は、ニューラル オーディオ生成を再考します。生のオーディオ サンプル (WaveNet など) やスペクトログラムのピクセルを一度に 1 つずつ予測するネットワークの代わりに、DDSP は従来の DSP コンポーネント (高調波加算発振器、フィルター処理されたノイズ ジェネレーター、リバーブ) を微分可能にします。つまり、トレーニング中に勾配が流れる可能性があるため、小さなニューラル ネットワークは、基本的なピッチ、全体的なラウドネス、時間の経過とともに数十の高調波の振幅など、解釈可能な制御信号を出力することを学習します。次に、シンセサイザーがこれらのコントロールから実際のオーディオをレンダリングします。サウンドの物理学はゼロから学習するのではなくアーキテクチャに組み込まれているため、DDSP ははるかに少ないパラメータとトレーニング サンプルで高品質を実現し、ユーザーがピッチ、ラウドネス、音色を独立して操作できるようになり、歌声をバイオリンとして演奏させるような音色転送も実行できます。
現実世界の実装
鼻歌や歌ったメロディーを取得し、リアルタイムでバイオリン、フルート、またはトランペットとして再レンダリングする音色転送ツール。
ミュージシャンが直感的なピッチ、音量、明るさのノブで制御できる軽量のニューラル シンセサイザー プラグイン。
自然な倍音のディテールを維持しながら、録音された楽器のピッチ補正と表現力豊かな再合成。
重い GPU モデルを使用せずにリアルな楽器サウンドを生成する、ブラウザベースのインタラクティブな音楽デモ。
DDSP 微分可能オーディオ合成の将来
DDSP は、ブラウザ内や組み込みデバイスなどの小規模なハードウェアで実行される、リアルタイムの低遅延ニューラル インストゥルメントとオーディオ エフェクトを推進しています。解釈可能なコントロールにより、ミュージシャンが音色を直接ダイヤルする表現力豊かなパフォーマンス ツールやハイブリッド シンセサイザーに最適です。研究者らは、微分可能 DSP のアイデアを物理モデリング、室内音響、オーディオ制作チェーン全体に拡張し、古典的な信号処理の制御性と、音楽制作とサウンド デザインにわたる深層学習のリアリズムを融合させています。
実践する
なぜそれが重要なのか
- アクセスと到達範囲. 文字起こし、ナレーション、音声インターフェイスを通じてアクセシビリティを向上させます。
- 費用と予算. メディア チームは、より少ない予算で洗練されたオーディオをより迅速に出荷できます。
- 速度とスケール. 顧客対応システムは、音声対話を大規模に処理できます。
気をつけてください
- 同意がない場合、音声の悪用やなりすましのリスクが高まります。
- アクセント、方言、または騒がしい環境では精度が低下する可能性があります。
- 合成音声は、明確なラベルが付けられていないと、本物の音声と間違われる可能性があります。
次のステップ
- 音声のキャプチャ、複製、再利用については明示的な同意を取得してください。
- さまざまな話者や背景条件で品質をテストします。
- 人間がいつ出力をレビューまたは承認する必要があるかを定義します。
- 合成音声にラベルを付け、出所記録を保管して説明責任を果たします。
探検を続けましょう
よくある質問
DDSP 微分可能オーディオ合成とは何ですか?
DDSP (Differentiable Digital Signal Processing) は、古典的なシンセサイザーのビルディング ブロックとニューラル ネットワークを融合するため、ディープ ラーニングでオシレーターとフィルターを直接制御できます。小さなモデルと少ないデータで驚くほど自然で制御可能な楽器サウンドを生成します。
DDSP の背後にある重要なイノベーションは何ですか?
DDSP は、従来のシンセサイザーのビルディング ブロックを微分可能なモジュールに変換し、ニューラル ネットワークにバックプロパゲーションを介してブロックを制御する方法を学習させます。
DDSP では、ニューラル ネットワークは実際に何を出力しますか?
ネットワークは時間とともに変化する制御パラメーターを予測し、別個の微分可能シンセサイザーがそれらのパラメーターからオーディオをレンダリングします。サンプルを直接出力することはありません。
DDSP のスペクトル シンセサイザーは、サウンドを生成する 2 つのコア コンポーネントを組み合わせていますか?
ハーモニック・アディティブ・オシレーターはピッチのあるハーモニック・パートを生成し、フィルターされたノイズは息吹と不調和なテクスチャーを追加します。
DDSP が比較的小さなモデルと少ないデータで高品質を達成できるのはなぜですか?
既知の信号処理構造が最初から学習されるのではなく組み込まれているため、ネットワークが学習する必要がはるかに少なくなり、データとパラメーターの効率が向上します。
DDSP は、生成されたオーディオとターゲット オーディオを堅牢に比較するためにどのような損失関数を使用しますか?
複数の解像度での振幅スペクトログラムの比較は、サンプルレベルの損失が問題となる位相差に対して堅牢です。