オーディオAIガイド
トランスフォーマーによる音楽のタグ付け
音楽タグ付けは、オーディオセグメントに一つ以上の記述ラベルを割り当てます。
このガイドを聴くAIによるナレーション · ~2 min
概要
研究システムは、入力表現、教師データ、ラベル、評価タスクの点で異なります。
ディープダイブ
音楽タギングは、1つのクリップに複数のラベルが適用される可能性があるため、マルチラベル分類タスクとなります。ASTの論文では、畳み込みを使用しないアテンションベースのオーディオ分類器のために、パッチに分割されたログメルスペクトログラムを使用しています。MERTは、マスクされた言語モデル形式の事前学習目的関数において、教師から提供された疑似ターゲットを使用し、14の音楽理解タスクにわたる評価を報告しています。その事前学習では音声をランダムに5秒のセグメントに切り詰めるため、結果には数分間隔で離れたコーラスとヴァースを直接モデル化したものは示されていません。MagnaTagATuneは、音楽タギングの研究に使用されるデータセットの1つです。CLAPは、いくつかの下流タスクで評価される別の対照学習オーディオテキストモデルであり、ゼロショットの結果はラベルと評価設定に依存します。
現実世界の実装
同じラベル付きデータセットでスペクトログラムベースと波形ベースのタグ付けモデルを比較してください。
平均適合率（mean average precision）などのランキング指標を用いて、マルチラベル予測を評価します。
モデルを文書化する際は、自己教師あり事前学習と、その後のファインチューニングを分けて記述してください。
各モデルで使用されている期間とサンプリングプロトコルを確認してください。
トランスフォーマーとの音楽タグ付けの未来
今後の研究の方向性として、より長いコンテキストの音楽表現のテストや、タグ、データセット、ジャンルをまたいだ転移学習の評価などが挙げられます。これらは現在の採用状況や性能に関する主張ではなく、未解決の評価課題です。
実践する
なぜそれが重要なのか
- アクセスと到達範囲. 文字起こし、ナレーション、音声インターフェイスを通じてアクセシビリティを向上させます。
- 費用と予算. メディア チームは、より少ない予算で洗練されたオーディオをより迅速に出荷できます。
- 速度とスケール. 顧客対応システムは、音声対話を大規模に処理できます。
気をつけてください
- 同意がない場合、音声の悪用やなりすましのリスクが高まります。
- アクセント、方言、または騒がしい環境では精度が低下する可能性があります。
- 合成音声は、明確なラベルが付けられていないと、本物の音声と間違われる可能性があります。
次のステップ
- 音声のキャプチャ、複製、再利用については明示的な同意を取得してください。
- さまざまな話者や背景条件で品質をテストします。
- 人間がいつ出力をレビューまたは承認する必要があるかを定義します。
- 合成音声にラベルを付け、出所記録を保管して説明責任を果たします。
探検を続けましょう
よくある質問
Music Tagging with Transformersとは何ですか？
音楽タギングは、オーディオセグメントに1つ以上の記述的ラベルを割り当てるものです。研究システムは、入力表現、教師データ、ラベル、評価タスクの点で異なります。
音楽のタグ付けが複数のレーベルの問題として扱われるのはなぜですか?
曲はロック、エネルギッシュ、ギター主導の曲を同時に表現できるため、1 つのトラックに複数のタグが適用されます。
Audio Spectrogram Transformerの論文では、どのオーディオ表現がパッチに分割されていますか？
ASTはスペクトログラムパッチ上で動作します。具体的には、入力表現としてログメルスペクトログラムを使用します。この質問は、すべてのトランスフォーマーベースのタガーではなく、引用されたAST手法に限定されています。
音楽タグ付けモデルが 1 つのソフトマックスではなく、タグごとにシグモイド出力を使用するのはなぜですか?
ソフトマックスは、確率の合計が 1 になるように強制します (単一の選択肢)。 sigmoid は、各タグを独立して true にします。
MERT のようなモデルの自己教師あり事前トレーニングの役割は何ですか?
大規模なラベルのないコーパスに対するマスクされたオーディオ予測の事前トレーニングにより、後でタグ付きデータに基づいて微調整された表現が構築されます。
音楽タガーの微調整とベンチマークに一般的に使用されるデータセットはどれですか?
MagnaTagATune と Million Song Dataset は、標準のタグ付き音楽ベンチマークです。 MNIST と ImageNet はイメージ セットです。