無料のAIライブラリ

技術的な ガイド永久無料。

177 平易な英語のガイド、構造化された学習パス、オープン ライブラリ - 独立した 501(c)(3) 非営利団体によって構築され、誰でも最新の AI を理解できるようになります。

177無料ガイド
1トピックトラック
~2 minガイドごと
~6h読書時間

ここから始めましょう

5 成果ベースのコース

各コースには、明示的な成果、マッピングされたコンピテンシー、練習アクティビティ、および適用されたキャップストーンが含まれています。

トピックトラック

トラックごとに閲覧する

気になるエリアに飛び込んでみましょう。すべてのトラックには複数のわかりやすい英語のガイドが付いています。

フルライブラリ

すべてのガイド

177 1019 ガイドが表示されます。トラックでフィルタリングするか、上で検索してください。

技術的な

アテンションのロールアウトとヘッドの枝刈り

アテンション ロールアウトは、Transformer の積み重ねられたアテンション レイヤーを情報がどのように流れるかを追跡し、どの入力トークンが影響を与えるかを説明する方法です。

2 最小読み取り読む
技術的な

二次最適化とニュートン法

二次最適化では、曲率情報 (二次導関数のヘッセ行列) を使用して、傾きだけでなく、最小値に向けてより賢明なステップを実行します。

2 最小読み取り読む
技術的な

RMSNorm と前層正規化

RMSNorm は、二乗平均平方根によってアクティベーションを再スケーリングする軽量の正規化レイヤーであり、各ステップの前にプレレイヤー正規化が配置されます。

2 最小読み取り読む
技術的な

SwiGLU とゲート制御アクティベーション

SwiGLU は、入力の 1 つの線形投影と Swish でアクティブ化された 2 番目の投影を乗算するゲート制御されたアクティブ化関数であり、学習可能な関数として機能します。

2 最小読み取り読む
技術的な

スクイーズアンド励起ネットワーク

スクイーズ アンド 励起 (SE) ブロックにより、畳み込みネットワークは各機能チャネルの重み付け量を学習し、グローバル コンテキストに基づいて再調整できます。

2 最小読み取り読む
技術的な

ウォームアップおよびコサインアニーリングのスケジュール

ウォームアップでは、トレーニング前に学習率をほぼゼロから緩やかに上昇させ、その後、コサイン アニーリングにより、コサイン曲線に従って学習率を滑らかに減衰させます。

2 最小読み取り読む
技術的な

循環学習率

循環学習率は、学習率を減衰させるだけでなく、下限と上限の間で学習率を繰り返し上下させます。

2 最小読み取り読む
技術的な

シャープネスを意識した最小化

Sharpness-Aware Minimization (SAM) は、単に低損失を追求するのではなく、重みの近傍全体、つまりフラットな領域全体にわたって低損失を追求する最適化手法です。

2 最小読み取り読む
技術的な

線形プロービングとフリーズ特徴評価

線形プローブでは、ネットワークをフリーズし、その上で単純な線形分類器のみをトレーニングすることで、事前トレーニングされたモデルの内部表現がどの程度優れているかをテストします。

2 最小読み取り読む
技術的な

DenseNet と高密度接続

DenseNet は、すべての層が先行するすべての層の特徴マップを入力として受け取る畳み込みネットワークです。

2 最小読み取り読む
技術的な

ボトルネックアーキテクチャ

ボトルネック アーキテクチャは、データを狭い中間層に押し込んでから再度拡張するため、ネットワークはコンパクトで効率的な学習を強いられます。

2 最小読み取り読む
技術的な

勾配の累積

勾配累積を使用すると、更新前にいくつかの小さなミニバッチにわたる勾配を合計することで、限られた GPU メモリ上で大きなバッチ サイズをシミュレートできます。

2 最小読み取り読む

読み終わりましたか?証明してみろ。

Check what you learned with a topic quiz, then explore our structured courses or work toward a certificate. Every guide stays free to read.