Alapok ÚTMUTATÓ

Mély tanulás

A mélytanulás a gépi tanulás egy ága, amely sok rétegű mesterséges ideghálókat képez, ahol minden réteg a bemenetét egy kissé hasznosabb ábrázolássá alakítja át.

Hallgassa meg ezt az útmutatótAI-narrált · ~9 min

Ezen az oldalon10 perc olvasás
  1. Áttekintés
  2. Főbb tanulságok
  3. Mély merülés
  4. Kövesd nyomon egy gradienscsökkenési lépést kézzel
  5. Valós megvalósítás
  6. A mély tanulás jövője
  7. A gyakorlatba ültetés
  8. Források és további olvasmányok
  9. Folytassa a felfedezést
  10. Gyakran ismételt kérdések

Áttekintés

Ez a technika a modern képfelismerés, beszédfelismerés, fordítás és csevegőrobotok mögött áll, mert a rétegek saját jellemzőiket példákból tanulják, nem pedig szabályok vagy kézzel írt jellemzők alapján.

Főbb tanulságok

  1. A mélytanulás sok rétegű ideghálókat képez, és minden réteg saját jellemzőit a adatokból tanulja, a kézzel írt szabályok helyett.
  2. A képzés egyetlen hurkot ismétel: előrejelzés, hibamérés veszteségfüggvénnyel, gradiens számítása visszaterjesztéssel, és minden súly finomhangolása a hiba csökkentése érdekében.
  3. A visszaterjesztés leírása 1986-ban jelent meg a Nature-ban, de a terület 2012-ben indult el, amikor az AlexNet 15,3%-ra csökkentette az ImageNet top-5 hibáját a 26,2%-os második helyezettől.
  4. A konvolúciós hálózatok képekhez, a rekurzív hálózatok egykor a sorozatok uralkodói voltak, és a 2017-ben bemutatott Transformer-ek egyetlen figyelmi mechanizmussal egy egész sorozatot dolgoznak fel egyszerre.
  5. A mély hálózatok adatra szomjaznak, nehezen értelmezhetők, hajlamosak túltanulásra és rövid úti tanulásra, és magabiztosan tévedhetnek ismeretlen bemenetekkel szemben.
  6. Az Epoch AI becslése szerint a határidői képzési számítási kapacitás évente körülbelül 5-ször nőtt 2020 óta, míg egy adott teljesítményszint költsége jelentősen csökkent.

Mély merülés

Deep learning is a way of building software that learns a task from examples. Its core object is an artificial neural network: a large collection of simple arithmetic units, loosely inspired by brain cells, arranged in layers. Each unit multiplies its inputs by adjustable numbers called weights, adds the results, and passes the total through a simple nonlinear function. The word deep refers to the number of layers between the raw input, such as the pixels of a photo, and the final answer, such as the label cat. In their 2015 review in Nature, Yann LeCun, Yoshua Bengio and Geoffrey Hinton describe the central idea as learning representations with multiple levels of abstraction. In an image model, early layers tend to respond to edges, middle layers to combinations of edges and textures, and later layers to parts of objects. Nobody programs those detectors. They emerge during training.

Training follows the same loop for almost every deep network. First, gather many examples with known answers, called labels. Second, run an example through the network to get a prediction; this is the forward pass. Third, score the prediction with a loss function, a formula that produces a large number when the prediction is far from the label and a small one when it is close. Fourth, use backpropagation to work out, for every weight, how much a tiny change would raise or lower the loss. That quantity is called the gradient. Fifth, nudge every weight a small step in the direction that lowers the loss, a method called gradient descent. Sixth, repeat over millions of examples, usually in small groups called batches. When training ends, the weights are frozen and the network is used on new inputs, which is called inference.

Backpropagation is the step that makes depth practical. David Rumelhart, Geoffrey Hinton and Ronald Williams described it in Nature in October 1986: the procedure repeatedly adjusts connection weights to shrink the gap between the network's actual output and the desired output. Their key observation was that hidden units, the ones that are neither input nor output, come to represent useful features of the task on their own. The 2015 Nature review explains why that matters. Conventional machine learning needed careful engineering and domain expertise to design a feature extractor before any learning could happen. Deep learning moves that work into the training process.

Different layer designs suit different data. Convolutional networks slide the same small filter across every position of an image, so a pattern learned in one corner is recognized anywhere. Recurrent networks read a sequence one step at a time and carry a memory forward, which suited speech and text for many years. Transformers, introduced by Ashish Vaswani and colleagues at Google in June 2017, replace that step-by-step reading with attention, a mechanism that lets every position in a sequence look directly at every other position. Because attention can be computed for all positions at once, the original Transformer trained to a new English-to-French translation record in 3.5 days on eight GPUs. Residual connections, introduced by Kaiming He and colleagues in December 2015, let a layer's input skip ahead and be added to its output. That simple shortcut made networks of 152 layers trainable, which the authors describe as eight times deeper than the earlier VGG networks.

The modern boom has a clear starting point. In 2012, Alex Krizhevsky, Ilya Sutskever and Geoffrey Hinton entered AlexNet in the ImageNet image classification contest. The network had 60 million weights and 650,000 units, and it was trained for about 90 passes over 1.2 million labeled images, which took five to six days on two NVIDIA GTX 580 graphics cards with 3 GB of memory each. Its winning top-5 error of 15.3% compared with 26.2% for the next entry. The authors wrote that their results could likely improve simply by waiting for faster GPUs and bigger datasets, and the following decade largely followed that recipe: more data, more compute, and better architectures such as ResNet in 2015 and the Transformer in 2017. By 2024, according to the Stanford AI Index 2025, nearly 90% of notable new AI models came from industry rather than universities, up from 60% in 2023, a sign of how expensive frontier work has become.

It helps to place deep learning among its alternatives. Rule-based software follows instructions a person wrote, which is predictable and easy to audit but breaks on messy inputs like handwriting or accents. Classical machine learning, such as logistic regression or decision trees, learns from data but usually relies on features a person chose in advance. Deep learning learns the features too, which is why it dominates tasks with raw, unstructured inputs: images, audio, video and free text. For small tables of numbers, such as a spreadsheet of a few thousand loan records, simpler methods are cheaper to train and easier to explain, and they remain a sensible first try. Deep learning is also distinct from generative AI: generative systems are one use of deep networks, not a separate technology.

The method has real limits. Deep networks need large amounts of data, and they can memorize their training examples instead of learning general patterns, a failure called overfitting. The AlexNet authors reported substantial overfitting until they added dropout, a technique that randomly switches off half of the units in certain layers during each training step. A trained network's knowledge is spread across millions or billions of weights, so it is hard to say why it produced a particular answer. Networks can latch onto accidental shortcuts in the data, such as a background that happens to appear with one label, and they can fail without warning on inputs unlike anything in training. They also give confident answers when they are wrong unless they are specifically calibrated. None of these problems is solved by adding more layers.

The practical requirements depend heavily on scale. A small image classifier can be trained on a single consumer graphics card in hours, and most practitioners start from a network someone else already trained and adjust it for their task, which is called fine-tuning. Frontier models are a different world. Epoch AI estimates that training compute for frontier language models has grown about 5 times per year since 2020 and that frontier training costs have grown about 3.5 times per year, and it puts the up-front cost of a 1-gigawatt AI data center at roughly 38 billion dollars. Running models has become far cheaper, though: the Stanford AI Index 2025 reports that the price of GPT-3.5-level performance fell more than 280-fold between November 2022 and October 2024, while hardware costs fell about 30% per year and energy efficiency improved about 40% per year.

04Működő példa

Kövesd nyomon egy gradienscsökkenési lépést kézzel

  1. Vedd a lehető legkisebb hálózatot: egy w súlyt, ami y = w * x-et jósol. Kezdj w = 0,5‑tel.

  2. Használj egy tanuló példát: bemenet x = 2 a helyes válasszal 3. Az előrehaladó lépés 0,5 * 2 = 1-et jósol.

  3. Értékeld a jóslatot négyzetes hibaveszteséggel, (jóslat - válasz) négyzet, ami (1 - 3) négyzet = 4.

  4. Számold ki a gradienset láncszabállyal: dLoss/dw = 2 * (jóslat - válasz) * x = 2 * (-2) * 2 = -8.

  5. Frissítsd a súlyt 0,05‑ös tanulási rátával: w := 0,5 - 0,05 * (-8) = 0,9.

  6. Futtasd újra az előrehaladó lépést: 0,9 * 2 = 1,8, így a veszteség most (1,8 - 3) négyzet = 1,44.

  7. Ismételje meg a négy lépést többször, és rögzítse a súlyt és a veszteséget minden egyes lépés után.

Mit mutat

A veszteség 4-ről 1,44-re csökken egy lépés után, és tovább csökken, miközben w 1,5 felé közelít, az a érték, amely pontosan 2-t 3-ra térképezik. Egy valódi mély hálózat pontosan ezt a számítást végzi, csak milliók vagy milliárdok súlyával egyszerre, a hátrafelé terjedő propagáció minden gradiensét biztosítva.

Valós megvalósítás

Képfelismerés: AlexNet, egy öt konvolúciós és három teljesen összekapcsolt rétegből álló hálózat nyerte meg az ILSVRC-2012 versenyt 15,3% top-5 teszthibával, miközben a második helyezett 26,2% pontszámot ért el.

Nagyon mély látó modellek: a 2015 ResNet cikk a Microsoft Research-től, amely 152 réteg mélységű hálózatokat tanított shortcut kapcsolatokkal, és első helyet foglalt el az ILSVRC 2015 osztályozási feladatban 3,57% hibával.

Gépi fordítás: a 2017 Transformer 28,4 BLEU-t ért el a WMT 2014 angol-német benchmarkon, több mint 2 BLEU-val a korábbi legjobb eredmények felett, és egyetlen modell rekordját 41,8 BLEU-ra állította az angol-francia fordításra.

Hang, tudomány és orvoslás: a 2015 Nature áttekintés LeCun, Bengio és Hinton által mély hálózatokat hangoztat a hangfelismerés, tárgyfelismerés, gyógyszerfelfedezés és genomika területén jelentős előrelépésekért, ahol a kézzel tervezett jellemzők megálltak.

A mély tanulás jövője

Several open problems shape current research. The first is efficiency. If frontier training compute keeps growing near the 5-times-per-year pace Epoch AI measured since 2020, the energy and capital required rise steeply; Epoch notes that the largest AI data centers were already approaching a gigawatt of power capacity in 2025. That pressure drives work on smaller models, better training recipes and cheaper chips, and the Stanford AI Index 2025 recorded hardware costs falling about 30% a year. The second is convergence among competitors. The AI Index 2025 found that the score gap between the top model and the tenth-ranked model shrank from 11.9% to 5.4% in a year, and the gap between leading open-weight and closed models narrowed from 8% to 1.7% on some benchmarks. Whether advantages now come more from data, compute or engineering is an open question. The third is understanding. Deep networks still work better than anyone can fully explain, and interpretability research tries to map what individual units and circuits compute. Reliability on unfamiliar inputs, honest uncertainty estimates and resistance to shortcut learning remain unsolved. Whether simply scaling current architectures will keep producing gains, or whether new ideas are needed, is actively debated rather than settled.

A gyakorlatba ültetés

Miért számít

  • Tisztább döntések. Segít elkülöníteni a világos technikai állításokat a marketing nyelvezettől.
  • Költség és költségvetés. Feltehet jobb végrehajtási kérdéseket, mielőtt pénzt vagy időt költene.
  • Csapat és munkafolyamat. A közös tudással rendelkező csapatok jobb döntéseket hoznak a termékekkel, irányelvekkel és tanulással kapcsolatban.

Vigyázz

  • A különböző csapatok eltérően használhatják ugyanazt a kifejezést, ezért korán határozza meg a hatókört.
  • A benchmarkok erősnek tűnhetnek, miközben a valós teljesítmény egyenetlen.
  • Az adatminőségi és értékelési tervek figyelmen kívül hagyása gyakran törékeny eredményekhez vezet.

Következő lépések

  1. Kezdje a kívánt eredmény egyszerű nyelvű meghatározásával.
  2. A tesztelés előtt válasszon egy sikermutatót és egy hibafeltételt.
  3. Futtasson egy kis pilotot reprezentatív adatokkal, ne egy csiszolt demókészlettel.
  4. Dokumentálja, hol segít a Deep Learning, és hol jobbak az egyszerűbb módszerek.

Források és további olvasmányok

  1. Nature (LeCun, Bengio and Hinton, 2015)Mély tanulás
  2. Nature (Rumelhart, Hinton and Williams, 1986)Reprezentációk tanulása hibák hátrafelé terjedésével
  3. NeurIPS 2012ImageNet osztályozás mély konvolúciós neurális hálózatokkal
  4. arXiv (Microsoft Research, 2015)Mély maradék tanulás képfelismeréshez
  5. arXiv (Google, 2017)Csak a figyelem kell
  6. Stanford Institute for Human-Centered AIA 2025-ös AI-index jelentés
  7. Epoch AIGépi tanulás trendek

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Tedd meg a Mélytanulás kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a mélytanulás?

A mélytanulás a gépi tanulás egy ága, amely mesterséges neurális hálózatokat tanít sok egymásra rakott réteggel, ahol minden réteg a bemenetet egy kicsit hasznosabbá alakítja. Ez a technika áll a modern képfelismerés, beszédfelismerés, fordítás és chatbotok mögött, mivel a rétegek saját jellemzőiket tanulják meg példákból, a kézzel írt szabályok vagy jellemzők helyett.

Mit jelent a „mély” egy mélytanulási modellben?

Ebben az útmutatóban a mélység a többrétegű hálózati struktúrát jelenti; nem teremt emberi szintű megértést vagy teljesítményt.

Egy hálózatnak 2 bemenete, 3 és 2 egységű rejtett rétegei, valamint 1 kimenete van. Minden rejtett/kimeneti egységhez bias tartozik, hány súly és bias van összesen?

A rétegek hozzájárulása (2×3+3)=9, (3×2+2)=8, és (2×1+1)=3, összesen 20.

Miért használunk nemlineáris aktivációkat a rejtett rétegek között?

A útmutató elmagyarázza, hogy egy sorozatos lineáris művelet halmaza lineáris marad; a nemlineáris aktivációk lehetővé teszik a hálózat számára, hogy nemlineáris kapcsolatokat ábrázoljon.

Az inferencia során mi történik általában a betanított modell paramétereivel?

Az inferencia a betanított modellt használja; a tanulás a paraméterek frissítésének folyamata.

Egy modell szorosan illeszkedik a betanítási példákra, de gyenge teljesítményt nyújt hasonló, elkülönített adatokon. Milyen mintát mutat ez?

A túlilleszkedés erős tanulási teljesítményt jelent, amely gyengébb új adatokon való teljesítménnyel párosul.