Basisprincipes GIDS

Hoe AI leert: Data, Loss, Gradient Descent en Feedback

AI leert door miljoenen of miljarden interne getallen, parameters genoemd, aan te passen, zodat de resultaten van trainingsvoorbeelden dichter bij de gewenste antwoorden komen, zoals gemeten aan de hand van een foutscore die het verlies wordt genoemd.

Luister naar deze gidsAI-verteld · ~9 min

Op deze pagina10 minuten lezen
  1. Overzicht
  2. Belangrijkste inzichten
  3. Diepe duik
  4. Train a one-number model by hand
  5. Implementatie in de echte wereld
  6. De toekomst van hoe AI leert: gegevens, verlies, gradiëntdaling en feedback
  7. Het in de praktijk brengen
  8. Bronnen en verdere literatuur
  9. Blijf verkennen
  10. Veelgestelde vragen

Overzicht

Het doel is niet om die voorbeelden uit het hoofd te leren, maar om goed te presteren op nieuwe voorbeelden. Het begrijpen van deze lus verklaart waarom AI zoveel data en rekenkracht nodig heeft, en waarom het op verrassende manieren kan falen.

Belangrijkste inzichten

  1. An AI model learns by adjusting its parameters to reduce a loss, a number that measures how wrong its predictions are on training examples.
  2. Backpropagation, published by Rumelhart, Hinton and Williams in Nature in 1986, computes how each weight should change to shrink the error.
  3. Supervised, unsupervised, self-supervised and reinforcement learning differ mainly in where the learning signal comes from, labels, structure, the data itself or rewards.
  4. Generalization to new data is the real goal, so developers keep separate training, validation and test sets and watch for overfitting.
  5. Most deployed models stop learning when training ends, so their knowledge stays fixed until developers retrain or fine-tune them.
  6. DeepMind's 2022 Chinchilla study found that model size and training data should grow together for the most efficient use of compute.

Diepe duik

When people say an AI system learns, they mean something narrower and more mechanical than human learning. Most modern AI is built with machine learning: instead of a programmer writing rules such as if the email contains this word, mark it as spam, the programmer supplies examples and a procedure that finds the rules automatically. The thing that learns is a model, which is a mathematical function with adjustable settings called parameters or weights. A small model may have thousands of parameters; AlexNet, the image model that reshaped computer vision in 2012, had 60 million. Learning means finding values for those parameters that make the model's outputs useful.

Training follows a repeating loop. First, the model receives an example, such as a photo, and makes a prediction, such as cat with 70% confidence. Second, a loss function compares the prediction with the correct answer and turns the mistake into a single number: the bigger the mistake, the bigger the loss. Third, the system works out how each parameter contributed to that loss. For neural networks this is done with backpropagation, a procedure described by Rumelhart, Hinton and Williams in Nature in October 1986, which passes the error backward through the layers to compute a gradient, meaning the direction in which each parameter should move to reduce the error. Fourth, an optimizer called gradient descent nudges every parameter a small step in that direction. The size of the step is set by the learning rate. Repeat this over millions of examples, often in small batches and over several full passes through the data called epochs, and the loss gradually falls.

The 1986 paper noted something important: as the weights adjust, hidden units inside the network come to represent useful features of the task that nobody programmed. In an image model, early layers end up detecting edges and later layers respond to shapes and objects. That is why the approach scales to problems, such as recognizing speech, where nobody could write the rules by hand.

There are several kinds of learning signal. In supervised learning every example comes with a correct label, like a photo tagged dog, and the model learns to predict the label. In unsupervised learning there are no labels, and the model looks for structure such as clusters of similar customers. Self-supervised learning creates labels from the data itself: Google's BERT, released in October 2018, hid some words in sentences and learned to fill them in, which let it learn from huge amounts of unlabeled text. Large language models learn the same way by predicting the next word. In reinforcement learning the model acts, receives a reward or penalty, and adjusts to earn more reward over time. DeepMind's AlphaGo Zero, published in Nature in 2017, learned Go entirely from games against itself and beat its human-trained predecessor 100 to 0. Reinforcement learning from human feedback (RLHF) combines these ideas: people rank model answers, and the model is tuned to produce answers people prefer, which is how OpenAI's 2022 InstructGPT was trained.

The central test of learning is generalization, which Google's Machine Learning Crash Course defines as making good predictions on new data. To measure it, developers split their data into three parts. The training set is what the model learns from. The validation set is held back to compare versions and tune settings. The test set is kept aside until the end as a stand-in for real-world data. The main failure is overfitting: the model fits the training examples so closely, noise and all, that it does badly on new data. A typical warning sign is training loss that keeps falling while validation loss starts rising. Another trap is leakage, where near-copies of test examples sneak into the training data and make results look better than they are.

A few more terms make descriptions of AI training easier to follow. Parameters are the numbers the model learns; hyperparameters are the settings people choose before training, such as the learning rate, the batch size and the number of epochs. Pretraining is the first, most expensive phase, in which a model learns general patterns from a very large dataset. Fine-tuning continues training on a smaller, task-specific dataset, which is far cheaper because the model starts from what it already knows; reusing a pretrained model this way is called transfer learning. BERT followed exactly this recipe in 2018: one pretraining run on unlabeled text, then a short fine-tuning step for each of eleven different language tasks. Fine-tuning can also matter more than size. In OpenAI's 2022 InstructGPT study, human evaluators preferred answers from a 1.3-billion-parameter model fine-tuned with human feedback over answers from the 175-billion-parameter GPT-3, a model more than 100 times larger. How a model is trained, and on what, often shapes its behavior as much as how big it is.

Machine learning differs from human learning in ways that matter. A child can learn a new word from a few uses; AlexNet needed about 1.3 million labeled images to learn 1,000 categories. Most deployed models also stop learning once training ends: the parameters are frozen, so a chatbot does not update itself from a single conversation unless its developers retrain it. Compared with hand-written rules, a learned model handles messy inputs far better but is harder to inspect, because its knowledge is spread across millions of numbers rather than written as readable rules.

Learning also fails in predictable ways. A model learns whatever pattern best reduces the loss, which may be a shortcut rather than the intended skill, such as recognizing a hospital's scanner instead of a disease. Biased or unrepresentative data produces biased predictions, and Google's course notes that training, validation and test data should come from similar distributions for results to hold. When the world changes after training, a problem called distribution shift, accuracy can drop without any warning. In reinforcement learning, a poorly chosen reward can be satisfied in unintended ways.

Learning is expensive in data and computing. AlexNet took five to six days to train on two consumer graphics cards in 2012. Modern models need far more: the Stanford AI Index 2025 reports that the training compute used for notable AI models has been doubling about every five months. More is not automatically better, though. DeepMind's 2022 Chinchilla study found that many large language models were undertrained for their size, and that model size and training data should grow together; its 70-billion-parameter Chinchilla, trained on four times more data than the 280-billion-parameter Gopher with the same compute, outperformed Gopher on a wide range of tasks.

04Uitgewerkt voorbeeld

Train a one-number model by hand

  1. Pick a tiny task: predict a price y from a size x, using the model y = w times x, where w is the single parameter, starting at w = 1.

  2. Take one training example where x = 2 and the true answer is y = 6; the model predicts 1 times 2 = 2.

  3. Compute the squared-error loss: (2 minus 6) squared = 16.

  4. Find the gradient of the loss with respect to w: 2 times (prediction minus target) times x = 2 times (minus 4) times 2 = minus 16.

  5. Apply gradient descent with learning rate 0.05: w_new = 1 minus 0.05 times (minus 16) = 1.8.

  6. Predict again: 1.8 times 2 = 3.6, giving a loss of (3.6 minus 6) squared = 5.76, which is lower than 16.

  7. Repeat the update a few more times and check that w approaches 3, the value that fits the example exactly.

Wat het laat zien

After a handful of steps w settles near 3 and the loss approaches zero. This is the same loop that trains a large neural network, only with one parameter instead of billions. To check generalization, test the final w on a new pair such as x = 5, y = 15 that the model never saw.

Implementatie in de echte wereld

Beeldherkenning: AlexNet leerde ongeveer 1,3 miljoen gelabelde foto's in 1000 categorieën sorteren en won de ILSVRC-2012-wedstrijd met een top-5-foutenpercentage van 15,3%, tegenover 26,2% voor de op een na beste inzending.

Leren door zelf te spelen: DeepMind's AlphaGo Zero, beschreven in Nature in 2017, begon met willekeurige bewegingen zonder menselijke spellen en versloeg, met behulp van alleen versterkend leren, de eerdere kampioen-verslaande AlphaGo 100-spellen tot 0.

Leren van onbewerkte tekst: de BERT van Google, uitgebracht in oktober 2018, was vooraf getraind in ongelabelde tekst door verborgen woorden te voorspellen en vestigde vervolgens nieuwe records op elf taalbegripstaken.

Leren van menselijke beoordelingen: OpenAI's InstructGPT-werk in 2022 gebruikte de rangschikking van antwoorden van mensen om GPT-3 te verfijnen, en labelers gaven de voorkeur aan het afgestemde model met 1,3 miljard parameters boven het oorspronkelijke GPT-3 met 175 miljard parameters.

Spamfilters en aanbevelingen: alledaagse systemen leren van gelabelde voorbeelden, zoals e-mails die als spam zijn gemarkeerd of films die een kijker heeft bekeken, en passen het geleerde patroon vervolgens toe op nieuwe e-mails of nieuwe kijkers.

De toekomst van hoe AI leert: gegevens, verlies, gradiëntdaling en feedback

Several research directions aim to make learning cheaper, more reliable and more continuous. Data efficiency is one: the gap between a child learning from a few examples and AlexNet needing about 1.3 million labeled images remains large, and self-supervised methods such as BERT's 2018 masked-word training were a step toward using unlabeled data instead of costly labels. Scaling rules are another. DeepMind's 2022 Chinchilla work changed how labs balance model size against data, and the Stanford AI Index 2025 shows training compute still doubling about every five months, which raises questions about energy use and whether high-quality training data will run short. Continual learning, meaning models that update safely after deployment without forgetting earlier skills, is an open problem; most systems today are retrained in large batches instead. Learning from feedback is also evolving. RLHF, as used for InstructGPT in 2022, depends on human ratings that are slow and can be inconsistent, so researchers are testing feedback generated by other models and rewards checked automatically, such as whether code passes tests. Each approach brings its own risk of the model optimizing the measurement rather than the goal, so better evaluation sits alongside better training on the research agenda.

Het in de praktijk brengen

Waarom het ertoe doet

  • Duidelijkere beslissingen. Het helpt u duidelijke technische claims te scheiden van marketingtaal.
  • Kosten en budget. U kunt betere implementatievragen stellen voordat u geld of tijd uitgeeft.
  • Team en workflow. Teams met gedeeld begrip nemen betere product-, beleids- en leerbeslissingen.

Pas op voor

  • Verschillende teams kunnen dezelfde term verschillend gebruiken, dus definieer de reikwijdte vroeg.
  • Benchmarks kunnen er sterk uitzien, terwijl de prestaties in de echte wereld ongelijkmatig zijn.
  • Het negeren van datakwaliteit en evaluatieplannen zorgt vaak voor fragiele resultaten.

Volgende stappen

  1. Begin met een definitie in duidelijke taal van het gewenste resultaat.
  2. Kies één successtatistiek en één faalconditie voordat u gaat testen.
  3. Voer een kleine pilot uit met representatieve gegevens, niet met een gepolijste demoset.
  4. Documenteer waar hoe AI leert: gegevens, verlies, gradiëntdaling en feedback helpen en waar eenvoudigere methoden beter zijn.

Bronnen en verdere literatuur

  1. Nature (Rumelhart, Hinton and Williams, 1986)Learning representations by back-propagating errors
  2. NeurIPS 2012 (Krizhevsky, Sutskever and Hinton)ImageNet Classification with Deep Convolutional Neural Networks
  3. Nature (Silver et al., 2017)Mastering the game of Go without human knowledge
  4. arXiv (Devlin et al., 2018)BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
  5. arXiv (Ouyang et al., 2022)Taalmodellen trainen om instructies te volgen met menselijke feedback
  6. arXiv (Hoffmann et al., 2022)Computer-optimale grote taalmodellen trainen
  7. Google Machine Learning Crash CourseOverfitting
  8. Stanford Institute for Human-Centered AIHet AI-indexrapport 2025

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Doe de quiz Hoe AI leert: gegevens, verlies, gradiëntdaling en feedback

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is hoe AI leert: gegevens, verlies, gradiëntdaling en feedback?

AI leert door miljoenen of miljarden interne getallen, parameters genoemd, aan te passen, zodat de resultaten van trainingsvoorbeelden dichter bij de gewenste antwoorden komen, zoals gemeten aan de hand van een foutscore die het verlies wordt genoemd. Het doel is niet om die voorbeelden uit het hoofd te leren, maar om goed te presteren op nieuwe voorbeelden. Het begrijpen van deze lus verklaart waarom AI zoveel data en rekenkracht nodig heeft, en waarom het op verrassende manieren kan falen.

Wat omvatten de trainingsgegevens bij begeleid leren?

Bij begeleid leren worden voorbeelden gecombineerd met doelresultaten of labels, zoals foto's met het label 'kat' of 'hond', om een ​​input-naar-output-toewijzing te leren.

Van welk type leerwijze is het groeperen van klanten op basis van vergelijkbare winkelgewoonten, zonder vooraf gedefinieerde categorieën, een voorbeeld?

Bij leren zonder toezicht wordt structuur, zoals clusters, gevonden in gegevens die geen labels hebben. Niemand vertelt het model hoe de groepen moeten zijn.

Hoe verbetert een versterkende leeragent, zoals iemand die een videogame leert spelen?

Versterkend leren is vallen en opstaan, geleid door een beloningssignaal. Bij veel pogingen geeft de agent de voorkeur aan acties die meer beloning opleveren.

Een model presteert goed op zijn trainingsvoorbeelden, maar slecht op vergelijkbare, volgehouden voorbeelden. Welk patroon laat dit zien?

Overfitting beschrijft een model dat trainingsgegevens nauw aansluit, maar slecht presteert op nieuwe gegevens.

Waarom een ​​testset gescheiden houden van het passen van het model en het kiezen van de instellingen ervan?

Een uitgestelde testset geeft na training en modelkeuzes een aparte schatting; herhaald gebruik om keuzes af te stemmen verzwakt die scheiding.