āļ„āļđāđˆāļĄāļ·āļ­ AI āļ āļēāļĐāļē

āļāļēāļĢāđāļ›āļĨāļ”āđ‰āļ§āļĒāđ€āļ„āļĢāļ·āđˆāļ­āļ‡

āļāļēāļĢāđāļ›āļĨāļ”āđ‰āļ§āļĒāđ€āļ„āļĢāļ·āđˆāļ­āļ‡āļ„āļ·āļ­āļāļēāļĢāđāļ›āļĨāļ‡āļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļˆāļēāļāļ āļēāļĐāļēāļ•āđ‰āļ™āļ—āļēāļ‡āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāđ€āļ›āđ‰āļēāļŦāļĄāļēāļĒ

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āļ›āļĢāļ°āđ€āļ”āđ‡āļ™āļŠāļģāļ„āļąāļ
  3. āđ€āļˆāļēāļ°āļĨāļķāļ
  4. Compare usefulness with word overlap
  5. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  6. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  7. āļ—āļĩāđˆāļĄāļēāđāļĨāļ°āļ­āđˆāļēāļ™āđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄ
  8. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  9. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

Neural systems often treat this as a sequence-to-sequence task: read one sequence and produce another. Building and evaluating such a system requires attention to data alignment and language-specific errors.

āļ›āļĢāļ°āđ€āļ”āđ‡āļ™āļŠāļģāļ„āļąāļ

  1. Check aligned data and document-level splits.
  2. Record evaluation configuration.
  3. Inspect meaning-changing errors by language pair.

āđ€āļˆāļēāļ°āļĨāļķāļ

Parallel training data pairs source passages with corresponding translations. Incorrect alignment, duplicated material, or mismatched language labels can teach the wrong relationship. Clean the pairs and keep documents together when splitting evaluation data to avoid near-duplicate leakage. Tokenization determines how text becomes model inputs. A tokenizer that handles one writing system efficiently may split another into many more units. Check the length limits in both languages and whether truncation removes the end of either the source or target passage. Automatic metrics make repeated experiments practical. BLEU compares patterns of word sequences with reference translations, but a metric is not a complete judgment of meaning, readability, or suitability for a domain. Evaluation settings and reference choices matter, so record them with the score. Use an error taxonomy alongside metrics: additions, omissions, changed numbers, inconsistent terminology, incorrect negation, and awkward phrasing. Assess each language pair and domain separately. An average across several well-resourced languages can conceal failures in a less-represented language or specialized document type.

04āļ•āļąāļ§āļ­āļĒāđˆāļēāļ‡āļāļēāļĢāļ—āļģāļ‡āļēāļ™

Compare usefulness with word overlap

  1. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļ āļ

    Imagine a reference “The package did not arrive.” Candidate A says “The parcel never arrived.” Candidate B says “The package did arrive.”

  2. āļ•āļąāļ§āđ€āļĨāļ·āļ­āļ āļ‚

    Candidate A uses different words but preserves the main meaning. Candidate B resembles the reference while reversing the outcome.

āļāļēāļĢāļ—āļ”āļŠāļ­āļš

Record the negation error explicitly instead of choosing a translation by appearance or overlap alone.

āļĄāļąāļ™āđāļŠāļ”āļ‡āđƒāļŦāđ‰āđ€āļŦāđ‡āļ™āļ­āļ°āđ„āļĢ

The constructed example demonstrates why metric-based comparisons need semantic review.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Evaluate a fixed test set with both a documented metric and bilingual error review.

Audit source-target pairs for mismatched dates, names, and sentence boundaries.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™āļ‚āļ­āļ‡āļ āļēāļĐāļēāļŠāļēāļĄāļēāļĢāļ–āļ”āļģāđ€āļ™āļīāļ™āđ„āļ›āđ„āļ”āđ‰āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™āđ‚āļ”āļĒāđ„āļĄāđˆāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļ„āļ§āļēāļĄāļŠāļĄāđˆāļģāđ€āļŠāļĄāļ­
  • āđ€āļ‚āđ‰āļēāļ–āļķāļ‡āđāļĨāļ°āđ€āļ‚āđ‰āļēāļ–āļķāļ‡. āļ‚āļĒāļēāļĒāļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļ āļēāļĐāļēāđāļĨāļ°āļĢāļđāļ›āđāļšāļšāļāļēāļĢāļŠāļ·āđˆāļ­āļŠāļēāļĢ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļ—āļĩāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļŠāđ‰āđ€āļ§āļĨāļēāļĄāļēāļāļ‚āļķāđ‰āļ™āđƒāļ™āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™ āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļĢāļ°āļšāļšāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļˆāļąāļ”āļāļēāļĢāļāļąāļšāļāļēāļĢāļ—āļģāļ‹āđ‰āļģ

āļĢāļ°āļ§āļąāļ‡

  • āļ‚āđ‰āļ­āđ€āļ—āđ‡āļˆāļˆāļĢāļīāļ‡āļ—āļĩāđˆāļŦāļĨāļ­āļ™āļ›āļĢāļ°āļŠāļēāļ—āļŠāļēāļĄāļēāļĢāļ–āđ€āļ‚āđ‰āļēāļŠāļđāđˆāļĢāļēāļĒāļ‡āļēāļ™ āļāļĢāļ°āđāļŠāļŠāļ™āļąāļšāļŠāļ™āļļāļ™ āļŦāļĢāļ·āļ­āļœāļĨāļāļēāļĢāļ§āļīāļˆāļąāļĒāđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āđ€āļ‡āļĩāļĒāļšāđ†
  • āļ„āļ§āļēāļĄāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļāļēāļĢāđāļˆāđ‰āļ‡āđ€āļ•āļ·āļ­āļ™āļŠāļēāļĄāļēāļĢāļ–āļŠāļĢāđ‰āļēāļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ„āļĄāđˆāļŠāļ­āļ”āļ„āļĨāđ‰āļ­āļ‡āļāļąāļ™āđƒāļ™āļ„āļģāļ‚āļ­āļ—āļĩāđˆāļ„āļĨāđ‰āļēāļĒāļāļąāļ™
  • āļ‚āđ‰āļ­āļĄāļđāļĨāļ‚āđ‰āļ­āļ„āļ§āļēāļĄāļ—āļĩāđˆāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ­āđˆāļ­āļ™āļ­āļēāļˆāļ–āļđāļāđ€āļ›āļīāļ”āđ€āļœāļĒāļŦāļēāļāļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļ­āđˆāļ­āļ™āđāļ­

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āļĢāļđāļ›āđāļšāļšāđ€āļ­āļēāļ•āđŒāļžāļļāļ• āđ‚āļ—āļ™āđ€āļŠāļĩāļĒāļ‡ āđāļĨāļ°āļĄāļēāļ•āļĢāļāļēāļ™āļ„āļļāļ“āļ āļēāļžāļāđˆāļ­āļ™āđ€āļ›āļīāļ”āļ•āļąāļ§
  2. āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ āļēāļ„āļžāļ·āđ‰āļ™āļ”āļīāļ™āļāļąāļšāđāļŦāļĨāđˆāļ‡āļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āđƒāļ”āļāđ‡āļ•āļēāļĄāļ—āļĩāđˆāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļĄāļĩāļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļ
  3. āļĢāļąāļāļĐāļēāļˆāļļāļ”āļ•āļĢāļ§āļˆāļŠāļ­āļšāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ‚āļ”āļĒāļĄāļ™āļļāļĐāļĒāđŒāļŠāļģāļŦāļĢāļąāļšāļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāļĄāļĩāđ€āļ”āļīāļĄāļžāļąāļ™āļŠāļđāļ‡
  4. āļ•āļīāļ”āļ•āļēāļĄāļĢāļđāļ›āđāļšāļšāļ„āļ§āļēāļĄāļĨāđ‰āļĄāđ€āļŦāļĨāļ§āđāļĨāļ°āļāļķāļāļ­āļšāļĢāļĄāļžāļĢāđ‰āļ­āļĄāļ—āđŒāļŦāļĢāļ·āļ­āđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒāđ€āļ›āđ‡āļ™āļ›āļĢāļ°āļˆāļģ

āļ—āļĩāđˆāļĄāļēāđāļĨāļ°āļ­āđˆāļēāļ™āđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄ

  1. Association for Computational LinguisticsBleu: a Method for Automatic Evaluation of Machine Translation

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the Machine Translation quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

Is BLEU a percentage of correctly translated sentences?

No. It is an automatic reference-based metric, not a direct count of sentences that a human would judge correct.

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļ•āđˆāļ­āđ„āļ›āļ„āļģāđāļ™āļ°āļ™āļģāļ•āđˆāļ­āđ„āļ›

āļ§āļīāļ˜āļĩāļ•āļĢāļ§āļˆāļŠāļ­āļšāļ„āļ§āļēāļĄāļ–āļđāļāļ•āđ‰āļ­āļ‡āļ‚āļ­āļ‡āļāļēāļĢāđāļ›āļĨāļ”āđ‰āļ§āļĒ AI

āļ āļēāļĐāļēāđ€āļ­āđ„āļ­

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →