āļ„āļđāđˆāļĄāļ·āļ­ AI āļ āļēāļĐāļē

TF-IDF āđāļĨāļ°āđ‚āļĄāđ€āļ”āļĨ Bag-of-Words

A bag-of-words representation records term counts or weights while ignoring word order.

āļŸāļąāļ‡āļ„āļģāđāļ™āļ°āļ™āļģāļ™āļĩāđ‰āļšāļĢāļĢāļĒāļēāļĒāđ‚āļ”āļĒ AI · ~2 min

āļšāļ™āļŦāļ™āđ‰āļēāļ™āļĩāđ‰āļ­āđˆāļēāļ™ 2 āļ™āļēāļ—āļĩ
  1. āļ āļēāļžāļĢāļ§āļĄ
  2. āđ€āļˆāļēāļ°āļĨāļķāļ
  3. āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡
  4. āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨ TF-IDF āđāļĨāļ° Bag-of-Words
  5. āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī
  6. āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›
  7. āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

āļ āļēāļžāļĢāļ§āļĄ

TF-IDF combines term frequency within a document with inverse document frequency across a collection; it is a sparse, vocabulary-based representation.

āđ€āļˆāļēāļ°āļĨāļķāļ

The Stanford Information Retrieval textbook describes bag-of-words vectors as vocabulary features that retain term counts but discard order. TF-IDF weights a term using within-document frequency and inverse document frequency, which lowers the contribution of collection-wide common terms. A document and a query can be represented as vectors; the textbook uses cosine similarity to score their alignment and illustrates TF-IDF weights. This is a lexical matching method: it does not represent word order or contextual meaning.

āļāļēāļĢāđƒāļŠāđ‰āļ‡āļēāļ™āļˆāļĢāļīāļ‡āđƒāļ™āđ‚āļĨāļāđāļŦāđˆāļ‡āļ„āļ§āļēāļĄāđ€āļ›āđ‡āļ™āļˆāļĢāļīāļ‡

Paper concept: represent a document by vocabulary-term counts without word order.

Paper concept: downweight terms that occur in many documents using inverse document frequency.

Information Retrieval textbook example: compare query and document vectors with cosine similarity.

Illustrative: evaluate sparse lexical retrieval on a domain corpus and inspect which terms drive results.

āļ­āļ™āļēāļ„āļ•āļ‚āļ­āļ‡āđ‚āļĄāđ€āļ”āļĨ TF-IDF āđāļĨāļ° Bag-of-Words

Compare TF-IDF with other sparse and dense methods on the intended corpus using held-out relevance judgments. The method’s usefulness depends on vocabulary, query distribution, indexing, and evaluation; the cited sources do not establish that neural models dominate all NLP or that TF-IDF is universally difficult to beat.

āļāļēāļĢāļ™āļģāđ„āļ›āļ›āļāļīāļšāļąāļ•āļī

āļ—āļģāđ„āļĄāļĄāļąāļ™āļ–āļķāļ‡āļŠāļģāļ„āļąāļ

  • āļ„āļ§āļēāļĄāđ€āļĢāđ‡āļ§āđāļĨāļ°āļ‚āļ™āļēāļ”. āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļāļēāļĢāļ—āļģāļ‡āļēāļ™āļ‚āļ­āļ‡āļ āļēāļĐāļēāļŠāļēāļĄāļēāļĢāļ–āļ”āļģāđ€āļ™āļīāļ™āđ„āļ›āđ„āļ”āđ‰āđ€āļĢāđ‡āļ§āļ‚āļķāđ‰āļ™āđ‚āļ”āļĒāđ„āļĄāđˆāļāļĢāļ°āļ—āļšāļ•āđˆāļ­āļ„āļ§āļēāļĄāļŠāļĄāđˆāļģāđ€āļŠāļĄāļ­
  • āđ€āļ‚āđ‰āļēāļ–āļķāļ‡āđāļĨāļ°āđ€āļ‚āđ‰āļēāļ–āļķāļ‡. āļ‚āļĒāļēāļĒāļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļ āļēāļĐāļēāđāļĨāļ°āļĢāļđāļ›āđāļšāļšāļāļēāļĢāļŠāļ·āđˆāļ­āļŠāļēāļĢ
  • āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™āđƒāļˆāļ—āļĩāđˆāļŠāļąāļ”āđ€āļˆāļ™āļĒāļīāđˆāļ‡āļ‚āļķāđ‰āļ™. āļ—āļĩāļĄāļŠāļēāļĄāļēāļĢāļ–āđƒāļŠāđ‰āđ€āļ§āļĨāļēāļĄāļēāļāļ‚āļķāđ‰āļ™āđƒāļ™āļāļēāļĢāļ•āļąāļ”āļŠāļīāļ™ āđƒāļ™āļ‚āļ“āļ°āļ—āļĩāđˆāļĢāļ°āļšāļšāļ­āļąāļ•āđ‚āļ™āļĄāļąāļ•āļīāļˆāļąāļ”āļāļēāļĢāļāļąāļšāļāļēāļĢāļ—āļģāļ‹āđ‰āļģ

āļĢāļ°āļ§āļąāļ‡

  • āļ‚āđ‰āļ­āđ€āļ—āđ‡āļˆāļˆāļĢāļīāļ‡āļ—āļĩāđˆāļŦāļĨāļ­āļ™āļ›āļĢāļ°āļŠāļēāļ—āļŠāļēāļĄāļēāļĢāļ–āđ€āļ‚āđ‰āļēāļŠāļđāđˆāļĢāļēāļĒāļ‡āļēāļ™ āļāļĢāļ°āđāļŠāļŠāļ™āļąāļšāļŠāļ™āļļāļ™ āļŦāļĢāļ·āļ­āļœāļĨāļāļēāļĢāļ§āļīāļˆāļąāļĒāđ„āļ”āđ‰āļ­āļĒāđˆāļēāļ‡āđ€āļ‡āļĩāļĒāļšāđ†
  • āļ„āļ§āļēāļĄāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ­āđˆāļ­āļ™āļ‚āļ­āļ‡āļāļēāļĢāđāļˆāđ‰āļ‡āđ€āļ•āļ·āļ­āļ™āļŠāļēāļĄāļēāļĢāļ–āļŠāļĢāđ‰āļēāļ‡āļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāđ„āļĄāđˆāļŠāļ­āļ”āļ„āļĨāđ‰āļ­āļ‡āļāļąāļ™āđƒāļ™āļ„āļģāļ‚āļ­āļ—āļĩāđˆāļ„āļĨāđ‰āļēāļĒāļāļąāļ™
  • āļ‚āđ‰āļ­āļĄāļđāļĨāļ‚āđ‰āļ­āļ„āļ§āļēāļĄāļ—āļĩāđˆāļĨāļ°āđ€āļ­āļĩāļĒāļ”āļ­āđˆāļ­āļ™āļ­āļēāļˆāļ–āļđāļāđ€āļ›āļīāļ”āđ€āļœāļĒāļŦāļēāļāļāļēāļĢāļ„āļ§āļšāļ„āļļāļĄāļāļēāļĢāđ€āļ‚āđ‰āļēāļ–āļķāļ‡āļ­āđˆāļ­āļ™āđāļ­

āļ‚āļąāđ‰āļ™āļ•āļ­āļ™āļ•āđˆāļ­āđ„āļ›

  1. āļāļģāļŦāļ™āļ”āļĢāļđāļ›āđāļšāļšāđ€āļ­āļēāļ•āđŒāļžāļļāļ• āđ‚āļ—āļ™āđ€āļŠāļĩāļĒāļ‡ āđāļĨāļ°āļĄāļēāļ•āļĢāļāļēāļ™āļ„āļļāļ“āļ āļēāļžāļāđˆāļ­āļ™āđ€āļ›āļīāļ”āļ•āļąāļ§
  2. āļāļēāļĢāļ•āļ­āļšāļŠāļ™āļ­āļ‡āļ āļēāļ„āļžāļ·āđ‰āļ™āļ”āļīāļ™āļāļąāļšāđāļŦāļĨāđˆāļ‡āļ‚āđ‰āļ­āļĄāļđāļĨāļ—āļĩāđˆāđ€āļŠāļ·āđˆāļ­āļ–āļ·āļ­āđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āđƒāļ”āļāđ‡āļ•āļēāļĄāļ—āļĩāđˆāļ„āļ§āļēāļĄāđāļĄāđˆāļ™āļĒāļģāļĄāļĩāļ„āļ§āļēāļĄāļŠāļģāļ„āļąāļ
  3. āļĢāļąāļāļĐāļēāļˆāļļāļ”āļ•āļĢāļ§āļˆāļŠāļ­āļšāļāļēāļĢāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ‚āļ”āļĒāļĄāļ™āļļāļĐāļĒāđŒāļŠāļģāļŦāļĢāļąāļšāļœāļĨāļĨāļąāļžāļ˜āđŒāļ—āļĩāđˆāļĄāļĩāđ€āļ”āļīāļĄāļžāļąāļ™āļŠāļđāļ‡
  4. āļ•āļīāļ”āļ•āļēāļĄāļĢāļđāļ›āđāļšāļšāļ„āļ§āļēāļĄāļĨāđ‰āļĄāđ€āļŦāļĨāļ§āđāļĨāļ°āļāļķāļāļ­āļšāļĢāļĄāļžāļĢāđ‰āļ­āļĄāļ—āđŒāļŦāļĢāļ·āļ­āđ€āļ§āļīāļĢāđŒāļāđ‚āļŸāļĨāļ§āđŒāđ€āļ›āđ‡āļ™āļ›āļĢāļ°āļˆāļģ

āļŠāļģāļĢāļ§āļˆāļ•āđˆāļ­āđ„āļ›

āļˆāļ”āļŦāļĄāļēāļĒāļ‚āđˆāļēāļ§āļŸāļĢāļĩ

āļĢāļąāļšāļŠāļĢāļļāļ› AI āļĢāļēāļĒāļ§āļąāļ™

āđ€āļĢāļ·āđˆāļ­āļ‡āļĢāļēāļ§ AI āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđāļĨāđ‰āļ§ 3 āđ€āļĢāļ·āđˆāļ­āļ‡āļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āđ€āļŠāđ‰āļē, āđ€āļ‚āļĩāļĒāļ™āđ€āļ›āđ‡āļ™āļ āļēāļĐāļēāļ­āļąāļ‡āļāļĪāļĐāļ˜āļĢāļĢāļĄāļ”āļē āļŸāļĢāļĩāļ•āļĨāļ­āļ”āđ„āļ› āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē

āļ­āļĩāđ€āļĄāļĨāļŦāļ™āļķāđˆāļ‡āļ‰āļšāļąāļšāļ—āļļāļāļ§āļąāļ™āļ—āļģāļ‡āļēāļ™ āļĒāļāđ€āļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļ„āļĢāđƒāļ™āļ„āļĨāļīāļāđ€āļ”āļĩāļĒāļ§ āđ€āļĢāļēāđ„āļĄāđˆāđ€āļ„āļĒāļ‚āļēāļĒāļŦāļĢāļ·āļ­āđāļŠāļĢāđŒāļ—āļĩāđˆāļ­āļĒāļđāđˆāļ­āļĩāđ€āļĄāļĨāļ‚āļ­āļ‡āļ„āļļāļ“

āļ—āļ”āļŠāļ­āļšāļ•āļąāļ§āđ€āļ­āļ‡

Take the TF-IDF and Bag-of-Words Models quiz

āļ‚āđ‰āļ­āđ€āļŠāļ™āļ­āđāļ™āļ°āļ—āļąāļ™āļ—āļĩāļŠāļģāļŦāļĢāļąāļšāļ—āļļāļāļ„āļģāļ•āļ­āļš āđāļĨāļ°āđƒāļšāļĢāļąāļšāļĢāļ­āļ‡āļ—āļĩāđˆāļŠāļēāļĄāļēāļĢāļ–āđāļŠāļĢāđŒāđ„āļ”āđ‰āļžāļĢāđ‰āļ­āļĄ ID āļ—āļĩāđˆāļ•āļĢāļ§āļˆāļŠāļ­āļšāđ„āļ”āđ‰āđ€āļĄāļ·āđˆāļ­āļ„āļļāļ“āļœāđˆāļēāļ™āļŦāļĨāļąāļāļŠāļđāļ•āļĢ

āđ€āļĢāļīāđˆāļĄāđāļšāļšāļ—āļ”āļŠāļ­āļš

āļŠāļ™āļąāļšāļŠāļ™āļļāļ™āļāļēāļĢāļĻāļķāļāļĐāļē AI āļŸāļĢāļĩ AI Understanding āđ€āļ›āđ‡āļ™āļ­āļ‡āļ„āđŒāļāļĢāđ„āļĄāđˆāđāļŠāļ§āļ‡āļŦāļēāļœāļĨāļāļģāđ„āļĢ 501(c)(3) — āđ„āļĄāđˆāļĄāļĩāđ‚āļ†āļĐāļ“āļē āđ„āļĄāđˆāļĄāļĩāļāļģāđāļžāļ‡āđ€āļ‡āļīāļ™, āļ•āļĨāļ­āļ”āđ„āļ› āļšāļĢāļīāļˆāļēāļ„

āļ„āļģāļ–āļēāļĄāļ—āļĩāđˆāļžāļšāļšāđˆāļ­āļĒ

What is TF-IDF and Bag-of-Words Models?

A bag-of-words representation records term counts or weights while ignoring word order. TF-IDF combines term frequency within a document with inverse document frequency across a collection; it is a sparse, vocabulary-based representation.

āļ‚āđ‰āļ­āļĄāļđāļĨāļŠāļģāļ„āļąāļāđƒāļ”āļ—āļĩāđˆāđ‚āļĄāđ€āļ”āļĨāđāļšāļšāļ–āļļāļ‡āļ„āļģāļĨāļ°āļ—āļīāđ‰āļ‡āđ„āļ›

Bag-of-words āđ€āļāđ‡āļšāļˆāļģāļ™āļ§āļ™āļ„āļģāđāļ•āđˆāļĨāļ°āļ—āļīāđ‰āļ‡āļĨāļģāļ”āļąāļšāļ„āļģāđāļĨāļ°āđ‚āļ„āļĢāļ‡āļŠāļĢāđ‰āļēāļ‡āđ„āļ§āļĒāļēāļāļĢāļ“āđŒ

āļŠāđˆāļ§āļ™ IDF āļ‚āļ­āļ‡ TF-IDF āļ—āļģāļŦāļ™āđ‰āļēāļ—āļĩāđˆāļ­āļ°āđ„āļĢ

āļ„āļ§āļēāļĄāļ–āļĩāđˆāļ‚āļ­āļ‡āđ€āļ­āļāļŠāļēāļĢāļœāļāļœāļąāļ™āļˆāļ°āļĨāļ”āļ™āđ‰āļģāļŦāļ™āļąāļāļ‚āļ­āļ‡āļ„āļģāļĻāļąāļžāļ—āđŒāļ—āļĩāđˆāļ›āļĢāļēāļāļāđƒāļ™āđ€āļ­āļāļŠāļēāļĢāļˆāļģāļ™āļ§āļ™āļĄāļēāļ āļ”āļąāļ‡āļ™āļąāđ‰āļ™āļ„āļģāļ—āļąāđˆāļ§āđ„āļ›āđ€āļŠāđˆāļ™ 'the' āļĄāļĩāļŠāđˆāļ§āļ™āļŠāđˆāļ§āļĒāđ€āļžāļĩāļĒāļ‡āđ€āļĨāđ‡āļāļ™āđ‰āļ­āļĒ

āļ„āļģāļ—āļĩāđˆāļ›āļĢāļēāļāļāđƒāļ™āļ—āļļāļāđ€āļ­āļāļŠāļēāļĢāđƒāļ™āļ„āļ­āļĨāđ€āļĨāļāļŠāļąāļ™āļˆāļ°āđ„āļ”āđ‰āļ„āđˆāļē IDF āđƒāļāļĨāđ‰āđ€āļ„āļĩāļĒāļ‡āļāļąāļšāļ‚āđ‰āļ­āđƒāļ”

āļ”āđ‰āļ§āļĒ IDF = log(N/df) āļ–āđ‰āļē df āđ€āļ—āđˆāļēāļāļąāļš N āļ­āļąāļ•āļĢāļēāļŠāđˆāļ§āļ™āļˆāļ°āđ€āļ›āđ‡āļ™ 1 āđāļĨāļ° log(1) āđ€āļ—āđˆāļēāļāļąāļš 0 āļ—āļģāđƒāļŦāđ‰āļžāļˆāļ™āđŒāđāļ—āļšāđ„āļĄāđˆāļĄāļĩāļ™āđ‰āļģāļŦāļ™āļąāļāđ€āļĨāļĒ

āļ„āļ°āđāļ™āļ™ TF-IDF āļŠāļģāļŦāļĢāļąāļšāļ āļēāļ„āđ€āļĢāļĩāļĒāļ™āļ„āļģāļ™āļ§āļ“āļ­āļĒāđˆāļēāļ‡āđ„āļĢ

āļ™āđ‰āļģāļŦāļ™āļąāļ TF-IDF āļ„āļ·āļ­āļ„āļ§āļēāļĄāļ–āļĩāđˆāļ‚āļ­āļ‡āļ„āļģāļ„āļđāļ“āļ”āđ‰āļ§āļĒāļ„āļ§āļēāļĄāļ–āļĩāđˆāļ‚āļ­āļ‡āđ€āļ­āļāļŠāļēāļĢāļœāļāļœāļąāļ™

āļāļēāļĢāļ§āļąāļ”āļ„āļ§āļēāļĄāļ„āļĨāđ‰āļēāļĒāļ„āļĨāļķāļ‡āļāļąāļ™āđāļšāļšāđƒāļ”āļ—āļĩāđˆāļĄāļąāļāđƒāļŠāđ‰āđ€āļžāļ·āđˆāļ­āđ€āļ›āļĢāļĩāļĒāļšāđ€āļ—āļĩāļĒāļšāđ€āļ§āļāđ€āļ•āļ­āļĢāđŒāđ€āļ­āļāļŠāļēāļĢ TF-IDF

The Stanford Information Retrieval textbook uses cosine similarity to score a query vector against document vectors, including TF-IDF-weighted vectors. This is a documented method, not a claim that every TF-IDF system uses it.

āđ€āļĢāļĩāļĒāļ™āļĢāļđāđ‰āļ•āđˆāļ­āđ„āļ›

āļ„āļģāđāļ™āļ°āļ™āļģāļ—āļĩāđˆāđ€āļāļĩāđˆāļĒāļ§āļ‚āđ‰āļ­āļ‡

āļ„āļģāđāļ™āļ°āļ™āļģāđ€āļžāļīāđˆāļĄāđ€āļ•āļīāļĄāļ—āļĩāđˆāđ€āļĨāļ·āļ­āļāļŠāļģāļŦāļĢāļąāļšāļŦāļąāļ§āļ‚āđ‰āļ­āļ™āļĩāđ‰

āļĢāļąāļšāđƒāļšāļĢāļąāļšāļĢāļ­āļ‡ AI āļŸāļĢāļĩāļŦāļĨāļąāļāļŠāļđāļ•āļĢāđāļĨāļ°āļāļēāļĢāļŠāļ­āļšāļŠāļąāđ‰āļ™ āđ† āļŸāļĢāļĩ āđ„āļĄāđˆāļĄāļĩāļ„āđˆāļēāđƒāļŠāđ‰āļˆāđˆāļēāļĒ āđ„āļĄāđˆāļĄāļĩāļšāļąāļ•āļĢāđ€āļ„āļĢāļ”āļīāļ• āļ›āļĢāļ°āļĄāļēāļ“ 2.5 āļŠāļąāđˆāļ§āđ‚āļĄāļ‡āđ€āļĢāļīāđˆāļĄāļ•āđ‰āļ™āļŸāļĢāļĩ →