āĻĒā§āϰāϝ⧁āĻ•ā§āϤāĻŋāĻ—āϤ āĻ—āĻžāχāĻĄ

āĻ•ā§āϝāĻžāĻļ⧇-āĻ…āĻ—āĻŽā§‡āĻ¨ā§āĻŸā§‡āĻĄ āĻœā§‡āύāĻžāϰ⧇āĻļāύ (CAG)

āĻ•ā§āϝāĻžāĻļ⧇-āĻ…āĻ—āĻŽā§‡āĻ¨ā§āĻŸā§‡āĻĄ āĻœā§‡āύāĻžāϰ⧇āĻļāύ (CAG) āĻāĻ•āϟāĻŋ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ, āĻ¸ā§āĻĨāĻŋāϰ āĻœā§āĻžāĻžāύ⧇āϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋāϕ⧇ āĻāĻ•āϟāĻŋ āĻ­āĻžāώāĻž āĻŽāĻĄā§‡āϞ⧇āϰ āϕ⧀-āĻŽāĻžāύ (KV) āĻ•ā§āϝāĻžāĻļ⧇ āĻāĻ•āĻŦāĻžāϰ āĻĒā§āϰāĻŋāϞ⧋āĻĄ āĻ•āϰ⧇ āĻāĻŦāĻ‚ RAG-āĻāϰ āĻŽāϤ āĻ•āϰ⧇ āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĒā§āϰāĻļā§āύ⧇āϰ āϜāĻ¨ā§āϝ āύāĻĨāĻŋ āĻĒ⧁āύāϰ⧁āĻĻā§āϧāĻžāϰ āĻ•āϰāĻžāϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤ⧇, āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĒā§āϰāĻļā§āύ⧇āϰ āϜāĻ¨ā§āϝ āϏ⧇āχ āĻ•ā§āϝāĻžāĻļ⧇ āĻĒ⧁āύāϰāĻžāϝāĻŧ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇āĨ¤

āĻāχ āύāĻŋāĻ°ā§āĻĻ⧇āĻļāĻŋāĻ•āĻž āĻļ⧁āύ⧁āύāĻāφāχ-āĻŦāĻ°ā§āĻŖāĻŋāϤ ¡ ~3 min

āĻāχ āĻĒ⧃āĻˇā§āĻ āĻžāϝāĻŧ3 āĻŽāĻŋāύāĻŋāϟ āĻĒāĻĄāĻŧāĻž āĻšāϝāĻŧ⧇āϛ⧇
  1. āĻ“āĻ­āĻžāϰāĻ­āĻŋāω
  2. āĻ—āĻ­ā§€āϰ āĻĄā§āĻŦ
  3. āĻŦāĻžāĻ¸ā§āϤāĻŦ-āĻŦāĻŋāĻļā§āĻŦ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ
  4. āĻĻā§āϝ āĻĢāĻŋāωāϚāĻžāϰ āĻ…āĻĢ āĻ•ā§āϝāĻžāĻļ⧇-āĻ…āĻ—āĻŽā§‡āĻ¨ā§āĻŸā§‡āĻĄ āĻœā§‡āύāĻžāϰ⧇āĻļāύ (CAG)
  5. āĻāϟāĻžāϕ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦ⧇ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āĻšāĻšā§āϛ⧇
  6. āĻ…āĻ¨ā§āĻŦ⧇āώāĻŖ āϚāĻžāϞāĻŋāϝāĻŧ⧇ āϝāĻžāύ
  7. āĻĒā§āϰāĻžāϝāĻŧāĻļāχ āϜāĻŋāĻœā§āĻžāĻžāϏāĻŋāϤ āĻĒā§āϰāĻļā§āύāĻžāĻŦāϞ⧀

āĻ“āĻ­āĻžāϰāĻ­āĻŋāω

āĻāϟāĻŋ āϛ⧋āϟ, āĻ¸ā§āĻĨāĻŋāϤāĻŋāĻļā§€āϞ āĻ•āĻ°ā§āĻĒā§‹āϰāĻžāϰ āϜāĻ¨ā§āϝ āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ āĻ•āĻžāϰāĻŖ āĻāϟāĻŋ āĻĒā§āϰāϤāĻŋāĻŦāĻžāϰ āύāĻĨāĻŋāϗ⧁āϞāĻŋ āĻĒ⧁āύāϰāĻžāϝāĻŧ āĻĒāĻĄāĻŧāĻžāϰ āĻšā§‡āϝāĻŧ⧇ āĻĻā§āϰ⧁āϤ āωāĻ¤ā§āϤāϰ āĻĻ⧇āĻ“āϝāĻŧāĻžāϰ āϏāĻŽāϝāĻŧ āĻĒ⧁āύāϰ⧁āĻĻā§āϧāĻžāϰ āĻ¤ā§āϰ⧁āϟāĻŋ āĻāĻŦāĻ‚ āϏ⧂āϚāĻ• āϰāĻ•ā§āώāĻŖāĻžāĻŦ⧇āĻ•ā§āώāĻŖāϕ⧇ āϏāϰāĻŋāϝāĻŧ⧇ āĻĻ⧇āϝāĻŧāĨ¤

āĻ—āĻ­ā§€āϰ āĻĄā§āĻŦ

āĻ•ā§āϝāĻžāĻļ⧇-āĻ…āĻ—āĻŽā§‡āĻ¨ā§āĻŸā§‡āĻĄ āĻœā§‡āύāĻžāϰ⧇āĻļāύ, āĻŦāĻž āϏāĻŋāĻāϜāĻŋ, āĻĒ⧁āύāϰ⧁āĻĻā§āϧāĻžāϰ āĻĒāĻĻāĻ•ā§āώ⧇āĻĒāϕ⧇ āĻĒā§āϰāĻŋāϞ⧋āĻĄāĻŋāĻ‚ āĻĻāĻŋāϝāĻŧ⧇ āĻĒā§āϰāϤāĻŋāĻ¸ā§āĻĨāĻžāĻĒāύ āĻ•āϰ⧇āĨ¤ āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĒā§āϰāĻļā§āύ⧇āϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āĻœā§āĻžāĻžāύ⧇āϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āĻ…āύ⧁āϏāĻ¨ā§āϧāĻžāύ āĻ•āϰāĻžāϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤ⧇, āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽāϟāĻŋ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻœā§āĻžāĻžāύ⧇āϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋāϕ⧇ āĻāĻ•āĻŦāĻžāϰ āĻŽāĻĄā§‡āϞ⧇ āĻĢāĻŋāĻĄ āĻ•āϰ⧇, āĻĢāϞ⧇ āϕ⧀-āĻŽāĻžāύ (KV) āĻ•ā§āϝāĻžāĻļ⧇ āϏāĻ‚āϰāĻ•ā§āώāĻŖ āĻ•āϰ⧇ āĻāĻŦāĻ‚ āĻĒāϰāĻŦāĻ°ā§āϤ⧀ āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĒā§āϰāĻļā§āύ⧇āϰ āϜāĻ¨ā§āϝ āϏ⧇āχ āĻ•ā§āϝāĻžāĻļ⧇ āĻĒ⧁āύāϰāĻžāϝāĻŧ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇āĨ¤ 2024 āϏāĻžāϞ⧇āϰ āĻĄāĻŋāϏ⧇āĻŽā§āĻŦāϰ⧇ āĻĄā§‹āĻ¨ā§āϟ āĻĄā§ āφāϰāĻāϜāĻŋ āĻļāĻŋāϰ⧋āύāĻžāĻŽā§‡āϰ āĻāĻ•āϟāĻŋ āĻ—āĻŦ⧇āώāĻŖāĻžāĻĒāĻ¤ā§āϰ⧇ āĻĒāĻĻā§āϧāϤāĻŋāϟāĻŋ āĻŦāĻ°ā§āĻŖāύāĻž āĻ•āϰāĻž āĻšāϝāĻŧ⧇āĻ›āĻŋāϞ: āϝāĻ–āύ āĻ•ā§āϝāĻžāĻļ⧇-āĻ…āĻ—āĻŽā§‡āĻ¨ā§āĻŸā§‡āĻĄ āĻœā§‡āύāĻžāϰ⧇āĻļāύ āχāϜ āĻ…āϞ āχāω āύāĻŋāĻĄ āĻĢāϰ āύāϞ⧇āϜ āϟāĻžāĻ¸ā§āĻ•āĨ¤ āϕ⧇āĻ­āĻŋ āĻ•ā§āϝāĻžāĻļ⧇ āĻšāϞ āĻŽāĻ§ā§āϝāĻŦāĻ°ā§āϤ⧀ āĻŽāύ⧋āϝ⧋āĻ— āϕ⧀āϗ⧁āϞāĻŋāϰ āϏ⧇āϟ āĻāĻŦāĻ‚ āĻāĻ•āϟāĻŋ āĻŸā§āϰāĻžāĻ¨ā§āϏāĻĢāϰāĻŽāĻžāϰ āĻāϟāĻŋ āĻĒāĻĄāĻŧāĻž āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻŸā§‹āϕ⧇āύ⧇āϰ āϜāĻ¨ā§āϝ āĻ—āĻŖāύāĻž āĻ•āϰ⧇āĨ¤ āϏāĻžāϧāĻžāϰāĻŖāϤ āĻāϟāĻŋ āĻāĻ•āϟāĻŋ āĻāĻ•āĻ• āĻ…āύ⧁āϰ⧋āϧ⧇āϰ āϏāĻŽāϝāĻŧ āύāĻŋāĻ°ā§āĻŽāĻŋāϤ āĻšāϝāĻŧ āĻāĻŦāĻ‚ āĻŦāĻžāϤāĻŋāϞ āĻ•āϰāĻž āĻšāϝāĻŧāĨ¤ CAG-āϤ⧇, āύāĻĨāĻŋāϗ⧁āϞāĻŋ āϏāĻŽāϝāĻŧ⧇āϰ āφāϗ⧇ āĻĒā§āϰāĻ•ā§āϰāĻŋāϝāĻŧāĻž āĻ•āϰāĻž āĻšāϝāĻŧ, āĻ•ā§āϝāĻžāĻļ⧇ āϏāĻ‚āϰāĻ•ā§āώāĻŖ āĻ•āϰāĻž āĻšāϝāĻŧ āĻāĻŦāĻ‚ āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĒā§āϰāĻļā§āύ āĻ•ā§āϝāĻžāĻļ⧇ āωāĻĒāϏāĻ°ā§āϗ⧇āϰ āĻĒāϰ⧇ āϝ⧁āĻ•ā§āϤ āĻ•āϰāĻž āĻšāϝāĻŧāĨ¤ āĻŽāĻĄā§‡āϞāϟāĻŋ āϤ⧈āϰāĻŋ āĻ•āϰāĻžāϰ āφāϗ⧇ āĻļ⧁āϧ⧁āĻŽāĻžāĻ¤ā§āϰ āύāϤ⧁āύ āĻĒā§āϰāĻļā§āύ āĻŸā§‹āϕ⧇āύāϗ⧁āϞāĻŋ āĻ—āĻŖāύāĻž āĻ•āϰ⧇, āϤāĻžāχ āĻĒā§āϰāϤāĻŋāĻŦāĻžāϰ āύāĻĨāĻŋāϗ⧁āϞāĻŋ āĻĒ⧁āύāϰāĻžāϝāĻŧ āĻĒāĻĄāĻŧāĻžāϰ āĻšā§‡āϝāĻŧ⧇ āωāĻ¤ā§āϤāϰāϗ⧁āϞāĻŋ āĻĻā§āϰ⧁āϤ āĻļ⧁āϰ⧁ āĻšāϝāĻŧ⧎ āωāĻ¤ā§āϤāϰ āĻĻ⧇āĻ“āϝāĻŧāĻžāϰ āĻĒāϰ⧇, āϏāĻ‚āϝ⧁āĻ•ā§āϤ āĻŸā§‹āϕ⧇āύāϗ⧁āϞāĻŋ āϕ⧇āĻŸā§‡ āĻĢ⧇āϞāĻž āĻšāϝāĻŧ āϝāĻžāϤ⧇ āĻ•ā§āϝāĻžāĻļ⧇ āĻĒāϰāĻŦāĻ°ā§āϤ⧀ āĻĒā§āϰāĻļā§āύ⧇āϰ āϜāĻ¨ā§āϝ āϤāĻžāϰ āύāĻĨāĻŋ-āĻŽāĻžāĻ¤ā§āϰ āĻ…āĻŦāĻ¸ā§āĻĨāĻžāϝāĻŧ āĻĢāĻŋāϰ⧇ āφāϏ⧇āĨ¤ āϏ⧁āĻŦāĻŋāϧāĻžāϗ⧁āϞāĻŋ āϕ⧋āύ āĻĒ⧁āύāϰ⧁āĻĻā§āϧāĻžāϰ āĻ¤ā§āϰ⧁āϟāĻŋ āύāϝāĻŧ, āϝ⧇āĻšā§‡āϤ⧁ āĻĒā§āϰāϤāĻŋāϟāĻŋ āύāĻĨāĻŋ āϏāĻ°ā§āĻŦāĻĻāĻž āωāĻĒāĻ¸ā§āĻĨāĻŋāϤ āĻĨāĻžāϕ⧇, āĻŦāϜāĻžāϝāĻŧ āϰāĻžāĻ–āĻžāϰ āϜāĻ¨ā§āϝ āϕ⧋āύāĻ“ āĻāĻŽā§āĻŦ⧇āĻĄāĻŋāĻ‚ āϏ⧂āϚāĻ• āĻŦāĻž āϭ⧇āĻ•ā§āϟāϰ āĻĄāĻžāϟāĻžāĻŦ⧇āϏ āύ⧇āχ, āĻāĻŦāĻ‚ āύāĻŋāĻˇā§āĻĒāĻžāĻĒ āĻĻā§€āĻ°ā§āϘ āĻĒā§āϰāϏāĻ™ā§āϗ⧇āϰ āĻšā§‡āϝāĻŧ⧇ āĻ•āĻŽ āĻĒā§āϰāϤāĻŋ-āϕ⧋āϝāĻŧ⧇āϰāĻŋ āϞ⧇āĻŸā§‡āĻ¨ā§āϏāĻŋāĨ¤ āϏ⧀āĻŽāĻžāϗ⧁āϞāĻŋ āϏāϰāĻžāϏāϰāĻŋ āĻ…āύ⧁āϏāϰāĻŖ āĻ•āϰ⧇: āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ āĻ•āĻ°ā§āĻĒāĻžāϏ āĻ…āĻŦāĻļā§āϝāχ āĻŽāĻĄā§‡āϞ⧇āϰ āĻĒā§āϰāϏāĻ™ā§āĻ— āωāχāĻ¨ā§āĻĄā§‹āϤ⧇ āĻŽāĻžāĻĒāϏāχ āĻ•āϰāĻž āωāϚāĻŋāϤ, āĻŽāĻĄā§‡āϞāϟāĻŋāϕ⧇ āĻāĻ–āύāĻ“ āĻ…āύ⧇āĻ• āĻĒāĻžāĻ ā§āϝ⧇āϰ āωāĻĒāϰ āĻ­āĻžāϞāĻ­āĻžāĻŦ⧇ āϝ⧁āĻ•ā§āϤāĻŋ āĻĻāĻŋāϤ⧇ āĻšāĻŦ⧇ āĻāĻŦāĻ‚ āύāĻĨāĻŋāϤ⧇ āϝ⧇ āϕ⧋āύāĻ“ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤāύ⧇āϰ āĻ…āĻ°ā§āĻĨ āĻ•ā§āϝāĻžāĻļ⧇ āĻĒ⧁āύāĻ°ā§āύāĻŋāĻ°ā§āĻŽāĻžāĻŖ āĻ•āϰāĻžāĨ¤ āϏāĻŋāĻāϜāĻŋ āϤāĻžāχ āϛ⧋āϟ, āĻ¸ā§āĻĨāĻŋāϤāĻŋāĻļā§€āϞ āĻœā§āĻžāĻžāύ⧇āϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋ āϝ⧇āĻŽāύ āĻāĻ•āϟāĻŋ āĻĒāĻŖā§āϝ āĻŽā§āϝāĻžāύ⧁āϝāĻŧāĻžāϞ, āĻāĻ•āϟāĻŋ āύ⧀āϤāĻŋ āϏ⧇āϟ, āĻāĻ•āϟāĻŋ āϏāĻŋāϞ⧇āĻŦāĻžāϏ āĻŦāĻž āĻāĻ•āϟāĻŋ āύāĻŋāĻ°ā§āĻĻāĻŋāĻˇā§āϟ āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻ• āĻĒāĻžāĻ ā§āϝ⧇āϰ āϏāĻžāĻĨ⧇ āĻĢāĻŋāϟ āĻ•āϰ⧇āĨ¤ āĻāϟāĻŋ āĻŦāĻĄāĻŧ, āĻĻā§āϰ⧁āϤ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤāύāĻļā§€āϞ āĻŦāĻž āĻ…āύ⧁āĻŽāϤāĻŋ-āĻĢāĻŋāĻ˛ā§āϟāĻžāϰ āĻ•āϰāĻž āϏāĻ‚āĻ—ā§āϰāĻšā§‡āϰ āϜāĻ¨ā§āϝ āĻāĻ•āϟāĻŋ āĻĻ⧁āĻ°ā§āĻŦāϞ āĻĢāĻŋāϟāĨ¤ āĻāĻ•āϟāĻŋ āϏāĻžāϧāĻžāϰāĻŖ āϭ⧁āϞ āϧāĻžāϰāĻŖāĻž āĻšāϞ āϏāĻŋāĻāϜāĻŋ āĻŽāĻĄā§‡āϞāϕ⧇ āĻĒā§āϰāĻļāĻŋāĻ•ā§āώāĻŖ āĻĻ⧇āϝāĻŧāĨ¤ āĻ•āĻŋāϛ⧁āχ āϏ⧂āĻ•ā§āĻˇā§āĻŽ āϏ⧁āϰ āĻ•āϰāĻž āĻšāϝāĻŧ āύāĻž; āĻ“āϜāύ āĻ…āĻĒāϰāĻŋāĻŦāĻ°ā§āϤāĻŋāϤāĨ¤ API āĻĒā§āϰāĻĻāĻžāύāĻ•āĻžāϰ⧀āĻĻ⧇āϰ āĻĨ⧇āϕ⧇ āĻŦāĻžāĻŖāĻŋāĻœā§āϝāĻŋāĻ• āĻĒā§āϰāĻŽā§āĻĒāϟ āĻ•ā§āϝāĻžāĻļāĻŋāĻ‚ āĻāĻ•āχ āϧāĻžāϰāĻŖāĻžāϰ āĻāĻ•āϟāĻŋ āĻšā§‹āĻ¸ā§āϟ āĻ•āϰāĻž āφāĻ¤ā§āĻŽā§€āϝāĻŧāĨ¤

āĻŦāĻžāĻ¸ā§āϤāĻŦ-āĻŦāĻŋāĻļā§āĻŦ āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ

A company with a 60-page employee handbook preloads it into the KV cache of an open-weight model, so every HR question is answered with the full handbook present and no vector database to maintain.

A software vendor caches its product manual for a support assistant and rebuilds the cache only when a new manual version is released.

An instructor preloads a course syllabus and lecture notes so a study assistant can answer student questions quickly throughout a semester.

A compliance team uses a hosted API's prompt caching to keep a fixed regulatory text as a cached prefix, paying reduced rates for repeated reads across many questions.

āĻĻā§āϝ āĻĢāĻŋāωāϚāĻžāϰ āĻ…āĻĢ āĻ•ā§āϝāĻžāĻļ⧇-āĻ…āĻ—āĻŽā§‡āĻ¨ā§āĻŸā§‡āĻĄ āĻœā§‡āύāĻžāϰ⧇āĻļāύ (CAG)

CAG's practical range grows as context windows lengthen and KV cache compression improves, but it stays bounded by memory and by how well models reason over very long inputs. Hybrid designs are a natural next step: cache a stable core of frequently needed documents and retrieve the long tail on demand. Research on cache compression, offloading caches to cheaper storage, and choosing which tokens to keep may make larger preloaded corpora workable. For now the sensible test is empirical: compare CAG, RAG and plain long context on your own questions, costs and update frequency.

āĻāϟāĻžāϕ⧇ āĻŦāĻžāĻ¸ā§āϤāĻŦ⧇ āĻĒā§āϰāϝāĻŧā§‹āĻ— āĻ•āϰāĻž āĻšāĻšā§āϛ⧇

āϕ⧇āύ āĻāϟāĻž āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ

  • āĻ–āϰāϚ āĻ“ āĻŦāĻžāĻœā§‡āϟ. āφāĻ°ā§āĻ•āĻŋāĻŸā§‡āĻ•āϚāĻžāϰ⧇āϰ āϏāĻŋāĻĻā§āϧāĻžāĻ¨ā§āϤāϗ⧁āϞāĻŋ āĻŦāĻ›āϰ⧇āϰ āĻĒāϰ āĻŦāĻ›āϰ āϧāϰ⧇ āĻ•āĻ°ā§āĻŽāĻ•ā§āώāĻŽāϤāĻž āĻāĻŦāĻ‚ āĻ…āĻĒāĻžāϰ⧇āϟāĻŋāĻ‚ āĻ–āϰāϚ āϚāĻžāϞāĻžāϝāĻŧāĨ¤
  • āϏ⧁āĻ¸ā§āĻĒāĻˇā§āϟ āϏāĻŋāĻĻā§āϧāĻžāĻ¨ā§āϤ. āĻ•āĻžāϰāĻŋāĻ—āϰāĻŋ āĻļāĻŋāĻ•ā§āώāĻž āĻĻāϞāϗ⧁āϞ⧋āϕ⧇ āϏāĻ āĻŋāĻ• āĻ¸ā§āĻŸā§āϝāĻžāĻ• āĻŦ⧇āϛ⧇ āύāĻŋāϤ⧇ āϏāĻžāĻšāĻžāĻ¯ā§āϝ āĻ•āϰ⧇, āĻļ⧁āϧ⧁ āύāϤ⧁āύāϟāĻŋ āύāϝāĻŧāĨ¤
  • āĻŽāĻžāύ āύāĻŋāϝāĻŧāĻ¨ā§āĻ¤ā§āϰāĻŖ. āĻ­āĻžāϞ⧋ āχāĻžā§āϜāĻŋāύāĻŋāϝāĻŧāĻžāϰāĻŋāĻ‚ āĻĒāĻ›āĻ¨ā§āĻĻ āĻ‰ā§ŽāĻĒāĻžāĻĻāύ⧇ āύāĻŋāĻ°ā§āĻ­āϰāϝ⧋āĻ—ā§āϝāϤāĻžāϰ āϘāϟāύāĻž āĻ•āĻŽāĻŋāϝāĻŧ⧇ āĻĻ⧇āϝāĻŧāĨ¤

āϜāĻ¨ā§āϝ āϏāϤāĻ°ā§āĻ•

  • āĻāĻ•āϟāĻŋ āĻŦ⧇āĻžā§āϚāĻŽāĻžāĻ°ā§āĻ• āĻ…āĻĒā§āϟāĻŋāĻŽāĻžāχāϜ āĻ•āϰāĻž āĻŦ⧃āĻšāĻ¤ā§āϤāϰ āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽ āĻĻ⧁āĻ°ā§āĻŦāϞāϤāĻž āφāĻĄāĻŧāĻžāϞ āĻ•āϰāϤ⧇ āĻĒāĻžāϰ⧇āĨ¤
  • āĻ…āĻŦāĻ•āĻžāĻ āĻžāĻŽā§‹ āĻāĻŦāĻ‚ āϰāĻ•ā§āώāĻŖāĻžāĻŦ⧇āĻ•ā§āώāϪ⧇āϰ āĻ–āϰāϚ āĻĒā§āϰāĻžāϝāĻŧāχ āĻ…āĻŦāĻŽā§‚āĻ˛ā§āϝāĻžāϝāĻŧāύ āĻ•āϰāĻž āĻšāϝāĻŧāĨ¤
  • āϏāĻŋāĻ¸ā§āĻŸā§‡āĻŽāϗ⧁āϞāĻŋ āφāϰāĻ“ āϜāϟāĻŋāϞ āĻšāĻ“āϝāĻŧāĻžāϰ āϏāĻžāĻĨ⧇ āϏāĻžāĻĨ⧇ āϏ⧁āϰāĻ•ā§āώāĻž āĻāĻŦāĻ‚ āĻĒāĻ°ā§āϝāĻŦ⧇āĻ•ā§āώāĻŖāϝ⧋āĻ—ā§āϝāϤāĻžāϰ āĻĢāĻžāρāĻ• āĻŦāĻžāĻĄāĻŧāϤ⧇ āĻĒāĻžāϰ⧇āĨ¤

āĻĒāϰāĻŦāĻ°ā§āϤ⧀ āĻĒāĻĻāĻ•ā§āώ⧇āĻĒ

  1. āĻŦāĻžāĻ¸ā§āϤāĻŦāĻžāϝāĻŧāύ⧇āϰ āφāϗ⧇ āĻŦāĻŋāϞāĻŽā§āĻŦ, āϗ⧁āĻŖāĻŽāĻžāύ āĻāĻŦāĻ‚ āĻ–āϰāĻšā§‡āϰ āϞāĻ•ā§āĻˇā§āϝ āύāĻŋāĻ°ā§āϧāĻžāϰāĻŖ āĻ•āϰ⧁āύāĨ¤
  2. āĻŦāĻžāĻ¸ā§āϤāĻŦāϏāĻŽā§āĻŽāϤ āϞ⧋āĻĄ āĻāĻŦāĻ‚ āĻĄā§‡āϟāĻž āĻ…āĻŦāĻ¸ā§āĻĨāĻžāϰ āĻ…āϧ⧀āύ⧇ āĻŦ⧇āĻžā§āϚāĻŽāĻžāĻ°ā§āĻ•āĨ¤
  3. āĻ¤ā§āϰ⧁āϟāĻŋ, āĻĒā§āϰāĻŦāĻžāĻš, āĻāĻŦāĻ‚ āĻŦā§āϝāĻŦāĻšāĻžāϰāĻ•āĻžāϰ⧀āϰ āĻĒā§āϰāĻ­āĻžāĻŦ⧇āϰ āϜāĻ¨ā§āϝ āϝāĻ¨ā§āĻ¤ā§āϰ āĻĒāĻ°ā§āϝāĻŦ⧇āĻ•ā§āώāĻŖāĨ¤
  4. āĻ¸ā§āϕ⧇āϞ āĻ•āϰāĻžāϰ āφāϗ⧇ āϰ⧋āϞāĻŦā§āϝāĻžāĻ• āĻāĻŦāĻ‚ āϘāϟāύāĻžāϰ āĻĒā§āϰāϤāĻŋāĻ•ā§āϰāĻŋāϝāĻŧāĻž āĻĒāĻžāĻĨ āĻĒā§āϰāĻ¸ā§āϤ⧁āϤ āĻ•āϰ⧁āύāĨ¤

āĻ…āĻ¨ā§āĻŦ⧇āώāĻŖ āϚāĻžāϞāĻŋāϝāĻŧ⧇ āϝāĻžāύ

āĻĢā§āϰāĻŋ āύāĻŋāωāϜāϞ⧇āϟāĻžāϰ

āĻĒā§āϰāϤāĻŋāĻĻāĻŋāύ⧇āϰ āĻāφāχ āĻŦā§āϰāĻŋāĻĢāĻŋāĻ‚ āĻĒāĻžāύ

āĻĒā§āϰāϤāĻŋ āϏāĻĒā§āϤāĻžāĻšā§‡āϰ āĻ•āĻžāĻœā§‡āϰ āĻĻāĻŋāύ āϏāĻ•āĻžāϞ⧇ āϤāĻŋāύāϟāĻŋ āϝāĻžāϚāĻžāχāĻ•ā§ƒāϤ āĻāφāχ āĻ¸ā§āĻŸā§‹āϰāĻŋ, āϏāĻšāϜ āχāĻ‚āϰ⧇āϜāĻŋāϤ⧇ āϞ⧇āĻ–āĻžāĨ¤ āϚāĻŋāϰāĻ•āĻžāϞ⧇āϰ āϜāĻ¨ā§āϝ āĻĢā§āϰāĻŋ, āϕ⧋āύ⧋ āĻŦāĻŋāĻœā§āĻžāĻžāĻĒāύ āύ⧇āχāĨ¤

āĻĒā§āϰāϤāĻŋ āϏāĻĒā§āϤāĻžāĻšā§‡āϰ āĻ•āĻžāĻœā§‡āϰ āĻĻāĻŋāύ⧇ āĻāĻ•āϟāĻŋ āχāĻŽā§‡āϞāĨ¤ āĻāĻ• āĻ•ā§āϞāĻŋāϕ⧇āχ āφāύāϏāĻžāĻŦāĻ¸ā§āĻ•ā§āϰāĻžāχāĻŦ āĻ•āϰ⧁āύāĨ¤ āφāĻŽāϰāĻž āĻ•āĻ–āύ⧋āχ āφāĻĒāύāĻžāϰ āĻ āĻŋāĻ•āĻžāύāĻž āĻŦāĻŋāĻ•ā§āϰāĻŋ āĻŦāĻž āĻļā§‡ā§ŸāĻžāϰ āĻ•āϰāĻŋ āύāĻžāĨ¤

āύāĻŋāĻœā§‡āϕ⧇ āĻĒāϰ⧀āĻ•ā§āώāĻž āĻ•āϰ⧁āύ

Take the Cache-Augmented Generation (CAG) quiz

āĻĒā§āϰāϤāĻŋāϟāĻŋ āωāĻ¤ā§āϤāϰ⧇āϰ āϤāĻžā§ŽāĻ•ā§āώāĻŖāĻŋāĻ• āĻĢāĻŋāĻĄāĻŦā§āϝāĻžāĻ•, āĻāĻŦāĻ‚ āϕ⧋āĻ°ā§āϏ āĻĒāĻžāϏ āĻ•āϰāĻžāϰ āĻĒāϰ āϝāĻžāϚāĻžāχāϝ⧋āĻ—ā§āϝ āφāχāĻĄāĻŋ āϏāĻš āĻāĻ•āϟāĻŋ āĻļā§‡ā§ŸāĻžāϰāϝ⧋āĻ—ā§āϝ āϏāĻžāĻ°ā§āϟāĻŋāĻĢāĻŋāϕ⧇āϟāĨ¤

āϕ⧁āχāϜ āĻļ⧁āϰ⧁ āĻ•āϰ⧁āύ

āĻĢā§āϰāĻŋ āĻāφāχ āĻļāĻŋāĻ•ā§āώāĻžāϕ⧇ āϏāĻŽāĻ°ā§āĻĨāύ āĻ•āϰ⧁āύāĨ¤ AI Understanding āĻāĻ•āϟāĻŋ 501(c)(3) āĻ…āϞāĻžāĻ­āϜāύāĻ• āĻĒā§āϰāϤāĻŋāĻˇā§āĻ āĻžāύ — āϕ⧋āύ⧋ āĻŦāĻŋāĻœā§āĻžāĻžāĻĒāύ āύ⧇āχ, āϕ⧋āύ⧋ āĻĒ⧇āĻ“ā§ŸāĻžāϞ āύ⧇āχ, āĻ•āĻ–āύ⧋āχ āύāĻžāĨ¤ āĻāĻ•āϟāĻŋ āĻĻāĻžāύ āĻ•āϰ⧁āύ

āĻĒā§āϰāĻžāϝāĻŧāĻļāχ āϜāĻŋāĻœā§āĻžāĻžāϏāĻŋāϤ āĻĒā§āϰāĻļā§āύāĻžāĻŦāϞ⧀

What is Cache-Augmented Generation (CAG)?

āĻ•ā§āϝāĻžāĻļ⧇-āĻ…āĻ—āĻŽā§‡āĻ¨ā§āĻŸā§‡āĻĄ āĻœā§‡āύāĻžāϰ⧇āĻļāύ (CAG) āĻāĻ•āϟāĻŋ āϏāĻŽā§āĻĒā§‚āĻ°ā§āĻŖ, āĻ¸ā§āĻĨāĻŋāϰ āĻœā§āĻžāĻžāύ⧇āϰ āĻ­āĻŋāĻ¤ā§āϤāĻŋāϕ⧇ āĻāĻ•āϟāĻŋ āĻ­āĻžāώāĻž āĻŽāĻĄā§‡āϞ⧇āϰ āϕ⧀-āĻŽāĻžāύ (KV) āĻ•ā§āϝāĻžāĻļ⧇ āĻāĻ•āĻŦāĻžāϰ āĻĒā§āϰāĻŋāϞ⧋āĻĄ āĻ•āϰ⧇ āĻāĻŦāĻ‚ RAG-āĻāϰ āĻŽāϤ āĻ•āϰ⧇ āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĒā§āϰāĻļā§āύ⧇āϰ āϜāĻ¨ā§āϝ āύāĻĨāĻŋ āĻĒ⧁āύāϰ⧁āĻĻā§āϧāĻžāϰ āĻ•āϰāĻžāϰ āĻĒāϰāĻŋāĻŦāĻ°ā§āϤ⧇, āĻĒā§āϰāϤāĻŋāϟāĻŋ āĻĒā§āϰāĻļā§āύ⧇āϰ āϜāĻ¨ā§āϝ āϏ⧇āχ āĻ•ā§āϝāĻžāĻļ⧇ āĻĒ⧁āύāϰāĻžāϝāĻŧ āĻŦā§āϝāĻŦāĻšāĻžāϰ āĻ•āϰ⧇āĨ¤ āĻāϟāĻŋ āϛ⧋āϟ, āĻ¸ā§āĻĨāĻŋāϤāĻŋāĻļā§€āϞ āĻ•āĻ°ā§āĻĒā§‹āϰāĻžāϰ āϜāĻ¨ā§āϝ āϗ⧁āϰ⧁āĻ¤ā§āĻŦāĻĒā§‚āĻ°ā§āĻŖ āĻ•āĻžāϰāĻŖ āĻāϟāĻŋ āĻĒā§āϰāϤāĻŋāĻŦāĻžāϰ āύāĻĨāĻŋāϗ⧁āϞāĻŋ āĻĒ⧁āύāϰāĻžāϝāĻŧ āĻĒāĻĄāĻŧāĻžāϰ āĻšā§‡āϝāĻŧ⧇ āĻĻā§āϰ⧁āϤ āωāĻ¤ā§āϤāϰ āĻĻ⧇āĻ“āϝāĻŧāĻžāϰ āϏāĻŽāϝāĻŧ āĻĒ⧁āύāϰ⧁āĻĻā§āϧāĻžāϰ āĻ¤ā§āϰ⧁āϟāĻŋ āĻāĻŦāĻ‚ āϏ⧂āϚāĻ• āϰāĻ•ā§āώāĻŖāĻžāĻŦ⧇āĻ•ā§āώāĻŖāϕ⧇ āϏāϰāĻŋāϝāĻŧ⧇ āĻĻ⧇āϝāĻŧāĨ¤

What does CAG use instead of per-query retrieval?

CAG computes the KV cache for the corpus ahead of time and reuses it for every query.

What is the KV cache in a transformer?

Keys and values from attention layers are cached so earlier tokens need not be recomputed.

Why does a CAG system truncate the cache after each answer?

Removing appended tokens resets the cache to its clean preloaded state for the next question.

What is CAG's main limitation?

Because every document is preloaded, the corpus is capped by the context window and available memory.

Why does CAG answer faster than pasting the documents into every request?

The documents' computation is already done and stored, so only the question is processed per query.

āĻļāĻŋāĻ–āϤ⧇ āĻĨāĻžāϕ⧁āύ

āϏāĻŽā§āĻĒāĻ°ā§āĻ•āĻŋāϤ āĻ—āĻžāχāĻĄ

āĻāχ āĻŦāĻŋāώāϝāĻŧ⧇āϰ āϜāĻ¨ā§āϝ āĻŦāĻžāĻ›āĻžāχ āĻ•āϰāĻž āφāϰāĻ“ āĻ—āĻžāχāĻĄ

āĻāĻ•āϟāĻŋ āĻŦāĻŋāύāĻžāĻŽā§‚āĻ˛ā§āϝ⧇ AI āĻļāĻ‚āϏāĻžāĻĒāĻ¤ā§āϰ āĻĒāĻžāύāĻāĻ•āϟāĻŋ āϏāĻ‚āĻ•ā§āώāĻŋāĻĒā§āϤ āĻŦāĻŋāύāĻžāĻŽā§‚āĻ˛ā§āϝ⧇ āϕ⧋āĻ°ā§āϏ āĻāĻŦāĻ‚ āĻĒāϰ⧀āĻ•ā§āώāĻž. āϕ⧋āύ⧋ āĻ–āϰāϚ āύ⧇āχ, āϕ⧋āύ⧋ āĻ•āĻžāĻ°ā§āĻĄ āύ⧇āχāĨ¤ āĻĒā§āϰāĻžāϝāĻŧ 2.5 āϘāĻ¨ā§āϟāĻžāĨ¤āĻŦāĻŋāύāĻžāĻŽā§‚āĻ˛ā§āϝ⧇ āĻļ⧁āϰ⧁ āĻ•āϰ⧁āύ →