DalšíDalší průvodce
Jak přeložit dokument pomocí AI
Jazyk AI
Jazyk AI GUIDE
Document chunking divides source text into units for retrieval and model context.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Chunk size, overlap and structure-aware boundaries are design choices whose effects depend on the document corpus, retriever and evaluation task.
Chunking strategies include fixed token lengths, sentence-aware boundaries, semantic segmentation and hierarchical parent-child structures. Amazon Bedrock documents configurable overlap and semantic boundaries based on sentence dissimilarity; for parsed content it may respect logical boundaries such as pages or sections. Its hierarchical mode can retrieve a smaller child chunk and replace it with its broader parent during retrieval. A 2026 Natural Questions study using SPLADE and a Mistral-8B generator found no measurable benefit from overlap in that specific setup, higher indexing cost, and a quality decline beyond approximately 2,500 retrieved tokens. These findings should not be generalized beyond their evaluation conditions.
Comparing fixed-size and sentence-aware chunking on a question-answering set.
Using embedding similarity between neighboring sentences to propose semantic boundaries.
Retrieving a small child chunk and then returning its larger parent section for added context.
Using a parser that preserves page or section boundaries for documents with structure.
Choose chunking settings through evaluation on representative documents and questions. Measure evidence recall, answer quality, indexing cost and context length; do not assume overlap, semantic splitting or larger chunks improve every retrieval system.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Document chunking divides source text into units for retrieval and model context. Chunk size, overlap and structure-aware boundaries are design choices whose effects depend on the document corpus, retriever and evaluation task.
AWS documentation describes a default of about 300 tokens per chunk and says sentence boundaries are honored.
Amazon Bedrock documents a buffer size that controls whether a sentence is embedded alone or together with surrounding sentences.
Drobné kusy přesně odpovídají, ale odstraňují okolní kontext, zatímco velké kusy zachovávají kontext, ale mohou oslabit relevanci a narazit na limity tokenů.
Amazon Bedrock states that parsed content may be chunked to respect logical document boundaries such as pages or sections.
Bedrock documents child retrieval followed by parent replacement to provide more comprehensive context.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Jak přeložit dokument pomocí AI
Jazyk AI