DalšíDalší průvodce
Manipulace s PII v ML Training Pipelines
Technický
Technický PRŮVODCE
Redakce PII se pokouší detekovat a odstranit nebo transformovat identifikační informace předtím, než text vstoupí do kanálu LLM, protokolů nebo externí služby.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Detekce může postrádat kontextově specifické identifikátory nebo přehnaně redigovat neškodný text, takže redakce snižuje expozici, ale nezaručuje anonymizaci, soulad s právními předpisy ani nulové zveřejnění.
A PII-redaction pipeline usually has two stages: detect candidate spans and apply a chosen transformation. Detection may combine patterns, dictionaries, contextual recognizers, or trained models. A team must define which identifiers matter for its use case and language; a detector cannot know every internal account number or infer every person from context. Patterns can miss altered formats, and contextual models can miss uncommon names or flag harmless terms. Test false negatives and false positives on representative data and inspect span boundaries before relying on the pipeline. The transformation depends on the task. Redaction removes a span; masking obscures some characters; replacement uses a placeholder; pseudonymization may substitute a stable token so references remain linked. Reversible tokenization requires a protected lookup or cryptographic key, which becomes a sensitive asset. Hashing or masking is not automatically anonymization: surrounding details may still identify a person, and deterministic or reversible transformations can preserve linkability. PII is broader than obvious names and emails and may include identifiers in logs, metadata, or structured fields. As of September 26, 2026, OpenAI Privacy Filter is an open-weight text model for PII detection and masking that can run locally. Its model card describes missed and over-redacted spans and explicitly frames it as data minimization, not an anonymization, compliance, or safety guarantee. Presidio offers configurable recognizers and redaction or tokenization operators; Google Sensitive Data Protection offers inspection and transformation rules, including reversible options that depend on protected keys. Tool coverage varies by modality and data type. Verify the output before it crosses the intended boundary, and pair minimization with access controls, retention limits, and provider-specific data controls.
Platforma podpory nahradí číslo účtu volajícího a telefonní číslo tokeny, jako je [ACCOUNT_1], než LLM shrnuje hovor a poté skutečné hodnoty zamění zpět do souhrnu pouze na zabezpečeném řídicím panelu agenta.
Asistent plánování kliniky maskuje jména pacientů a data narození v poznámkách k příjmu, než je odešle do cloudového modelu pro návrhy času schůzky, přičemž mapování mezi tokenem a skutečným jménem uchovává pouze v místní databázi.
Nástroj pro kontrolu dokumentů advokátní kanceláře tokenizuje sociální zabezpečení a čísla případů pomocí reverzibilní vyhledávací tabulky, umožňuje modelu analyzovat redigovanou smlouvu a znovu vkládat skutečná čísla pouze do závěrečné zprávy uložené na interním serveru.
Inženýrský tým vymaže e-mailové adresy a IP adresy z protokolů chyb aplikace předtím, než jsou tyto protokoly indexovány ve vyhledávací službě třetí strany, takže pracovníci na zavolání mohou ladit incidenty bez zobrazení nezpracovaných kontaktních údajů.
Místní detektory s otevřenou váhou a cloudové de-identifikace služby nabízejí více možností, ale jejich taxonomie štítků a vzorce selhání se liší. Týmy by měly porovnávat vybraný nástroj ve svých vlastních jazycích, typech dokumentů a tajných klíčích a poté opakovat kontroly po aktualizacích modelu nebo kanálu. Cílem je minimalizovat zbytečnou expozici při zachování užitečnosti úkolu; žádný redakční průkaz neodstraní všechny nepřímé identifikátory ani nenahrazuje řízení přístupu, omezení uchovávání a rozhodnutí o správě dat. Pokračujte ve vzorkování chyb po vydání a znovu se vraťte k zásadám, protože se toky dat pravidelně mění.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Redakce PII se pokouší detekovat a odstranit nebo transformovat identifikační informace předtím, než text vstoupí do kanálu LLM, protokolů nebo externí služby. Detekce může postrádat kontextově specifické identifikátory nebo přehnaně redigovat neškodný text, takže redakce snižuje expozici, ale nezaručuje anonymizaci, soulad s právními předpisy ani nulové zveřejnění.
Regulární výrazy dokážou zachytit dobře specifikované formáty, jako jsou telefonní čísla nebo e-maily, ale chybné nebo kontextově závislé případy mohou stále chybět a měly by být otestovány.
NER zpracovává nestrukturovaná data, jako jsou osobní jména a adresy, které regex nemůže spolehlivě zachytit, protože postrádají konzistentní vzor.
Reverzibilita založená na tabulce závisí na chráněné mapě tokenu k hodnotě. Jiná reverzibilní schémata mohou místo toho odvodit obnovu z chráněného kryptografického klíče.
Pokud je mapa token-to-value odhalena, lze obnovit původní identifikátory; zajistěte mapování nebo klíč samostatně.
I po odstranění pojmenovaných entit mohou neobvyklé kombinace okolních detailů (jako je vzácná pracovní pozice a konkrétní město) někomu umožnit znovu identifikovat osobu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Manipulace s PII v ML Training Pipelines
Technický