Bases de la PNL

Le texte doit être représenté sous une forme qu’un système informatique peut traiter. La tokenisation le divise en unités telles que des mots ou des morceaux de mots ; les représentations numériques prennent alors en charge des règles, des modèles statistiques ou des réseaux de neurones. Les limites des jetons sont un choix de modélisation et ne correspondent pas toujours à ce qu'un lecteur considère comme un mot. Certaines tâches renvoient une étiquette pour un document entier. D'autres identifient des travées à l'intérieur ou produisent une nouvelle séquence. Un classificateur de sentiments, un module de reconnaissance d'entités et un synthétiseur résolvent donc des problèmes différents même s'ils utilisent tous le même modèle de langage sous-jacent. Le contexte compte. La signification d'un mot peut changer selon les phrases, les domaines et les communautés. La négation, les références ambiguës, le sarcasme, les variations orthographiques et les langues mixtes peuvent remettre en question un système qui semble précis sur des exemples bien rangés. Créez du matériel d’évaluation à partir des conditions rencontrées réellement par l’application. Une application NLP fonctionnelle a également besoin de règles concernant la longueur d'entrée, les limites du document et l'incertitude. Vérifiez si la troncature supprime silencieusement les sections importantes. Conservez le passage original à côté des informations extraites afin qu'un lecteur puisse confirmer le résultat. Comparez avec une simple règle ou une base de référence de mots clés lorsque la tâche est suffisamment restreinte pour une seule.