هلوسة الذكاء الاصطناعي

It is the single biggest trust problem with today's language models.

الهلوسة ليست حشرات بالمعنى المعتاد؛ إنهم يخرجون عن كيفية عمل النموذج. يتم تدريب النموذج اللغوي لإنتاج نص معقول إحصائيًا، وليس للتحقق من الحقيقة. وعندما يصل إلى فجوة ما - وهي حقيقة لم يتعلمها أبدًا، أو سؤال ليس له إجابة واضحة في تدريبه - فإنه لا يقول "لا أعرف". وبدلاً من ذلك، فهو يولد الاستمرارية الأكثر ترجيحًا، والتي يمكن أن تكون تلفيقًا واثقًا. تتم قراءة الإخراج بسلاسة، لذلك من السهل تفويت الخطأ. تشمل النماذج الشائعة عناوين الكتب المخترعة أو القضايا القانونية، وعناوين URL المزيفة، والاقتباسات المنسوبة بشكل خاطئ، والأرقام المعقولة ولكنها خاطئة. وهي خطيرة بشكل خاص في البيئات عالية المخاطر مثل الطب والقانون والمالية، حيث يمكن أن تكون الإجابة الخاطئة بطلاقة أكثر تكلفة من الإجابة الواضحة. والأهم من ذلك، حتى مع تقديم المستندات الصحيحة، لا يزال من الممكن أن تتعارض النماذج مع هذه المستندات أو تتجاهلها.