DPO με προκατάληψη στυλ: Ενημέρωση της γνώσης LLM με δεδομένα συνθετικών προτιμήσεων με επίγνωση της πραγματικότητας

Έγγραφο κύριας πηγήςΗ πηγή καταγράφηκε 16 Σεπ 2026, 4:44 π.μ. UTC

Εκδότης: arxiv.org
Σύνδεσμος πηγής: arxiv.orghttps://arxiv.org/abs/2609.16532
Τύπος πηγής: Κύριο έγγραφο — μια επίσημη ανακοίνωση, χαρτί, αρχειοθέτηση ή σελίδα πρώτου μέρους που διαβάζουμε απευθείας.

ΠλαίσιοΚαταλάβετε αυτό σε 60 δευτερόλεπτα

Ξεκινήστε εδώ

Βασικοί όροι

DPO (Άμεση βελτιστοποίηση προτιμήσεων): Μια μέθοδος εκπαίδευσης που προσαρμόζει τα μοντέλα απευθείας σε ζεύγη προτιμήσεων χωρίς να χρειάζεται ξεχωριστό μοντέλο ανταμοιβής.
Μεγάλο μοντέλο γλώσσας (LLM): Ένα μοντέλο γλώσσας εκπαιδευμένο σε τεράστια σώματα κειμένου για τη δημιουργία και ανάλυση κειμένου.
Πραγματικότητα: Πόσο ακριβή αντιστοιχούν οι αξιώσεις ενός μοντέλου με επαληθεύσιμες πληροφορίες πραγματικού κόσμου.

Δοκιμάστε τον εαυτό σαςΤι είναι το AI; Κουίζ

Τι έγινε

Οι ερευνητές πρότειναν τη βελτιστοποίηση άμεσης προτίμησης με προκατάληψη στυλ (SD-DPO) για τη βελτίωση της ακρίβειας των μεγάλων γλωσσικών μοντέλων (LLM) στην ανάκτηση αποθηκευμένης γνώσης. Δοκίμασαν το SD-DPO πάνω από το EntiGraph, μια αντιπροσωπευτική μέθοδο αποθήκευσης που εκτελεί συνεχιζόμενη προεκπαίδευση (CPT) σε κείμενο που συντίθεται από το σώμα. Τα αποτελέσματα έδειξαν ότι το SD-DPO υπερβαίνει το βασικό CPT στα συνθετικά δεδομένα του EntiGraph από το ίδιο βασικό μοντέλο και αξιολογεί με την ίδια διαδικασία.

Δοκίμασαν το SD-DPO πάνω από το EntiGraph, μια αντιπροσωπευτική μέθοδο αποθήκευσης που εκτελεί συνεχιζόμενη προεκπαίδευση (CPT) σε κείμενο που συντίθεται από το σώμα.

Τα αποτελέσματα έδειξαν ότι το SD-DPO υπερβαίνει το βασικό CPT στα συνθετικά δεδομένα του EntiGraph από το ίδιο βασικό μοντέλο και αξιολογεί με την ίδια διαδικασία.

Στοιχεία πηγής: arxiv.org ↗

Γιατί έχει σημασία

Η προτεινόμενη μέθοδος, SD-DPO, μπορεί να βελτιώσει την ακρίβεια των LLM στην ανάκτηση αποθηκευμένης γνώσης. Αυτό είναι ιδιαίτερα σημαντικό για εφαρμογές που απαιτούν ακριβείς και ενημερωμένες γνώσεις, όπως η ενημέρωση και η επεξεργασία γνώσεων. Το SD-DPO έχει τη δυνατότητα να βελτιώσει την απόδοση των LLM σε αυτές τις εφαρμογές.

Η προτεινόμενη μέθοδος, SD-DPO, μπορεί να βελτιώσει την ακρίβεια των LLM στην ανάκτηση αποθηκευμένης γνώσης.

Αυτό είναι ιδιαίτερα σημαντικό για εφαρμογές που απαιτούν ακριβείς και ενημερωμένες γνώσεις, όπως η ενημέρωση και η επεξεργασία γνώσεων.

Το SD-DPO έχει τη δυνατότητα να βελτιώσει την απόδοση των LLM σε αυτές τις εφαρμογές.

Interactive Mechanism

Διαδραστικός Μηχανισμός: Πώς λειτουργεί στην πραγματικότητα

Εξερευνήστε την υποκείμενη τεχνολογία πίσω από αυτήν την εξέλιξη διαδραστικά.

Thinking Budget (Test-Time Tokens):1,024 tokens

Complex Accuracy79%Math & Code Logic

Latency3.2sTime to first full output

Inference Cost$0.0092Per query estimated

Reasoning StyleStep VerificationInternal chain depth

Active Thinking Trace:

1Deconstruct user problem into formal constraints

2Propose candidate hypotheses & step-by-step calculation

3Self-correction: Backtrack and refute subtle edge cases

4Exhaustive consistency check & final output synthesis

Core takeaway: Test-time compute fundamentally changes AI economics. Instead of only scaling during pre-training, giving reasoning models more tokens at inference time allows them to systematically solve PhD-level STEM problems.

Διαδραστικός Έλεγχος Έννοιας+10 Points

What is AI? Quiz

A route planner searches possible journeys using explicit rules. What does this illustrate about AI?

Τι να παρακολουθήσετε στη συνέχεια

Η προτεινόμενη μέθοδος, SD-DPO, έχει τη δυνατότητα να βελτιώσει την απόδοση των LLM σε εφαρμογές ενημέρωσης και επεξεργασίας γνώσης. Απαιτείται περαιτέρω έρευνα για την πλήρη αξιολόγηση της αποτελεσματικότητας του SD-DPO και για τη διερεύνηση των πιθανών εφαρμογών του.

Η προτεινόμενη μέθοδος, SD-DPO, έχει τη δυνατότητα να βελτιώσει την απόδοση των LLM σε εφαρμογές ενημέρωσης και επεξεργασίας γνώσης.

Απαιτείται περαιτέρω έρευνα για την πλήρη αξιολόγηση της αποτελεσματικότητας του SD-DPO και για τη διερεύνηση των πιθανών εφαρμογών του.

Τα αποτελέσματα της μελέτης υποδηλώνουν ότι το SD-DPO μπορεί να βελτιώσει την ακρίβεια των LLM στην ανάκτηση αποθηκευμένης γνώσης.

Σχετικοί οδηγοί και κουίζ

Τι είναι το AI;Ηθική του AI Πράκτορες AI Επεξήγηση μοντέλων AI Μετασχηματιστές Δοκιμάστε τι γνωρίζετε — δοκιμάστε ένα δωρεάν κουίζ AI Αναζητήστε έναν όρο AI στο γλωσσάρι μας Ακολουθήστε τον ιχνηλάτη έκδοσης μοντέλου AI

Βρήκατε αυτό χρήσιμο;