Google Φέρνει τη νοηματική τεχνητή νοημοσύνη στο Gboard και τη ζωντανή μεταγραφή

Τι έγινε

Google Η DeepMind λέει ότι μεταφέρει τη νοηματική τεχνητή νοημοσύνη σε καταναλωτικά προϊόντα με το SL2T, ένα μοντέλο μετάφρασης από νοηματική γλώσσα σε κείμενο που τώρα τροφοδοτεί την αμερικανική νοηματική γλώσσα στην αγγλική υπαγόρευση στο Gboard και τη Ζωντανή μεταγραφή στο Pixel 11. Η εταιρεία πλαισιώνει την κυκλοφορία ως πρώτο βήμα. υλικό. Στο Gboard, ένας χρήστης μπορεί να υπογράψει όπου θα πληκτρολογούσε κανονικά, μεταξύ άλλων κατά την αναζήτηση στον ιστό ή τη σύνταξη ενός μηνύματος ή εγγράφου. Στη Ζωντανή απομαγνητοφώνηση, η προβλεπόμενη χρήση είναι η υπογραφή μιας απάντησης κατά τη διάρκεια μιας συνομιλίας χωρίς επιστροφή στα πληκτρολογημένα αγγλικά.

Η έκδοση είναι αξιοσημείωτη επειδή συνδέει ένα ερευνητικό μοντέλο με μια καθημερινή επιφάνεια εισόδου αντί να παρουσιάζει τη μετάφραση στη νοηματική γλώσσα μόνο ως επίδειξη εργαστηρίου. Google Ο DeepMind λέει ότι το SL2T μπορεί να παράγει κείμενο ροής ενώ ένα άτομο υπογράφει και ότι οι ενσωματώσεις Android είναι διαθέσιμες πρώτα στο Pixel 11 χωρίς επιπλέον κόστος. Η πηγή περιγράφει το ASL-to-English ως την πρώτη υποστηριζόμενη κατεύθυνση. Δεν λέει ότι η δυνατότητα μεταφράζεται μεταξύ όλων των νοηματικών γλωσσών, μετατρέπει το κείμενο ξανά σε υπογραφή ή αντικαθιστά έναν επαγγελματία διερμηνέα σε ρυθμίσεις υψηλού πονταρίσματος.

Ο Google λέει ότι το SL2T εκπαιδεύτηκε σε περισσότερες από 100.000 ώρες δεδομένων που καλύπτουν περισσότερες από 50 νοηματικές γλώσσες, με περίπου το ένα τέταρτο αυτών των δεδομένων σε ASL. Η ομάδα λέει ότι η κοινή εκπαίδευση σε γλώσσες, διαλέκτους και επίπεδα επάρκειας βοηθά το μοντέλο να μάθει την κοινή δομή αντί να αντιμετωπίζει κάθε γλώσσα ως μια μεμονωμένη λίστα χειρονομιών. Αυτή η επιλογή σχεδιασμού έχει σημασία επειδή οι νοηματικές γλώσσες είναι ανεξάρτητες φυσικές γλώσσες με τις δικές τους γραμματικές και λεξικά. Εκφράζουν επίσης νόημα μέσω ταυτόχρονων κινήσεων χεριών, χεριών, κορμού, κεφαλιού και προσώπου, καθιστώντας την εργασία έναν συνδυασμό οπτικής αντίληψης και μετάφρασης αντί για απλή αντιστοίχιση χειρονομιών.

Ο σχεδιασμός απορρήτου του μοντέλου αποτελεί επίσης μέρος του ισχυρισμού του προϊόντος. Google Ο DeepMind λέει ότι τα κομμάτια του μοντέλου MediaPipe Holistic στη συσκευή αποτελούν ορόσημα και ότι η υπηρεσία μετάφρασης λαμβάνει γεωμετρικές συντεταγμένες και όχι την ακατέργαστη τροφοδοσία της κάμερας. Η εταιρεία λέει ότι το αρχικό βίντεο μπορεί στη συνέχεια να απορριφθεί αμέσως. Το SL2T μεταφράζει την ακολουθία ορόσημο απευθείας σε κείμενο αντί να μετατρέπει πρώτα την υπογραφή σε μια ενδιάμεση γυαλιστερή αναπαράσταση. Αυτό μπορεί να μειώσει μία πηγή περιορισμών λεξιλογίου και σχολιασμού, αλλά η δημόσια ανακοίνωση δεν παρέχει ανεξάρτητο έλεγχο διατήρησης, τηλεμετρίας, χειρισμού αποτυχίας ή κάθε λεπτομέρειας υλοποίησης σε επίπεδο συσκευής.

Όσον αφορά την απόδοση που αναφέρθηκε, ο Google DeepMind λέει ότι το SL2T πέτυχε βαθμολογία μηδενικής βολής 70 BLEURT στη δοκιμή FLEURS-ASL sd, την οποία περιγράφει ως υψηλότερη από ό,τι είχε αναφερθεί προηγουμένως. Η εταιρεία λέει επίσης ότι εργάστηκε για την καθυστέρηση ροής, τις ψευδαισθήσεις χωρίς υπογραφή, την υπογραφή με το αριστερό χέρι και την υπογραφή με το ένα χέρι όταν το άλλο χέρι κρατά ένα τηλέφωνο. Τα παραδείγματά του δείχνουν εναπομείναντα σφάλματα σε σπάνια σημάδια, γρήγορη ορθογραφία, παθητικές κατασκευές, απεικονίσεις ταξινομητή και ένταση που εξαρτάται από το πλαίσιο. Ως εκ τούτου, η έκδοση συνδυάζει έναν ισχυρό ισχυρισμό αναφοράς με μια ρητή προειδοποίηση ότι η ποιότητα του σημείου αναφοράς δεν είναι ίδια με την αξιόπιστη συνομιλία.

Στοιχεία πηγής: Google DeepMind's SL2T announcement ↗

Γιατί έχει σημασία

Η πρακτική αλλαγή είναι από το ερώτημα εάν η τεχνητή νοημοσύνη μπορεί να αναγνωρίσει ένα κλιπ στη νοηματική γλώσσα στο ερώτημα εάν η υπογραφή μπορεί να γίνει μια χρησιμοποιήσιμη μέθοδος εισαγωγής σε μια οικεία ροή εργασίας τηλεφώνου. Για κωφούς και βαρήκοους χρήστες, η αξία ενός εργαλείου καθορίζεται από το αν λειτουργεί με ταχύτητα συνομιλίας, σέβεται τη δομή της γλώσσας, χειρίζεται πραγματικές παραλλαγές και δίνει στους ανθρώπους τον έλεγχο του τι μοιράζονται. Ένα μοντέλο που εμφανίζεται στο Gboard και τη Ζωντανή Μεταγραφή κάνει αυτές τις ερωτήσεις ορατές στους απλούς χρήστες και όχι μόνο στους ερευνητές.

Η υποστήριξη της νοηματικής γλώσσας έχει διαφορετικό βάρος προσβασιμότητας από την προφορική υπαγόρευση. Η μεταγραφή της προφορικής γλώσσας αντιστοιχίζει σε μεγάλο βαθμό μια χρονικά διατεταγμένη ροή ήχου στο κείμενο, ενώ ένα σύστημα νοηματικής γλώσσας πρέπει να ερμηνεύει ταυτόχρονα την κίνηση, τον χώρο, την έκφραση του προσώπου και τη γραμματική δομή. Η κύρια πηγή τονίζει ότι οι νοηματικές γλώσσες δεν είναι αγγλικά που εκφράζονται στα χέρια. Αυτή η διάκριση είναι σημαντική για το σχεδιασμό του προϊόντος: ένα σύστημα μπορεί να φαίνεται άπταιστα ενώ δεν εξακολουθεί να λείπει ένας μη χειροκίνητος δείκτης, χωρική αναφορά, ταξινομητής ή αλλαγή στον χρόνο που φέρει το νόημα της πρότασης.

Ο αγωγός ορόσημο προσφέρει μια συγκεκριμένη κατεύθυνση απορρήτου για χαρακτηριστικά προσβασιμότητας που βασίζονται στην κάμερα. Εάν μόνο οι συντεταγμένες σημείου σώματος εξέρχονται από τη συσκευή, η υπηρεσία δεν χρειάζεται να λαμβάνει το πρωτότυπο βίντεο για κάθε αίτημα μετάφρασης. Αυτό θα μπορούσε να μειώσει την ευαισθησία των δεδομένων που αποστέλλονται ανάντη, ειδικά όταν η υπογραφή γίνεται σε σπίτι, χώρο εργασίας ή δημόσια συνομιλία. Δεν αποτελεί πλήρη εγγύηση απορρήτου. Οι συντεταγμένες πόζας μπορούν ακόμα να περιγράψουν ένα άτομο και τη συμπεριφορά του και οι χρήστες χρειάζονται σαφείς πληροφορίες σχετικά με τα αρχεία καταγραφής, τη σύνδεση λογαριασμών, τη βελτίωση του μοντέλου, τη διατήρηση και τι συμβαίνει όταν μια συσκευή δεν μπορεί να επεξεργαστεί την εισαγωγή τοπικά.

Τα παραδείγματα προϊόντων δείχνουν επίσης γιατί η χρησιμότητα εξαρτάται από περισσότερα από έναν αριθμό ακρίβειας επικεφαλίδας. Η υπογραφή για αναζήτηση, σύνταξη μηνύματος ή αίτημα από το Gemini να ολοκληρώσει μια εργασία θα μπορούσε να καταργήσει τα επαναλαμβανόμενα βήματα πληκτρολόγησης. Η υπογραφή μιας απάντησης μέσα στη Ζωντανή Μεταγραφή θα μπορούσε να κάνει μια σύντομη ανταλλαγή πιο ρευστή. Αλλά η ίδια ευκολία αυξάνει το κόστος ενός σφάλματος εάν ένα όνομα, άρνηση, αριθμός ή εντολή μεταφραστεί λάθος και ο χρήστης δεν το αντιληφθεί πριν το στείλει. Το σωστό πρότυπο είναι επομένως ορατό, επεξεργάσιμο αποτέλεσμα και ένας γρήγορος τρόπος για να διορθώσετε ή να επαναλάβετε μια φράση, όχι η υπόθεση ότι το κείμενο ροής είναι αυτόματα σωστό.

Η ανακοίνωση προέρχεται από την εταιρεία κατασκευής και αποστολής του μοντέλου, επομένως οι συγκρίσεις σημείων αναφοράς και ελεγκτών θα πρέπει να διαβάζονται ως ισχυρισμοί πηγής και όχι ως ανεξάρτητη επικύρωση. Google Το DeepMind παρέχει χρήσιμα όρια και λέει ότι δημιούργησε μια Συμβουλευτική Επιτροπή Νοηματικής Γλώσσας AI με οργανισμούς Κωφών και ειδικούς σε θέματα, καθώς και μια κοινή έκθεση επιπτώσεων για την κυκλοφορία. Αυτή η συμμετοχική διαδικασία είναι ένα σήμα με νόημα, αλλά δεν λέει ακόμη στο κοινό πώς η απόδοση ποικίλλει ανάλογα με τον υπογράφοντα, τη διάλεκτο, το φωτισμό, τη γωνία κάμερας, την ταχύτητα υπογραφής ή το πλαίσιο συνομιλίας σε όλη την προγραμματισμένη κυκλοφορία.

Τι να παρακολουθήσετε στη συνέχεια

Τα επόμενα στοιχεία θα πρέπει να δείξουν εάν το SL2T παραμένει χρήσιμο εκτός των ελεγχόμενων παραδειγμάτων στον σταθμό εκτόξευσης. Παρακολουθήστε την πραγματική διάθεση της συσκευής, τα σχόλια της κοινότητας, την ανάκτηση σφαλμάτων, την τεκμηρίωση απορρήτου και τις ανεξάρτητες δοκιμές σε υπογράφοντες και νοηματικές γλώσσες. Η κυκλοφορία είναι ένα σημαντικό βήμα προϊόντος, αλλά δεν αποτελεί απόδειξη ότι η μετάφραση στη νοηματική γλώσσα έχει ισοδυναμεί με την ανθρώπινη ερμηνεία ή την προφορική υπαγόρευση.

Αρχικά, παρακολουθήστε ποιες συσκευές και γλώσσες λαμβάνουν υποστήριξη και πότε. Google Ο DeepMind λέει ότι το Pixel 11 είναι το σημείο εκκίνησης, με περισσότερες συσκευές και γλώσσες που πρέπει να ακολουθήσουν, αλλά δεν παρέχει ένα δημόσιο χρονοδιάγραμμα ή μια πλήρη λίστα συμβατότητας στην ανακοίνωση. Μια ουσιαστική διάθεση θα πρέπει να αποκαλύπτει την περιφερειακή διαθεσιμότητα, τις υποστηριζόμενες συνθήκες κάμερας, την κάλυψη γλώσσας και διαλέκτου, τις απαιτήσεις επεξεργασίας συσκευών και εάν ισχύει η ίδια συμπεριφορά απορρήτου σε όλες τις γενιές υλικού. Αυτές οι λεπτομέρειες θα καθορίσουν εάν η κυκλοφορία είναι μια ευρέως χρήσιμη δυνατότητα προσβασιμότητας ή μια στενή βιτρίνα συνδεδεμένη σε μία τηλεφωνική γραμμή.

Δεύτερον, αναζητήστε αξιολόγηση που μετρά την πραγματική επικοινωνία και όχι μόνο ένα συγκρατημένο σημείο αναφοράς. Η χρήσιμη αναφορά θα αναλύει τα λάθη λέξης και σημασίας κατά υπογράφοντα, διάλεκτο, επάρκεια, ευαισθησία, χρήση με το ένα χέρι, ταχύτητα, φωτισμό, καδράρισμα και κίνηση φόντου. Θα πρέπει να περιλαμβάνει λανθάνοντα χρόνο, μη υπογραφή ψευδώς θετικών, διορθώσεις, πτώση στροφών και τον χρόνο που απαιτείται για την ανάκτηση από ένα σφάλμα. Η βαθμολογία FLEURS-ASL είναι ένα συγκεκριμένο σημείο εκκίνησης, αλλά τα παραδείγματα της ίδιας της πηγής δείχνουν γιατί τα σπάνια σημάδια, η ορθογραφία, οι ταξινομητές και οι χρόνοι που εξαρτώνται από το πλαίσιο χρειάζονται ξεχωριστή προσοχή.

Τρίτον, παρακολουθήστε τα όρια απορρήτου και ασφάλειας καθώς η δυνατότητα συνδέεται με άλλα προϊόντα Google. Μια ροή από σημάδι σε κείμενο που μπορεί να αναζητήσει, να σχεδιάσει ή να ζητήσει από το Gemini να εκτελέσει εργασίες χρειάζεται σαφή επιβεβαίωση πριν από μια εξωτερική ενέργεια, ειδικά όταν μια μετάφραση είναι αβέβαιη. Οι χρήστες θα πρέπει να μπορούν να βλέπουν τι καταγράφηκε, να το επεξεργαστούν πριν από την αποστολή, να διαγράψουν το συσχετισμένο ιστορικό και να κατανοήσουν εάν διατηρούνται συντεταγμένες ή παραγόμενο κείμενο. Η δημόσια έκδοση εξηγεί την προσέγγιση ορόσημο, αλλά δεν λύνει τις ερωτήσεις του προϊόντος σχετικά με τα δικαιώματα, τα διαγνωστικά, την επεξεργασία cloud ή τα στοιχεία ελέγχου δεδομένων σε επίπεδο λογαριασμού.

Τέλος, αναζητήστε την κοινή αναφορά επιπτώσεων, ανεξάρτητες αναπαραγωγές και σχόλια από κοινότητες Κωφών, καθώς το σύστημα προσεγγίζει περισσότερα άτομα. Google Η DeepMind λέει ότι η συμβουλευτική επιτροπή της θα επηρεάσει τις αναπτυξιακές προτεραιότητες και ότι σχεδιάζει να συνεχίσει την προσέγγιση για σημαντικές εκδόσεις. Η ισχυρότερη παρακολούθηση θα καθιστούσε αυτές τις δεσμεύσεις μετρήσιμες: δημοσιεύστε περιορισμούς ανά γλώσσα και ρυθμίσεις, δείξτε πώς τα αναφερόμενα σφάλματα αλλάζουν τον οδικό χάρτη και επιτρέπουν στους χρήστες να διακρίνουν ένα πειραματικό βοήθημα μετάφρασης από ένα αξιόπιστο υποκατάστατο διερμηνέα. Μέχρι να φτάσουν αυτά τα στοιχεία, το SL2T είναι καλύτερα κατανοητό ως μια πολλά υποσχόμενη πρώτη ανάπτυξη καταναλωτή με ουσιαστική, ανοιχτά δηλωμένη αβεβαιότητα.

Σχετικοί οδηγοί και κουίζ