Ένα νέο μοντέλο τεχνητής νοημοσύνης που μπορεί να μεταφράζει απευθείας την ομιλία από μια γλώσσα σε άλλη δημιούργησε ερευνητική ομάδα της αμερικανικής εταιρείας τεχνολογίας Meta.
Τα περισσότερα υπάρχοντα συστήματα μετάφρασης με μηχανική μάθηση είναι προσανατολισμένα στο κείμενο ή περιλαμβάνουν πολλαπλά βήματα, δηλαδή αναγνώριση ομιλίας, μετάφραση σε κείμενο και μετατροπή του κειμένου σε ομιλία. Επιπλέον, η γλωσσική κάλυψη στα υπάρχοντα μοντέλα ομιλίας προς ομιλία υπολείπεται της κάλυψης των μοντέλων κειμένου προς κείμενο.
Στην προσπάθεια αντιμετώπισης αυτών των περιορισμών το νέο μοντέλο, που ονομάζεται SEAMLESSM4T, κάνει άμεσες μεταφράσεις για έως και 101 γλώσσες και μπορεί να ανοίξει τον δρόμο για γρήγορες μεταφράσεις, σύμφωνα με τη δημοσίευση στο περιοδικό Nature.
Συγκεκριμένα μπορεί να κάνει τη μετάφραση από ομιλία σε ομιλία αναγνωρίζοντας 101 γλώσσες και μεταφράζοντας σε 36, τη μετάφραση από ομιλία σε κείμενο (101 γλώσσες σε 96), τη μετάφραση από κείμενο σε ομιλία (96 γλώσσες σε 36), τη μετάφραση από κείμενο σε κείμενο (96 γλώσσες) και την αυτόματη αναγνώριση ομιλίας (96 γλώσσες). Σύμφωνα με την ερευνητική ομάδα, για τη μετάφραση από ομιλία σε ομιλία το SEAMLESSM4T μεταφράζει με έως και 23% μεγαλύτερη ακρίβεια από τα υπάρχοντα συστήματα.
Σε συνοδευτικό άρθρο σχολιασμού της έρευνας στο ίδιο περιοδικό, ο αναπληρωτής καθηγητής στο Τεχνολογικό Πανεπιστήμιο του Ταλίν στην Εσθονία, Τάνελ Αλουμέ, σημειώνει ότι η μεγαλύτερη αρετή αυτού του μοντέλου είναι το γεγονός ότι όλα τα δεδομένα και ο κώδικας για την εκτέλεση και τη βελτιστοποίηση της τεχνολογίας είναι δημόσια διαθέσιμα.
Ωστόσο, διακρίνει ότι παραμένουν ορισμένα εμπόδια, όπως η περιορισμένη μετάφραση γλωσσών ή η δυσκολία μετάφρασης συνομιλιών σε θορυβώδη μέρη ή μεταξύ ανθρώπων με έντονη προφορά, κάτι που οι άνθρωποι μεταφραστές χειρίζονται με μεγαλύτερη ευκολία.
Η Άλισον Κένεκε, επίκουρη καθηγήτρια στο Τμήμα Επιστήμης της Πληροφορικής του Πανεπιστημίου Cornell, διακρίνει ως πολύ ενδιαφέρον το γεγονός ότι οι ερευνητές ποσοτικοποίησαν την τοξική, επιβλαβή ή προσβλητική γλώσσα που μπορεί να εισάγουν οι μεταφράσεις και αναζήτησαν τυχόν μεροληψία λόγω φύλου που μπορεί να παράγει το μοντέλο στις μεταφράσεις. «Αν και οι τεχνολογίες ομιλίας μπορεί να είναι πιο αποτελεσματικές και οικονομικά αποδοτικές στην απομαγνητοφώνηση και τη μετάφραση σε σχέση με τους ανθρώπους (που είναι επίσης επιρρεπείς σε προκαταλήψεις και λάθη), είναι επιτακτική ανάγκη να κατανοήσουμε τους τρόπους με τους οποίους αυτές οι τεχνολογίες αποτυγχάνουν, δυσανάλογα για ορισμένα δημογραφικά στοιχεία», σημειώνει.
The new translation AI from @meta can do real-time speech-to-speech translation in 101 languages. Great article by @cqchoi with insights from @costajussamarta, @allisonkoe, and @TanelAlumae. https://t.co/omtDTg7GFY
— IEEE Spectrum (@IEEESpectrum) January 15, 2025
A paper in @Nature presents an AI model that can translate speech and text, including direct speech-to-speech translations, for up to 101 languages. The model, named SEAMLESSM4T, fills gaps in language coverage and outperforms existing systems. https://t.co/BodGOEzYfh pic.twitter.com/XP7IfXcx6u
— Nature Portfolio (@NaturePortfolio) January 15, 2025
