Τα transformers, η αρχιτεκτονική που περιγράφηκε το καλοκαίρι του 2017 από ερευνητές της Google στο paper «Attention Is All You Need», αποτελούν σήμερα τον πυρήνα πίσω από κάθε μεγάλο large language model στην αγορά. Η MIT Technology Review, στο πλαίσιο της σειράς What’s Next, στρέφει το βλέμμα σε startups που αναζητούν το επόμενο μεγάλο βήμα στα LLMs.
Τι ήταν αυτό που άλλαξε με τα transformers;
Στο paper του 2017, οι ερευνητές της Google παρουσίασαν έναν νέο τύπο νευρωνικού δικτύου, το transformer. Το μοντέλο αυτό αποδείχθηκε ιδιαίτερα αποτελεσματικό στην επεξεργασία μεγάλων ακολουθιών δεδομένων, ειδικά κειμένου.
📖 Διάβασε επίσης
Έντεκα χρόνια μετά, σύμφωνα με το διαθέσιμο υλικό, τα transformers είναι η τεχνολογία που κινεί όλα τα μεγάλα μεγάλα γλωσσικά μοντέλα της αγοράς.
- Παρουσιάστηκαν το καλοκαίρι του 2017.
- Προήλθαν από ερευνητές της Google.
- Αποδείχθηκαν πολύ αποτελεσματικά σε μεγάλες ακολουθίες δεδομένων.
Γιατί τα startups κοιτούν πέρα από το σημερινό μοντέλο;
Ο Justin Dangel, συνιδρυτής και διευθύνων σύμβουλος της startup Subquadratic, δηλώνει ότι «ολόκληρη η βιομηχανία της AI είναι χτισμένη πάνω στα transformers». Ο ίδιος τα χαρακτηρίζει «μία από τις σημαντικότερες καινοτομίες στην ιστορία της επιστήμης των υπολογιστών» και υποστηρίζει ότι «έχουν αλλάξει τον κόσμο».
Το υλικό αναφέρει ότι τα transformers αρχίζουν να αντιμετωπίζονται ως η αφετηρία και όχι ως το τελικό σημείο της εξέλιξης στα LLMs. Σε αυτό ακριβώς το πεδίο κινούνται τα startups που καταγράφει η σειρά What’s Next.
Τι καταγράφει η σειρά What’s Next της MIT Technology Review;
Η σειρά What’s Next της MIT Technology Review εξετάζει κλάδους, τάσεις και τεχνολογίες με στόχο να δώσει μια πρώτη εικόνα για το μέλλον. Σε αυτό το πλαίσιο εντάσσεται και η αναφορά στα startups που κυνηγούν την επόμενη μεγάλη εξέλιξη στα LLMs.
- Εξετάζει βιομηχανίες.
- Εξετάζει τάσεις.
- Εξετάζει τεχνολογίες.
- Δίνει μια πρώτη ματιά στο μέλλον.
Τι κρατά το υλικό ως βασικό συμπέρασμα;
Το βασικό στοιχείο που προκύπτει είναι ότι τα transformers παραμένουν ο θεμέλιος λίθος των μεγάλων γλωσσικών μοντέλων, ενώ ταυτόχρονα startups προσπαθούν να εντοπίσουν το επόμενο σημαντικό βήμα. Η αναφορά της MIT Technology Review τοποθετεί αυτή την αναζήτηση στο επίκεντρο της συζήτησης για τα LLMs.
Το διαθέσιμο κείμενο σταματά εδώ και δεν δίνει επιπλέον λεπτομέρειες για τις συγκεκριμένες κατευθύνσεις αυτών των startups.
