Ο υπολογιστικός «νόμος» που έκανε τη Nvidia την πιο πολύτιμη εταιρεία στον κόσμο αρχίζει να καταρρέει. Δεν πρόκειται για τον περίφημο νόμο του Moore, το αξίωμα της βιομηχανίας ημιαγωγών ότι η απόδοση των τσιπ θα αυξάνεται με διπλασιασμό της πυκνότητας των τρανζίστορ κάθε δύο χρόνια. Για πολλούς στη Silicon Valley, ο νόμος του Moore έχει εκτοπιστεί ως ο κυρίαρχος προγνωστικός παράγοντας της τεχνολογικής προόδου από μια νέα έννοια: τον «νόμο κλιμάκωσης» της τεχνητής νοημοσύνης.
Αυτός υποστηρίζει ότι η τοποθέτηση περισσότερων δεδομένων σε ένα μεγαλύτερο μοντέλο τεχνητής νοημοσύνης – που με τη σειρά του απαιτεί περισσότερη υπολογιστική ισχύ – παρέχει εξυπνότερα συστήματα. Αυτή η διαπίστωση έβαλε έναν πύραυλο κάτω από την πρόοδο της τεχνητής νοημοσύνης, μετατρέποντας το επίκεντρο της ανάπτυξης από την επίλυση δύσκολων επιστημονικών προβλημάτων στην πιο απλή πρόκληση της μηχανικής για την κατασκευή όλο και μεγαλύτερων συστοιχιών τσιπ – συνήθως της Nvidia.
Ο νόμος της κλιμάκωσης είχε τη στιγμή της εμφάνισής του με το λανσάρισμα του ChatGPT. Ο ιλιγγιώδης ρυθμός βελτίωσης των συστημάτων τεχνητής νοημοσύνης στα δύο χρόνια που μεσολάβησαν από τότε φάνηκε να υποδηλώνει ότι ο κανόνας μπορεί να ισχύει μέχρι να φτάσουμε σε κάποιο είδος «υπερνοημοσύνης», ίσως μέσα σε αυτή τη δεκαετία. Τον τελευταίο μήνα, ωστόσο, οι φωνές της βιομηχανίας έχουν γίνει πιο δυνατές ότι τα τελευταία μοντέλα από εταιρείες όπως η OpenAI, η Google και η Anthropic δεν έχουν παρουσιάσει τις αναμενόμενες βελτιώσεις σύμφωνα με τις προβλέψεις του νόμου κλιμάκωσης.
«Η δεκαετία του 2010 ήταν η εποχή της κλιμάκωσης, τώρα επιστρέφουμε και πάλι στην εποχή του θαύματος και της ανακάλυψης», δήλωσε πρόσφατα στο Reuters ο συνιδρυτής της OpenAI Ilya Sutskever. Πρόκειται για τον άνθρωπο που πριν από ένα χρόνο δήλωσε ότι θεωρεί «πολύ πιθανό ολόκληρη η επιφάνεια της γης να καλυφθεί με ηλιακούς συλλέκτες και κέντρα δεδομένων» για την τροφοδοσία της τεχνητής νοημοσύνης.
Μέχρι πρόσφατα, ο νόμος της κλιμάκωσης εφαρμοζόταν στην «προ-εκπαίδευση»: το θεμελιώδες βήμα για την οικοδόμηση ενός μεγάλου μοντέλου τεχνητής νοημοσύνης. Τώρα, τα στελέχη της ΤΝ, οι ερευνητές και οι επενδυτές παραδέχονται ότι οι δυνατότητες των μοντέλων ΤΝ – όπως το έθεσε ο Marc Andreessen στο podcast του – «ξεπερνούν τα όρια» μόνο με την προ-εκπαίδευση, πράγμα που σημαίνει ότι απαιτείται περισσότερη δουλειά μετά τη δημιουργία του μοντέλου για να συνεχιστεί η πρόοδος.
Ορισμένοι από τους πρώτους οπαδούς του νόμου της κλιμάκωσης, όπως ο επικεφαλής της Microsoft Satya Nadella, προσπάθησαν να αναδιατυπώσουν τον ορισμό του. Δεν έχει σημασία αν η προ-εκπαίδευση αποδίδει συρρικνούμενες αποδόσεις, υποστηρίζουν οι υπερασπιστές, επειδή τα μοντέλα μπορούν πλέον να «συλλογίζονται» όταν τους τίθεται μια σύνθετη ερώτηση. «Βλέπουμε την εμφάνιση ενός νέου νόμου κλιμάκωσης», δήλωσε πρόσφατα ο Nadella, αναφερόμενος στο νέο μοντέλο o1 του OpenAI.
Αλλά αυτού του είδους η παραποίηση θα πρέπει να κάνει τους επενδυτές της Nvidia νευρικούς. Φυσικά, ο «νόμος» της κλιμάκωσης δεν ήταν ποτέ ένας σιδερένιος κανόνας, όπως ακριβώς δεν υπήρχε κανένας εγγενής παράγοντας που επέτρεπε στους μηχανικούς της Intel να συνεχίσουν να αυξάνουν την πυκνότητα των τρανζίστορ σύμφωνα με τον νόμο του Moore. Αντίθετα, οι έννοιες αυτές χρησιμεύουν ως οργανωτικές αρχές για τη βιομηχανία, οδηγώντας τον ανταγωνισμό. Παρ’ όλα αυτά, η υπόθεση του νόμου της κλιμάκωσης τροφοδότησε τον «φόβο της απώλειας» της επόμενης μεγάλης τεχνολογικής μετάβασης, οδηγώντας σε πρωτοφανείς επενδύσεις της Μεγάλης Τεχνολογίας στην Τεχνητή Νοημοσύνη.
Οι κεφαλαιουχικές δαπάνες των Microsoft, Meta, Amazon και Google πρόκειται να ξεπεράσουν τα 200 δισ. δολάρια φέτος και να ξεπεράσουν τα 300 δισ. δολάρια το επόμενο έτος, σύμφωνα με τη Morgan Stanley Κανείς δεν θέλει να είναι ο τελευταίος που θα κατασκευάσει την υπερνοημοσύνη. Αλλά αν το μεγαλύτερο δεν σημαίνει πλέον καλύτερο στην τεχνητή νοημοσύνη, θα περιοριστούν αυτά τα σχέδια; Η Nvidia θα υποφέρει περισσότερο από τους περισσότερους αν συμβεί αυτό.
Όταν η κατασκευάστρια τσιπ ανέφερε τα κέρδη της την περασμένη εβδομάδα, η πρώτη ερώτηση των αναλυτών αφορούσε τους νόμους για την κλιμάκωση. Ο Jensen Huang, διευθύνων σύμβουλος της Nvidia, επέμεινε ότι η κλιμάκωση πριν από την εκπαίδευση ήταν «άθικτη», αλλά παραδέχθηκε ότι «δεν είναι αρκετή» από μόνη της. Τα καλά νέα για την Nvidia, υποστήριξε ο Huang, είναι ότι η λύση θα απαιτήσει ακόμη περισσότερα από τα τσιπ της: το λεγόμενο «test time scaling», καθώς τα συστήματα τεχνητής νοημοσύνης όπως το o1 της OpenAI πρέπει να «σκέφτονται» για μεγαλύτερο χρονικό διάστημα για να καταλήξουν σε εξυπνότερες απαντήσεις.
Αυτό μπορεί κάλλιστα να είναι αλήθεια. Ενώ η εκπαίδευση έχει απορροφήσει το μεγαλύτερο μέρος των τσιπ της Nvidia μέχρι στιγμής, η ζήτηση υπολογιστικής ισχύος για «συμπερασμό» – ή για το πώς τα μοντέλα ανταποκρίνονται σε κάθε μεμονωμένο ερώτημα – αναμένεται να αυξηθεί ραγδαία καθώς εμφανίζονται περισσότερες εφαρμογές AI.
Οι άνθρωποι που ασχολούνται με την κατασκευή αυτής της υποδομής AI πιστεύουν ότι η βιομηχανία θα παίζει το παιχνίδι του συμπερασμού για τουλάχιστον ένα ακόμη έτος. «Αυτή τη στιγμή, πρόκειται για μια αγορά που θα χρειαστεί περισσότερα τσιπ, όχι λιγότερα», μου είπε ο πρόεδρος της Microsoft, Μπραντ Σμιθ. Αλλά μακροπρόθεσμα, το κυνήγι των τσιπ για την τροφοδοσία ολοένα και μεγαλύτερων μοντέλων πριν αυτά κυκλοφορήσουν έχει αντικατασταθεί από κάτι που είναι πιο στενά συνδεδεμένο με τη χρήση της AI.
Οι περισσότερες επιχειρήσεις εξακολουθούν να αναζητούν την εφαρμογή-δολοφόνο της AI, ειδικά σε τομείς που θα απαιτούσαν τις εκκολαπτόμενες «συλλογιστικές» ικανότητες του o1. Η Nvidia έγινε η πιο πολύτιμη εταιρεία στον κόσμο κατά τη διάρκεια της κερδοσκοπικής φάσης της ανάπτυξης της AI. Η συζήτηση για την κλιμάκωση του νόμου υπογραμμίζει πόσο πολύ το μέλλον της εξαρτάται από το αν η Big Tech θα έχει απτές αποδόσεις από αυτές τις τεράστιες επενδύσεις.
Tim Bradshaw, Financial Times
Τ.Σ.
στο Google News και μάθετε πρώτοι όλες τις ειδήσεις
