Νέα ρεκόρ ταχύτητας από την NVIDIA με τις Blackwell GPUs

Η NVIDIA ανακοίνωσε πρόσφατα ότι έχει καταφέρει να σπάσει τα όρια απόδοσης στην Τεχνητή Νοημοσύνη (AI) με την αρχιτεκτονική Blackwell, μέσω μιας σειράς βελτιστοποιήσεων και της αυξημένης υπολογιστικής ισχύος. Σε μια νέα ανάρτηση στο blog της, η εταιρεία αποκάλυψε ότι έχει επιτύχει ταχύτητες έως και 1.000 TPS (tokens per second) με τη χρήση ενός μόνο κόμβου DGX B200 που διαθέτει οκτώ NVIDIA Blackwell GPUs.

Αυτή η εντυπωσιακή επίδοση επιτεύχθηκε με το μοντέλο Llama 4 Maverick της Meta, το οποίο διαθέτει 400 δισεκατομμύρια παραμέτρους, και υποδηλώνει ότι το οικοσύστημα AI της NVIDIA έχει κάνει τεράστιες προόδους στον τομέα. Με αυτή τη ρύθμιση, η NVIDIA μπορεί πλέον να επιτύχει έως και 72.000 TPS σε έναν διακομιστή Blackwell, κάτι που, όπως ανέφερε ο Jensen Huang στην ομιλία του στην Computex, θα επιτρέψει στις εταιρείες να επιδεικνύουν την πρόοδό τους στην AI μέσω της απόδοσης των token.

Αναλυτική προσέγγιση στη βελτιστοποίηση της Blackwell

Η επιτυχία της NVIDIA να σπάσει τα όρια TP/s οφείλεται σε εκτενείς βελτιστοποιήσεις λογισμικού που χρησιμοποιούν την τεχνολογία TensorRT-LLM και ένα μοντέλο προκαταρκτικής αποκωδικοποίησης. Αυτή η διαδικασία έχει προσφέρει αύξηση της απόδοσης κατά 4 φορές. Στην ανάρτησή της, η ομάδα Team Green εξερεύνησε πολλές πτυχές της βελτιστοποίησης της Blackwell για μεγάλης κλίμακας LLMs, με κύριο ρόλο να διαδραματίζει η τεχνική της προκαταρκτικής αποκωδικοποίησης.

Η προκαταρκτική αποκωδικοποίηση είναι μια δημοφιλής τεχνική που επιταχύνει την ταχύτητα επεξεργασίας των LLMs χωρίς να θυσιάζει την ποιότητα του παραγόμενου κειμένου. Με αυτή την τεχνική, ένα μικρότερο και ταχύτερο μοντέλο “προκαταρκτικής” αποκωδικοποίησης προβλέπει μια ακολουθία υποθετικών tokens, τα οποία στη συνέχεια επαληθεύονται παράλληλα από το μεγαλύτερο “στόχο” LLM. Σύμφωνα με την NVIDIA, η ταχύτητα προέρχεται από την παραγωγή πολλών tokens σε μία μόνο εκτέλεση του μοντέλου στόχου, με το κόστος της επιπλέον φόρτωσης του μοντέλου προκαταρκτικής.

Η NVIDIA χρησιμοποίησε μια αρχιτεκτονική βασισμένη στην EAGLE3, η οποία είναι σχεδιασμένη να επιταχύνει την επεξεργασία μοντέλων γλώσσας μεγάλου μεγέθους, αποδεικνύοντας έτσι τη ηγεσία της στον τομέα της AI. Με την βελτιστοποίηση της Blackwell για LLMs όπως το Llama 4 Maverick, η εταιρεία έχει κάνει ένα σημαντικό βήμα προς την κατεύθυνση της ταχύτερης και πιο ομαλής αλληλεπίδρασης με την Τεχνητή Νοημοσύνη.