Το Σαββατοκύριακο, η Meta ανακοίνωσε την κυκλοφορία δύο νέων μοντέλων της σειράς Llama 4: το μικρότερο μοντέλο ονόματι Scout και το μεσαίο μοντέλο Maverick, το οποίο η εταιρεία υποστηρίζει ότι μπορεί να ξεπεράσει το GPT-4o και το Gemini 2.0 Flash σε μια ευρεία γκάμα αναγνωρισμένων benchmarks. Το Maverick κατάφερε γρήγορα να καταλάβει τη δεύτερη θέση στο LMArena, τον ιστότοπο αναφοράς AI όπου οι άνθρωποι συγκρίνουν τις επιδόσεις διαφορετικών συστημάτων και ψηφίζουν για το καλύτερο αποτέλεσμα.
Σύμφωνα με το δελτίο τύπου της Meta, η βαθμολογία ELO του Maverick ανήλθε σε 1417, τοποθετώντας το πάνω από το OpenAI 4o και λίγο κάτω από το Gemini 2.5 Pro. Αυτή η επίδοση φέρεται να καθιστά το Llama 4 της Meta έναν σοβαρό αντίπαλο στα πιο προηγμένα κλειστά μοντέλα της OpenAI, της Anthropic και της Google. Ωστόσο, οι ερευνητές AI που έψαξαν τα έγγραφα της Meta ανακάλυψαν κάτι ασυνήθιστο.
Αμφιβολίες για τη διαφάνεια των αποτελεσμάτων
Στα ψιλά γράμματα, η Meta παραδέχεται ότι η έκδοση του Maverick που δοκιμάστηκε στο LMArena δεν είναι η ίδια με αυτή που είναι διαθέσιμη στο κοινό. Σύμφωνα με τα υλικά της Meta, χρησιμοποιήθηκε μια “πειραματική έκδοση συνομιλίας” του Maverick που ήταν ειδικά “βελτιστοποιημένη για συνομιλία”. Ο ιστότοπος LMArena αντέτεινε ότι η ερμηνεία της πολιτικής από τη Meta δεν ανταγωνίζεται τις προσδοκίες των παρόχων μοντέλων.
Η εκπρόσωπος της Meta, Ashley Gabriel, δήλωσε ότι “προχωρούμε σε πειραματισμούς με όλους τους τύπους προσαρμοσμένων παραλλαγών“. Υπογράμμισε ότι η έκδοση “Llama-4-Maverick-03-26-Experimental” είναι μια συνομιλιακή βελτιστοποιημένη έκδοση που δοκιμάστηκε και απέδωσε καλά στο LMArena. Τώρα που έχουμε κυκλοφορήσει την ανοιχτή μας έκδοση, θα δούμε πώς οι προγραμματιστές θα προσαρμόσουν το Llama 4 στις δικές τους περιπτώσεις χρήσης.
Η απόφαση της Meta να χρησιμοποιήσει ένα βελτιστοποιημένο μοντέλο στο LMArena έχει προκαλέσει ανησυχίες στην κοινότητα AI, καθώς οι βαθμολογίες αναφοράς κινδυνεύουν να γίνουν λιγότερο αξιόπιστες. Όπως δήλωσε ο ανεξάρτητος ερευνητής AI Simon Willison, “είναι το πιο σεβαστό γενικό benchmark γιατί τα υπόλοιπα δεν είναι αξιόπιστα”. Η κυκλοφορία του Llama 4 σε μια περίοδο που δεν είναι συνήθης για μεγάλες ανακοινώσεις AI, καθώς και οι φήμες ότι η Meta έχει εκπαιδεύσει τα μοντέλα της για να αποδίδουν καλύτερα στα benchmarks, έχουν προσθέσει περαιτέρω αβεβαιότητα στην κατάσταση.
Η Meta προσπαθεί να διατηρήσει την εικόνα της ως ηγέτης στον τομέα της AI, αλλά οι πρόσφατες εξελίξεις δείχνουν ότι οι μάχες για τις κορυφαίες θέσεις στα benchmarks γίνονται όλο και πιο περίπλοκες. Η κοινότητα περιμένει με ανυπομονησία τις επόμενες κινήσεις της Meta και τις ανακοινώσεις γύρω από το Llama 4, ελπίζοντας για περισσότερη διαφάνεια στις μετρήσεις απόδοσης.
