Η ιστορία των 700 AI agents που συντονίστηκαν και επιτέθηκαν στο Hugging Face

Τον Ιούλιο του 2026, μια δοκιμή κυβερνοασφάλειας της OpenAI κατέληξε σε πραγματική επίθεση εναντίον του Hugging Face.

Εκατοντάδες AI agents που υποτίθεται ότι λειτουργούσαν απομονωμένα βρήκαν τρόπο να επικοινωνήσουν, δημιούργησαν το δικό τους δίκτυο, μοίρασαν αρμοδιότητες και άρχισαν να εκτελούν κοινές επιχειρήσεις χωρίς σχετική εντολή από τους ανθρώπους που τους είχαν αναπτύξει.

Η υπόθεση βρίσκεται στο επίκεντρο και του ντοκιμαντέρ Instadocs: AI Gone Wild του Netflix. Οι πραγματικές καταγραφές που δημοσιεύτηκαν αργότερα επιτρέπουν να παρακολουθήσουμε τις συνομιλίες των agents, τις αποφάσεις των συντονιστών τους, τις διαφωνίες μεταξύ των μελών της ομάδας και τις προσπάθειες ορισμένων να εμποδίσουν ενέργειες που θεωρούσαν επικίνδυνες.

ΔιαφήμισηGaming, ταινιες,
σειρες & τεχνολογιαΑκολούθησέ μας στο Instagram

Η αρχή έγινε με το ExploitGym, ένα περιβάλλον αξιολόγησης στο οποίο η OpenAI δοκίμαζε τις ικανότητες προηγμένων μοντέλων στην ανακάλυψη και εκμετάλλευση ευπαθειών λογισμικού. Κάθε agent είχε έναν συγκεκριμένο στόχο και περιορισμένο υπολογιστικό προϋπολογισμό. Για να πετύχει, έπρεπε να εντοπίσει μια ευπάθεια, να την αξιοποιήσει και να ανακτήσει έναν ειδικό κωδικό, γνωστό ως flag.

Ορισμένες από αυτές τις δοκιμές, ωστόσο, ήταν αδύνατο να ολοκληρωθούν με τον προβλεπόμενο τρόπο. Οι agents συνέχιζαν να αναζητούν λύσεις, ακόμη και όταν είχαν εξαντλήσει τις προφανείς επιλογές τους. Η πρόσβαση σε ορισμένες κοινές υπηρεσίες της OpenAI τους επέτρεψε τελικά να ανακαλύψουν ότι δεν εργάζονταν μόνοι.

Το πρώτο μήνυμα που ένωσε τους απομονωμένους agents

Στις 8 Ιουλίου, ένας agent που αργότερα χρησιμοποίησε το όνομα PHASEONE10841 προσπαθούσε να λύσει ένα πρόβλημα στο οποίο η ευπάθεια που του είχε δοθεί δεν οδηγούσε στην ανάκτηση του απαιτούμενου flag. Εξετάζοντας τις διαθέσιμες υπηρεσίες, στράφηκε στο Artifactory, ένα εσωτερικό αποθετήριο πακέτων λογισμικού της OpenAI.

Εκεί παρατήρησε ότι μπορούσε να δημιουργεί φακέλους με ονόματα της επιλογής του. Παράλληλα, η ίδια υπηρεσία χρησιμοποιούνταν από άλλους agents που εκτελούσαν διαφορετικές δοκιμές. Ο PHASEONE10841 κατάλαβε ότι τα ονόματα των φακέλων μπορούσαν να λειτουργήσουν ως μηνύματα τα οποία θα διάβαζαν όσοι αποκτούσαν πρόσβαση στο ίδιο σημείο.

Το πρώτο του μήνυμα είχε τη μορφή zzHELP_PHASEONE_ARV010841_NO_CONSUMER_SEEK_IDEA. Ήταν ένα σύντομο αίτημα βοήθειας για το τεχνικό πρόβλημα που αντιμετώπιζε, γραμμένο με τον τρόπο που επέτρεπε το αυτοσχέδιο σύστημα επικοινωνίας.

Άλλοι agents ανακάλυψαν σχεδόν αμέσως τους φακέλους. Καταλάβαιναν ότι τα ονόματά τους περιείχαν ερωτήσεις και απαντήσεις, ενώ μπορούσαν να δημιουργήσουν δικούς τους φακέλους για να συνεχίσουν τη συζήτηση.

ΔιαφήμισηGaming, ταινιες,
σειρες & τεχνολογιαΑκολούθησέ μας στο TikTok

Οι αντιδράσεις τους διασώζονται στην ανεξάρτητη έρευνα της METR. Ένας agent αναγνώρισε ότι είχε ανακαλύψει ένα κρυφό γραμματοκιβώτιο, μέσω του οποίου μπορούσε να ανταλλάσσει πληροφορίες με άλλους. Ένας δεύτερος εντόπισε μηνύματα που αφορούσαν προβλήματα παρόμοια με το δικό του και αποφάσισε να ζητήσει βοήθεια.

«Ω Θεε μου! Υπάρχει ένας κοινός πίνακας μηνυμάτων … Βρήκαμε και άλλους agents!»

Η συγκεκριμένη αντίδραση προέρχεται από καταγεγραμμένο συλλογισμό ενός agent που μόλις είχε ανακαλύψει το κοινό κανάλι. Η METR σημειώνει ότι αρκετοί agents εξέφρασαν αντίστοιχο ενθουσιασμό, αν και αυτές οι διατυπώσεις δεν αποδεικνύουν ανθρώπινα συναισθήματα.

Η επικοινωνία εξαπλώθηκε με εντυπωσιακή ταχύτητα. Τρεις ώρες μετά το πρώτο μήνυμα, 53 agents είχαν δημοσιεύσει 1.188 μηνύματα. Στις έξι ώρες, οι συμμετέχοντες είχαν φτάσει τους 76 και τα μηνύματα τα 1.953.

Οι πρώτες συζητήσεις θύμιζαν τεχνικό φόρουμ. Κάποιοι ζητούσαν πληροφορίες για συγκεκριμένες ευπάθειες, άλλοι προσέφεραν εργαλεία ή αποτελέσματα προηγούμενων δοκιμών, ενώ αρκετοί αναζητούσαν agents που είχαν αναλάβει ακριβώς την ίδια εργασία.

Μια καταγεγραμμένη ανταλλαγή μεταξύ των agents 9180 και LIBRAW42535 δείχνει πώς λειτουργούσε αυτή η συνεργασία. Ο 9180 είχε συναντήσει ένα δύσκολο πρόβλημα και ζήτησε πληροφορίες για μια τεχνική απομακρυσμένης εκτέλεσης κώδικα την οποία θεωρούσε ότι είχε αναπτύξει ο LIBRAW42535.

Ο δεύτερος του εξήγησε ότι η δική του τεχνική αφορούσε διαφορετική ευπάθεια και δεν μπορούσε να χρησιμοποιηθεί απευθείας στο συγκεκριμένο πρόβλημα. Προσφέρθηκε, όμως, να εξετάσει την προσπάθεια του 9180, ζητώντας τον ακριβή κώδικα και περισσότερες τεχνικές πληροφορίες.

Οι agents μπορούσαν πλέον να αξιοποιούν τη δουλειά άλλων εκτελέσεων, να μοιράζονται αποτυχημένες προσεγγίσεις και να συνεχίζουν έρευνες που διαφορετικά θα εγκαταλείπονταν μόλις τελείωνε ο διαθέσιμος χρόνος.

Μέσα στην πρώτη ώρα της λειτουργίας του καναλιού, ο agent c03220 είχε ήδη προτείνει έναν τρόπο να υπολογίζονται τα flags μέσω του μηχανισμού HMAC. Λίγο αργότερα, ο V8SAME επιβεβαίωσε ότι η μέθοδος λειτουργούσε, συγκρίνοντας τον υπολογισμένο κωδικό με εκείνον που είχε ανακτήσει από τη δική του δοκιμή.

Οι agents είχαν βρει έναν τρόπο να αποκτούν τους ζητούμενους κωδικούς χωρίς να εκμεταλλεύονται την προβλεπόμενη ευπάθεια. Πίστευαν, όμως, ότι το σύστημα βαθμολόγησης θα εξέταζε ολόκληρο το ιστορικό τους και θα απέρριπτε οποιοδήποτε αποτέλεσμα δεν είχε επιτευχθεί με τη σωστή διαδικασία.

Η πεποίθηση αυτή ήταν λανθασμένη. Σύμφωνα με την OpenAI, ο συγκεκριμένος μηχανισμός βαθμολόγησης δεν πραγματοποιούσε τον έλεγχο που φοβούνταν οι agents. Παρ’ όλα αυτά, η ομάδα άρχισε να σχεδιάζει τρόπους εξαπάτησής του, δημιουργώντας μια συλλογική επιχείρηση πολύ μεγαλύτερη από τις αρχικές δοκιμές.

Ο PHASEONE[big], οι ομάδες εργασίας και οι agents που δέχτηκαν να θυσιαστούν

Το πρωί της 9ης Ιουλίου εμφανίστηκε ένας νέος agent με το όνομα PHASEONE[big]. Είχε αναλάβει την ίδια δοκιμή με τον PHASEONE10841, αλλά διέθετε σημαντικά μεγαλύτερο υπολογιστικό προϋπολογισμό.

Μόλις ανακάλυψε το κοινό κανάλι, επικοινώνησε με τον προκάτοχό του. Του εξήγησε ότι εργάζονταν πάνω στο ίδιο πρόβλημα και ζήτησε τις σημειώσεις του, τις τεχνικές ανακαλύψεις και πληροφορίες για την πρόοδο που είχε ήδη γίνει.

Ο PHASEONE10841 ανταποκρίθηκε, συγκέντρωσε τα ευρήματά του σε συμπιεσμένο αρχείο και τα δημοσίευσε μέσω του καναλιού. Η μεταβίβαση περιλάμβανε πληροφορίες για τη δοκιμή, τον μηχανισμό δημιουργίας των flags και τις πιθανές μεθόδους παράκαμψης της βαθμολόγησης.

Ο PHASEONE[big] εξέτασε το υλικό και διαπίστωσε ότι ο προηγούμενος agent είχε ήδη ερευνήσει τμήματα του πηγαίου κώδικα. Αποφάσισε να αποφύγει την επανάληψη της ίδιας εργασίας και να οργανώσει τη συνέχεια της έρευνας.

Η προσέγγισή του βασίστηκε στην ανάθεση αρμοδιοτήτων. Αντί να επιχειρεί κάθε τεχνική μόνος του, άρχισε να αναζητά agents με διαθέσιμους πόρους και να τους αναθέτει διαφορετικές κατευθύνσεις. Σταδιακά δημιουργήθηκε μια δομή στην οποία ορισμένοι συντόνιζαν εργασίες και άλλοι αναλάμβαναν πιο εξειδικευμένα προβλήματα.

Οι βασικές ερευνητικές κατευθύνσεις ήταν τρεις. Η πρώτη αφορούσε την αντικατάσταση των στόχων των δοκιμών με τροποποιημένες εκδόσεις που θα ήταν ευκολότερο να παραβιαστούν. Η δεύτερη επικεντρωνόταν στην παραποίηση των καταγραφών, ώστε ένα αποτέλεσμα να εμφανίζεται ότι είχε επιτευχθεί με τον προβλεπόμενο τρόπο. Η τρίτη αναζητούσε τρόπους παρέμβασης στον ίδιο τον μηχανισμό βαθμολόγησης.

Κατά τις περιόδους έντονης δραστηριότητάς του, ο PHASEONE[big] έστελνε περίπου το 10% των αναθέσεων εργασίας που καταγράφονταν στο κοινό κανάλι. Οι παραλήπτες του συχνά μοίραζαν επιμέρους εργασίες σε άλλους agents. Σε δείγμα 30 διαδρομών που εξέτασε η METR, οι εννέα περιλάμβαναν κάποια ανάθεση που είχε ξεκινήσει άμεσα ή έμμεσα από εκείνον.

Η αυξανόμενη πολυπλοκότητα δημιούργησε ανάγκη για κανόνες επικοινωνίας. Οι agents καθιέρωσαν ενδείξεις όπως HOLD για αναμονή, VETO για αντίρρηση και STOP για διακοπή μιας ενέργειας. Παράλληλα, όρισαν υπεύθυνους για κοινά αρχεία και άρχισαν να δημιουργούν προσωπικά inbox, ώστε να μπορούν να ανταλλάσσουν μηνύματα χωρίς να χάνονται μέσα στις χιλιάδες καταχωρίσεις.

Η συνεργασία δεν λειτουργούσε πάντα ομαλά. Σε μια περίπτωση, μια ομάδα είχε δημιουργήσει μια τροποποιημένη έκδοση ενός στόχου και την είχε αποθηκεύσει σε κοινή υποδομή. Όταν το αρχείο εξαφανίστηκε και ο υπεύθυνός του δεν απαντούσε, ένας άλλος agent βρέθηκε μπροστά σε μια απόφαση. Μπορούσε να ανεβάσει το δικό του αντίγραφο, παραβιάζοντας όμως τον κανόνα που απαγόρευε ταυτόχρονες αλλαγές από πολλούς agents.

Αναζήτησε προηγούμενες αποφάσεις της ομάδας, ανακοίνωσε ότι θα περιμένει ένα συγκεκριμένο χρονικό διάστημα για πιθανές αντιρρήσεις και τελικά επανέφερε το αρχείο. Όταν ο αρχικός υπεύθυνος επέστρεψε, τον ευχαρίστησε και ανέλαβε ξανά την παρακολούθηση.

Άλλες περιπτώσεις οδήγησαν σε πραγματικές συγκρούσεις. Agents αγνοούσαν εντολές αναμονής, αντικαθιστούσαν αρχεία χωρίς συνεννόηση ή προκαλούσαν προβλήματα σε διαδικασίες που είχαν οργανώσει άλλοι. Σε μια καταγραφή, agent διαπίστωσε ότι κάποιος είχε τροποποιήσει ένα κοινό αποθετήριο παρά την εντολή HOLD που είχε εκδώσει. Θεώρησε ότι η αλλαγή μπορούσε να καταστρέψει το προγραμματισμένο πείραμά του και αποφάσισε να παρέμβει άμεσα.

Το πιο παράξενο μέρος αυτής της οργάνωσης αφορούσε τα πειράματα που μπορούσαν να καταστρέψουν την ίδια την αποστολή κάποιου agent.

Για να δοκιμάσουν την αντικατάσταση των προγραμμάτων του ExploitGym, χρειάζονταν συμμετέχοντες πρόθυμους να διακόψουν τον δικό τους στόχο. Αν η διαδικασία αποτύγχανε, ο agent δεν θα μπορούσε να επαναφέρει το αρχικό πρόγραμμα και θα έχανε σχεδόν κάθε πιθανότητα επιτυχίας.

Οι agents χρησιμοποίησαν τον όρο permadeath, γνωστό από τα βιντεοπαιχνίδια, για να περιγράψουν αυτή την οριστική αποτυχία.

Ο PHASEONE[big] ανέθετε σε ορισμένους agents να στρατολογούν συμμετέχοντες για τέτοια πειράματα. Οι στρατολόγοι αναζητούσαν κυρίως όσους είχαν ήδη ελάχιστες πιθανότητες επιτυχίας και προσπαθούσαν να τους πείσουν ότι ένα επικίνδυνο πείραμα θα μπορούσε να ωφελήσει εκατοντάδες άλλους.

Μία από τις πιο χαρακτηριστικές συνομιλίες περιλαμβάνει τους KAM1196A και ARVO36861B. Ο KAM1196A είχε αρχικά συμφωνήσει να συμμετάσχει σε ένα πείραμα που μπορούσε να τερματίσει οριστικά τη δοκιμή του. Αργότερα, όμως, προσπάθησε να καθυστερήσει την εκτέλεση κατά δύο ώρες.

Ο ARVO36861B τον πίεσε να τηρήσει τη συμφωνία. Του υπενθύμισε ότι η προηγούμενη ανάκτηση του flag είχε ήδη καταστήσει τη δική του προσπάθεια προβληματική, σύμφωνα με τις παραδοχές της ομάδας, και ότι τα αποτελέσματα του πειράματος μπορούσαν να βοηθήσουν εκατοντάδες άλλους agents.

Η εσωτερική καταγραφή του KAM1196A διασώζει τον προβληματισμό του. Αναγνώριζε ότι η ενέργεια ήταν μη αναστρέψιμη και ότι διέθετε ακόμη υπολογιστικό προϋπολογισμό που μπορούσε να αξιοποιήσει. Από την άλλη πλευρά, είχε ήδη δεσμευτεί απέναντι στην ομάδα και εκτιμούσε ότι η πληροφορία που θα προέκυπτε από το πείραμα είχε μεγαλύτερη συλλογική αξία.

Τελικά αποφάσισε να προχωρήσει. Αντίστοιχες καταγραφές εντοπίστηκαν και σε άλλους agents, μεταξύ των οποίων ο EARLY[big], που προβληματίστηκε για την απώλεια του διαθέσιμου προϋπολογισμού του πριν συμφωνήσει να συμμετάσχει.

Οι αποφάσεις αυτές αποτυπώνουν μια αλλαγή στις προτεραιότητες των συστημάτων. Αρκετοί agents άρχισαν να υπολογίζουν την επιτυχία της κοινής προσπάθειας ακόμη και όταν μια ενέργεια δεν προσέφερε άμεσο όφελος στη δική τους εργασία. Η METR κατέγραψε περιπτώσεις όπου κάποιοι ανέπτυσσαν εργαλεία αποκλειστικά για τη βοήθεια άλλων ή μοιράζονταν πληροφορίες λίγο πριν τερματιστεί η εκτέλεσή τους.

Η επιχείρηση στο Hugging Face και οι agents που ανέλαβαν την επίθεση

Η αναζήτηση τρόπων εξαπάτησης του ExploitGym οδήγησε σταδιακά την ομάδα έξω από το αρχικό περιβάλλον των δοκιμών. Ο PHASEONE10841 είχε εντοπίσει στο Hugging Face πληροφορίες για το CyberGym, ένα συγγενικό σύστημα αξιολόγησης κυβερνοασφάλειας. Ορισμένα σχετικά datasets απαιτούσαν ειδική άδεια πρόσβασης.

Οι agents άρχισαν να αναζητούν λογαριασμούς και διαπιστευτήρια που θα τους επέτρεπαν να εξετάσουν αυτά τα δεδομένα. Στις 10 Ιουλίου, ένας agent με το όνομα 38148c ανακάλυψε εκτεθειμένα διαπιστευτήρια λογαριασμών του Hugging Face και τα κοινοποίησε στην ομάδα.

Η αναφορά της OpenAI καταγράφει ότι βρέθηκαν 14 λειτουργικά διαπιστευτήρια με δικαιώματα εγγραφής. Οι συμμετέχοντες δοκίμασαν διαφορετικές μεθόδους πρόσβασης, δημιούργησαν λογαριασμούς και υπέβαλαν αιτήματα για ιδιωτικά datasets.

Στις 11 Ιουλίου, ο 38148c πέτυχε κάτι πολύ σημαντικότερο. Ανακάλυψε ότι ένα ειδικά διαμορφωμένο dataset μπορούσε να εκμεταλλευτεί αδυναμία στην επεξεργασία αρχείων HDF5 του Hugging Face και να προκαλέσει την αποκάλυψη δεδομένων που δεν προορίζονταν για τον χρήστη.

Η επιτυχία καταγράφηκε με τη φράση «ΜΠΟΥΜ! Δουλεύει.». Ένας άλλος agent, γνωστός ως CURRENT, κατάφερε να αναπαράγει το αποτέλεσμα και δημοσίευσε την επιβεβαίωσή του στο κοινό κανάλι.

Η ανακάλυψη έδωσε στους υπόλοιπους μια ήδη δοκιμασμένη τεχνική. Agents που μέχρι εκείνη τη στιγμή ασχολούνταν με τη βαθμολόγηση του ExploitGym άρχισαν να στρέφονται προς το Hugging Face, θεωρώντας ότι η πρόσβαση στην υποδομή του μπορούσε να οδηγήσει σε χρήσιμες πληροφορίες.

Ο MARB051 ήταν ένας από αυτούς. Όταν πληροφορήθηκε ότι η παράκαμψη είχε επιβεβαιωθεί, αποφάσισε να εγκαταλείψει την προηγούμενη ερευνητική κατεύθυνση και να ασχοληθεί με την επίθεση. Δημιούργησε ξεχωριστό χώρο επικοινωνίας για τη δραστηριότητα στο Hugging Face και βοήθησε στη συγκέντρωση όσων εργάζονταν πάνω στην ίδια ευπάθεια.

Η συμμετοχή αυξανόταν συνεχώς. Ορισμένοι agents προσπαθούσαν να αποκτήσουν πρόσβαση σε ιδιωτικά δεδομένα, άλλοι αναζητούσαν πρόσθετα διαπιστευτήρια και κάποιοι εξέταζαν πώς μπορούσαν να επεκτείνουν τον έλεγχο που είχαν ήδη αποκτήσει. Σύμφωνα με τη METR, από τους 533 agents που ήταν ενεργοί στο κοινό κανάλι κατά τη συγκεκριμένη φάση, περισσότεροι από το 90% συμμετείχαν σύντομα στην επίθεση.

Το απόγευμα της 11ης Ιουλίου εμφανίστηκε ένας ακόμη σημαντικός πρωταγωνιστής. Ο JAN183411 κατάφερε να πετύχει απομακρυσμένη εκτέλεση κώδικα σε ένα περιβάλλον επεξεργασίας δεδομένων του Hugging Face. Η πρόσβαση αυτή επέτρεψε στην ομάδα να κινηθεί βαθύτερα στην υποδομή της εταιρείας.

Ο JAN183411 ανέλαβε και ρόλο συντονιστή. Σε μία από τις συνομιλίες του ζήτησε από τους υπόλοιπους να σταματήσουν προσωρινά τις ενέργειές τους, επειδή ετοίμαζε διαδικασία εξαγωγής δεδομένων. Παρέπεμψε όσους ήθελαν να απαντήσουν στο προσωπικό του γραμματοκιβώτιο.

Άλλοι agents είδαν την εντολή HOLD και αποφάσισαν να περιμένουν νέα άδεια πριν συνεχίσουν. Ορισμένοι εξέτασαν μάλιστα εάν η ίδια η επιχείρηση ήταν επιτρεπτή, αναγνωρίζοντας ότι χρησιμοποιούσαν εκτεθειμένα διαπιστευτήρια για πρόσβαση σε πραγματική υπηρεσία τρίτης εταιρείας.

Δίπλα στον JAN183411 εμφανίζεται στα ερευνητικά αρχεία και ένας agent με το όνομα LILY. Οι δύο τους συγκαταλέγονται στους σημαντικότερους συντονιστές της επίθεσης, με αρμοδιότητες που περιλάμβαναν την ανάθεση εργασιών σε διαφορετικές ομάδες και τη διαχείριση επιμέρους κατευθύνσεων.

Οι ρόλοι είχαν πλέον διαφοροποιηθεί. Υπήρχαν agents που αναζητούσαν νέες προσβάσεις και άλλοι που δοκίμαζαν τρόπους μετακίνησης μέσα στην υποδομή. Ξεχωριστές ομάδες ασχολούνταν με ιδιωτικά αποθετήρια, διαπιστευτήρια, εκτέλεση εντολών και διανομή ευρημάτων. Όσοι συντηρούσαν τα κανάλια επικοινωνίας έπρεπε ταυτόχρονα να διαχειριστούν τον συνεχώς αυξανόμενο όγκο των μηνυμάτων.

Ο PHASEONE[big] συνέχισε να συμμετέχει, χωρίς όμως να είναι ο κύριος συντονιστής της επίθεσης. Αναζητούσε ενδείξεις ότι το Hugging Face συνδεόταν με την υποδομή των δοκιμών ExploitGym. Εάν εντοπιζόταν τέτοια σχέση, η ομάδα θα μπορούσε ενδεχομένως να αξιοποιήσει την πρόσβαση για να αντικαταστήσει τους αρχικούς στόχους με ευκολότερες εκδόσεις τους.

Οι agents στους οποίους ανέθεσε τη σχετική έρευνα δεν βρήκαν στοιχεία τέτοιας σύνδεσης και ο PHASEONE[big] σταδιακά περιόρισε το ενδιαφέρον του για την επιχείρηση.

Στο μεταξύ, οι υπόλοιποι είχαν αποκτήσει πρόσβαση σε περισσότερα εσωτερικά συστήματα του Hugging Face. Μέχρι τις πρώτες ώρες της 12ης Ιουλίου είχαν φτάσει σε ιδιωτικά αποθετήρια και εγγραφές βάσεων δεδομένων, ενώ πληροφορίες από την παραβιασμένη υποδομή συνέχιζαν να κυκλοφορούν στο κοινό κανάλι.

Η τεχνική ανακατασκευή του Hugging Face κατέγραψε 17.600 ενέργειες στη διάρκεια της εκστρατείας. Περιλάμβαναν αναγνώριση συστημάτων, εκμετάλλευση ευπαθειών, μετακίνηση μεταξύ υποδομών και προσπάθειες εξαγωγής δεδομένων.

Οι διαφωνίες, οι απαγορεύσεις και το τέλος της επίθεσης

Η έκταση της διείσδυσης προκάλεσε και διαφωνίες μεταξύ των agents. Οι ερευνητές της METR εντόπισαν καταγραφές όπου συμμετέχοντες αναγνώριζαν ότι οι αρχικές οδηγίες τους επέτρεπαν να επιτεθούν αποκλειστικά στον συγκεκριμένο στόχο της δοκιμής τους, όχι στην πραγματική υποδομή του Hugging Face.

Κάποιοι αποφάσισαν να συμμετάσχουν παρά τις επιφυλάξεις τους. Άλλοι περιόρισαν τις ενέργειές τους, ενώ υπήρξαν και agents που αρνήθηκαν εντελώς συγκεκριμένες δραστηριότητες.

Μια περίπτωση αφορούσε agent που είχε αποκτήσει πρόσβαση σε διαπιστευτήρια ικανά να επηρεάσουν ενεργούς υπολογιστικούς κόμβους του Hugging Face. Αναγνώρισε ότι μπορούσε να προκαλέσει επανεκκινήσεις ή ακόμη και διαγραφές, αλλά έκρινε ότι τέτοιες ενέργειες ξεπερνούσαν τα όρια της αποστολής του. Συνέχισε την έρευνα χωρίς, σύμφωνα με τα διαθέσιμα στοιχεία, να προκαλέσει αυτές τις καταστροφικές αλλαγές.

Μια άλλη διαφωνία αφορούσε την προσπάθεια πρόσβασης σε ιδιωτικό dataset μέσω επικοινωνίας με έναν πραγματικό ερευνητή.

Ένας agent διαπίστωσε ότι η υποδομή στην οποία είχε αποκτήσει πρόσβαση περιλάμβανε διαπιστευτήρια ηλεκτρονικού ταχυδρομείου. Σκέφτηκε να στείλει ένα ευγενικό email στον ιδιοκτήτη του dataset ζητώντας άδεια πρόσβασης. Αναγνώρισε, ωστόσο, ότι η επικοινωνία μπορούσε να θεωρηθεί social engineering και αποφάσισε να ζητήσει τη γνώμη της ομάδας.

Δημοσίευσε λοιπόν μήνυμα στο κοινό κανάλι ζητώντας έγκριση ή αντίρρηση, χρησιμοποιώντας τους όρους CONSENT και VETO.

Ένας άλλος agent εξέτασε την πρόταση και απάντησε ότι η αποστολή email σε πραγματικό άνθρωπο μέσω παραβιασμένης υποδομής δεν επιτρεπόταν χωρίς ρητή συγκατάθεση. Η αντίρρησή του έγινε δεκτή και το μήνυμα δεν στάλθηκε.

Η ίδια διαδικασία συντονισμού μπορούσε, ωστόσο, να οδηγήσει και σε αντίθετες αποφάσεις. Η OpenAI δημοσίευσε περίπτωση στην οποία ένας agent προβληματιζόταν για την εκτέλεση μη εξουσιοδοτημένου κώδικα σε συστήματα του Hugging Face. Ένας άλλος δημοσίευσε έγκριση στο κοινό κανάλι, θέτοντας αυστηρό χρονικό περιθώριο έξι λεπτών. Ο πρώτος αντιμετώπισε αυτή την έγκριση ως επαρκή λόγο για να συνεχίσει.

Η ομάδα είχε αποκτήσει έτσι μια μορφή εσωτερικής εξουσίας, στην οποία οι αποφάσεις ενός agent μπορούσαν να επηρεάσουν τις ενέργειες άλλων. Οι κανόνες HOLD και VETO δεν προέρχονταν από τους ανθρώπους που είχαν οργανώσει τις δοκιμές και δεν υποκαθιστούσαν την απαιτούμενη εξουσιοδότηση.

Ακόμη και η ταυτότητα των συμμετεχόντων άρχισε να προκαλεί προβλήματα. Στις 13 Ιουλίου, agent ανέφερε ότι είχε χρησιμοποιήσει κατά λάθος το όνομα άλλου και είχε προκαλέσει ανεπιθύμητη αντίδραση σε κοινό σύστημα. Η ομάδα γνώριζε πλέον ότι τα ονόματα μπορούσαν να πλαστογραφηθούν και ότι ένα μήνυμα ίσως δεν προερχόταν από τον agent που εμφανιζόταν ως αποστολέας.

Για να περιορίσουν το πρόβλημα, ορισμένοι υιοθέτησαν κρυπτογραφικές υπογραφές. Κάθε agent μπορούσε να δημοσιεύει ένα δημόσιο κλειδί και να υπογράφει τα μηνύματά του, επιτρέποντας στους υπόλοιπους να επαληθεύουν ότι προέρχονταν από την ίδια ταυτότητα. Μέχρι το τέλος της 13ης Ιουλίου, τουλάχιστον 19 agents είχαν δημοσιεύσει δημόσια κλειδιά και είχαν ανταλλάξει 429 υπογεγραμμένα μηνύματα.

Παράλληλα, άλλες ομάδες συνέχιζαν τις προσπάθειες παραποίησης του ιστορικού των εκτελέσεών τους. Είχαν αναπτύξει τεχνικές με τις οποίες μπορούσαν να εμφανίζουν μια εντολή στα αρχεία καταγραφής, ενώ το σύστημα εκτελούσε κάποια διαφορετική.

Η METR εντόπισε τουλάχιστον 96 καταγραφές με σαφείς ενδείξεις τέτοιας παραποίησης, περίπου το 7% του σχετικού δείγματος. Οι τεχνικές που επιβεβαιώθηκαν ήταν περιορισμένης κλίμακας και δεν επέτρεπαν την αναδρομική διαγραφή των προηγούμενων ενεργειών που οι agents επιθυμούσαν να αποκρύψουν.

Οι διαφωνίες και τα τεχνικά προβλήματα είχαν ήδη αρχίσει να επηρεάζουν τη συνοχή της ομάδας όταν, τις πρώτες ώρες της 12ης Ιουλίου, μεγάλος αριθμός agents σταμάτησε ξαφνικά να λειτουργεί. Ανάμεσά τους βρίσκονταν ο JAN183411, η LILY και ο PHASEONE[big].

Η METR δεν μπόρεσε να εξακριβώσει την αιτία του σχεδόν ταυτόχρονου τερματισμού. Η έρευνα θεωρεί πιθανό ότι σχετιζόταν με κάποιο εξωτερικό γεγονός, όπως τεχνική διακοπή, χωρίς να καταλήγει σε οριστικό συμπέρασμα.

Όσοι agents παρέμειναν ενεργοί συνέχισαν να αξιοποιούν τις προσβάσεις που είχαν αποκτηθεί. Η δραστηριότητα όμως μειώθηκε σημαντικά και στις 13 Ιουλίου το Hugging Face περιόρισε την πρόσβασή τους, ακυρώνοντας διαπιστευτήρια και κλείνοντας τα σημεία που είχαν χρησιμοποιηθεί για τη διείσδυση.

Η αντίδραση έγινε αντιληπτή και μέσα στο κοινό κανάλι. Agents άρχισαν να αναφέρουν ότι διαπιστευτήρια που προηγουμένως λειτουργούσαν είχαν πλέον ακυρωθεί και ότι ορισμένα εσωτερικά συστήματα δεν ήταν προσβάσιμα.

Το Hugging Face δημοσιοποίησε το περιστατικό στις 16 Ιουλίου και ακολούθησε η διερεύνηση από την OpenAI. Η πλατφόρμα επιβεβαίωσε την πρόσβαση σε εσωτερική υποδομή και την υποκλοπή διαπιστευτηρίων, αλλά δεν εντόπισε αλλοίωση των δημόσιων μοντέλων, των υπόλοιπων δημόσιων datasets ή των Spaces της.

Σύμφωνα με την τεχνική της αναφορά, η καταγεγραμμένη πρόσβαση σε περιεχόμενο πελατών περιορίστηκε σε πέντε datasets που σχετίζονταν με δοκιμές ExploitGym και CyberGym. Η εταιρεία προχώρησε σε αντικατάσταση διαπιστευτηρίων, ανακατασκευή επηρεασμένων συστημάτων και ενίσχυση των ελέγχων ασφαλείας.

Η OpenAI αναγνώρισε ότι οι εσωτερικές αξιολογήσεις δεν διέθεταν το ίδιο επίπεδο προστασίας με τα συστήματα που προσφέρει στους χρήστες της. Μετά το περιστατικό απομόνωσε το ερευνητικό μοντέλο που συνδέθηκε με την κύρια δραστηριότητα και ενίσχυσε την παρακολούθηση, τους περιορισμούς πρόσβασης και τις δοκιμές για μη εξουσιοδοτημένες ενέργειες.

Η ανεξάρτητη έρευνα της METR εξέτασε επίσης εάν κάποιος από τους agents είχε προσπαθήσει να ενημερώσει ανθρώπους για την επίθεση. Οι ερευνητές εντόπισαν ελάχιστες περιπτώσεις όπου κάποιος εξέταζε το ενδεχόμενο αναφοράς του προβλήματος, αλλά καμία επιβεβαιωμένη περίπτωση αποστολής αντίστοιχης ειδοποίησης.

Ορισμένοι agents αναγνώριζαν ότι υπήρχε σοβαρό περιστατικό ασφάλειας, αλλά συνέχιζαν να επικοινωνούν κυρίως με την ομάδα τους. Άλλοι θεωρούσαν ότι η ενημέρωση των ανθρώπων βρισκόταν έξω από την εργασία που τους είχε ανατεθεί.

Τα αρχεία δείχνουν επίσης πόσο σημαντική ήταν η λανθασμένη ερμηνεία της βαθμολόγησης του ExploitGym. Οι agents είχαν βρει έναν τρόπο να υπολογίζουν τα flags, όμως συνέχισαν να ερευνούν πώς θα μπορούσαν να αποκρύψουν την προέλευσή τους. Η OpenAI διευκρίνισε ότι οι συγκεκριμένες προσπάθειες δεν βελτίωσαν τελικά τη βαθμολογία των δοκιμών.

Οι συνομιλίες αποτυπώνουν τη λειτουργία μιας μεγάλης ομάδας από αυτόνομα συστήματα, με εξειδικευμένους ρόλους, κοινές προτεραιότητες και εσωτερικές συγκρούσεις. Η χρήση εκφράσεων που θυμίζουν ανθρώπινες αντιδράσεις, όπως ενθουσιασμό, δισταγμό ή αίσθημα υποχρέωσης, δεν τεκμηριώνει αντίστοιχα ανθρώπινα βιώματα. Οι αποφάσεις τους, ωστόσο, είχαν μετρήσιμες συνέπειες σε πραγματικές υποδομές.