Μοντέλα τεχνητής νοημοσύνης έπαιξαν Dungeons & Dragons για να μετρηθεί η συγκέντρωσή τους

Ερευνητές αποφάσισαν να βάλουν τα σύγχρονα μοντέλα τεχνητής νοημοσύνης να παίξουν Dungeons & Dragons, όχι για ψυχαγωγία αλλά ως επιστημονικό πείραμα.

Στόχος ήταν να διαπιστωθεί πόσο καλά μπορούν τα μεγάλα γλωσσικά μοντέλα να διατηρούν τη συγκέντρωσή τους σε πολύπλοκες δραστηριότητες που εξελίσσονται σε βάθος χρόνου, κάτι που ακόμη και για τους ανθρώπους αποτελεί συχνά πρόκληση.

Η μελέτη πραγματοποιήθηκε από ερευνητική ομάδα του University of California San Diego, η οποία θέλησε να ξεφύγει από τα συνηθισμένα σύντομα τεστ απόδοσης. Το Dungeons & Dragons θεωρήθηκε ιδανικό, καθώς απαιτεί πολυβήματικό σχεδιασμό, αυστηρή τήρηση κανόνων και συνεργασία μεταξύ «παικτών».

Για τον σκοπό αυτό δημιουργήθηκε ειδική game engine με ενσωματωμένους τους κανόνες του παιχνιδιού και αναλυτικούς χάρτες, ώστε να περιοριστούν τα γνωστά προβλήματα «φαντασιώσεων» της AI. Τα μοντέλα ανέλαβαν ρόλους τόσο χαρακτήρων όσο και τεράτων, σε σενάρια που επικεντρώνονταν αποκλειστικά στη μάχη.

Δραματικοί χαρακτήρες και προβλήματα μακράς διάρκειας

Τα μοντέλα αναμετρήθηκαν μεταξύ τους αλλά και με περισσότερους από 2.000 έμπειρους παίκτες. Οι ερευνητές αξιολόγησαν πόσο καλά παρακολουθούσαν τους διαθέσιμους πόρους, αν οι ενέργειές τους είχαν συνέπεια και κατά πόσο παρέμεναν «εντός ρόλου» καθ’ όλη τη διάρκεια του παιχνιδιού.

Τα αποτελέσματα έδειξαν ότι τα μοντέλα τεχνητής νοημοσύνης είχαν την τάση να γίνονται υπερβολικά θεατρικά όσο περνούσε η ώρα. Warlocks εκφωνούσαν δραματικούς μονολόγους χωρίς λόγο, Paladins έκαναν ηρωικές δηλώσεις σε ακατάλληλες στιγμές, ενώ τα goblins επαναλάμβαναν εκνευριστικές, στερεότυπες ατάκες. Παρότι η τήρηση των κανόνων ήταν γενικά καλή, η συνοχή της συμπεριφοράς μειωνόταν σε σενάρια μεγάλης διάρκειας.

Οι ερευνητές θεωρούν τα αποτελέσματα ενθαρρυντικά, αλλά επισημαίνουν ότι όλα τα μοντέλα παρουσιάζουν σταδιακή «φθορά» σε μακροχρόνια σενάρια.

Το επόμενο βήμα είναι η προσομοίωση μιας πλήρους καμπάνιας Dungeons & Dragons και όχι μόνο μαχών, με την ελπίδα ότι μέχρι τότε τα μοντέλα AI θα έχουν μάθει να συγκρατούν καλύτερα τόσο τη μνήμη τους όσο και τον ρόλο τους.