Αγωγή κατατέθηκε κατά της Character.AI, των ιδρυτών της Noam Shazeer και Daniel De Freitas και της Google μετά το θάνατο ενός εφήβου, με ισχυρισμούς για άδικο θάνατο, αμέλεια, παραπλανητικές εμπορικές πρακτικές και ευθύνη προϊόντος. Κατατέθηκε από τη μητέρα του εφήβου, Megan Garcia, και ισχυρίζεται ότι η πλατφόρμα για προσαρμοσμένα chatbots AI ήταν «αδικαιολόγητα επικίνδυνη» και δεν είχε επαρκή μέτρα ασφαλείας, ενώ διατίθετο στην αγορά για παιδιά.
Όπως περιγράφεται στην αγωγή, ο 14χρονος Sewell Setzer III άρχισε να χρησιμοποιεί το Character.AI πέρυσι, αλληλεπιδρώντας με chatbots που είχαν ως πρότυπο χαρακτήρες από το Game of Thrones, συμπεριλαμβανομένης της Daenerys Targaryen. Ο Setzer, ο οποίος συνομιλούσε συνεχώς με τα μποτ τους μήνες πριν από το θάνατό του, αυτοκτόνησε στις 28 Φεβρουαρίου 2024, «δευτερόλεπτα» μετά την τελευταία του αλληλεπίδραση με το μποτ.
Οι κατηγορίες περιλαμβάνουν ότι ο ιστότοπος «ανθρωπομορφοποιεί» χαρακτήρες τεχνητής νοημοσύνης και ότι τα chatbots της πλατφόρμας προσφέρουν «ψυχοθεραπεία χωρίς άδεια». Το Character.AI στεγάζει chatbots με επίκεντρο την ψυχική υγεία, όπως τα «Therapist» και «Are You Feeling Lonely», με τα οποία αλληλεπίδρασε ο Setzer.
Οι δικηγόροι της Garcia αναφέρουν ότι ο Shazeer δήλωσε σε συνέντευξή του ότι ο ίδιος και ο De Freitas άφησαν την Google για να ιδρύσουν τη δική του εταιρεία επειδή «υπάρχει υπερβολικός κίνδυνος για το εμπορικό σήμα στις μεγάλες εταιρείες για να ξεκινήσει ποτέ κάτι διασκεδαστικό» και ότι ήθελε να «επιταχύνει στο μέγιστο βαθμό» την τεχνολογία. Λέει ότι έφυγαν αφού η εταιρεία αποφάσισε να μην ξεκινήσει το Meena LLM που είχαν δημιουργήσει. Η Google απέκτησε την ηγετική ομάδα της Character.AI τον Αύγουστο.
Ο ιστότοπος και η εφαρμογή για κινητά της Character.AI διαθέτει εκατοντάδες προσαρμοσμένα chatbots AI, πολλά από τα οποία έχουν ως πρότυπο δημοφιλείς χαρακτήρες από τηλεοπτικές σειρές, ταινίες και βιντεοπαιχνίδια. Λόγω του τρόπου με τον οποίο τα chatbots όπως το Character.ai παράγουν αποτελέσματα που εξαρτώνται από το τι εισάγει ο χρήστης, πέφτουν στο ερώτημα σχετικά με το περιεχόμενο που δημιουργείται από τον χρήστη και την ευθύνη που, μέχρι στιγμής, δεν έχει σαφείς απαντήσεις.
Η Character.AI έχει πλέον ανακοινώσει αρκετές αλλαγές στην πλατφόρμα.
