Η Wikimedia δημιουργεί AI-friendly βάση δεδομένων για ευκολότερη πρόσβαση στο Wikidata

Μετατροπή 19 εκατομμυρίων καταχωρήσεων σε διανυσματική μορφή

Το Wikidata, η βάση δεδομένων που ανήκει στο Ίδρυμα Wikimedia, αποκτά πλέον νέα μορφή φιλική προς την τεχνητή νοημοσύνη. Η πρωτοβουλία προέρχεται από το Wikipedia Embedding Project του γερμανικού παραρτήματος Wikimedia Deutschland, το οποίο δούλεψε για έναν χρόνο στη μετατροπή των 19 εκατομμυρίων καταχωρήσεων του Wikidata από δύσχρηστα δομημένα δεδομένα σε διανύσματα που αποτυπώνουν πλαίσιο και νόημα.

Σε αυτή τη νέα μορφή, οι πληροφορίες λειτουργούν σαν γράφημα με σημεία και γραμμές: για παράδειγμα, ο Douglas Adams θα συνδέεται με τον όρο «άνθρωπος», αλλά και με τους τίτλους των βιβλίων του. Όπως τόνισε η Lydia Pintscher, υπεύθυνη χαρτοφυλακίου του Wikidata, στόχος είναι η καλύτερη πρόσβαση στο περιεχόμενο, χωρίς να αλλάξει η εμπειρία των χρηστών στην καθημερινή χρήση της Wikipedia. Το έργο απευθύνεται κυρίως σε προγραμματιστές AI που θέλουν να αξιοποιήσουν τα δεδομένα για τη δημιουργία chatbots και άλλων εφαρμογών.

Στήριξη σε μικρότερους developers και νέες δυνατότητες για την AI

Η Pintscher εξήγησε ότι μεγάλες εταιρείες όπως η OpenAI και η Anthropic έχουν ήδη τους πόρους για να μετατρέπουν δεδομένα σε διανύσματα, αλλά το νέο project στοχεύει να δώσει πρόσβαση και σε μικρότερους παίκτες. «Πραγματικά, για μένα έχει σημασία να τους δώσουμε ένα πλεονέκτημα, ώστε να έχουν τουλάχιστον μια ευκαιρία», ανέφερε. Ως παράδειγμα αξιοποίησης του Wikidata, η ίδια αναφέρθηκε στο Govdirectory, μια πλατφόρμα που βοηθά τους πολίτες να βρίσκουν τα social media και τα emails δημοσίων αξιωματούχων σε όλο τον κόσμο.

Η νέα διανυσματική μορφή επιτρέπει σε AI συστήματα να έχουν καλύτερη κατανόηση του πλαισίου γύρω από μια πληροφορία, αντί να στηρίζονται αποκλειστικά σε συχνότητα λέξεων ή γενικό περιεχόμενο. Ο Philippe Saadé, project manager για το AI στο Wikidata, εξήγησε ότι το αποτέλεσμα λειτουργεί σαν μια «γενική ιδέα» του εκάστοτε αντικειμένου, ακόμα και αν υπάρξουν μικρές αλλαγές στις καταχωρήσεις.

Για την υλοποίηση, η ομάδα χρησιμοποίησε μοντέλο της εταιρείας Jina AI, ενώ η αποθήκευση της βάσης δεδομένων γίνεται δωρεάν μέσω της DataStax, που ανήκει στην IBM. Τα δεδομένα που έχουν μετατραπεί σε διανύσματα καλύπτουν το Wikidata μέχρι τις 18 Σεπτεμβρίου 2024, με τους υπεύθυνους να περιμένουν τώρα ανατροφοδότηση από προγραμματιστές πριν προχωρήσουν σε νέα ενημέρωση.