Οι ενσωματωμένοι αξιολογητές AI δεν θα είναι εύκολη λύση, λέει η Hugging Face

Ο επικεφαλής πολιτικής της Hugging Face προειδοποιεί ότι η τοποθέτηση εξωτερικών αξιολογητών μέσα σε εταιρείες τεχνητής νοημοσύνης δεν θα λύσει εύκολα τα προβλήματα ασφάλειας που συσσωρεύονται στον κλάδο. Η ιδέα των ενσωματωμένων αξιολογητών έχει κερδίσει έδαφος τους τελευταίους μήνες, καθώς τα εργαστήρια έχουν αντιμετωπίσει σειρά περιστατικών που εγείρουν ερωτήματα για τις δυνατότητες των συστημάτων τους και για τον τρόπο που δοκιμάζονται πριν από την κυκλοφορία.

Η έλξη της ιδέας είναι εύκολα κατανοητή. Ένας παρατηρητής που εργάζεται μέσα σε ένα εργαστήριο θεωρητικά μπορεί να δει πώς χτίζονται τα μοντέλα, ποιες δοκιμές γίνονται και πού ενδέχεται να υποβαθμίζονται κίνδυνοι. Οι υποστηρικτές της βλέπουν σε αυτό τρόπο να μετατεθεί η εποπτεία από τους περιοδικούς ελέγχους σε μια πιο συνεχή παρακολούθηση.

Το δύσκολο σημείο είναι τι σημαίνει, στην πράξη, η ουδετερότητα. Ένας αξιολογητής που αμείβεται από την εταιρεία που ελέγχει και δουλεύει με τους εσωτερικούς της κανόνες και τους περιορισμούς πρόσβασης ενδέχεται να δυσκολευτεί να αμφισβητήσει αποφάσεις που αφορούν άμεσα τη διοίκηση. Το ποιος επιλέγει τον αξιολογητή, ποιος ορίζει το πεδίο της δουλειάς του και τι επιτρέπεται να δημοσιοποιήσει καθορίζουν αν η συμφωνία παράγει πραγματική λογοδοσία ή απλώς την εικόνα της.

Υπάρχει και ένα πρακτικό ζήτημα. Τα πιο προηγμένα συστήματα αλλάζουν γρήγορα, και ένας μόνο ενσωματωμένος ελεγκτής μπορεί να μην έχει το τεχνικό βάθος ή τον χρόνο να παρακολουθεί κάθε αναβάθμιση μοντέλου. Οι αξιόπιστοι εξωτερικοί έλεγχοι πιθανότατα απαιτούν γραπτές συμβάσεις, προστατευμένα κανάλια αναφοράς και πρόσβαση που δεν εξαρτάται από τη διάθεση της διοίκησης.

Το ζήτημα δεν είναι ότι η ενσωματωμένη αξιολόγηση πρέπει να εγκαταλειφθεί. Είναι ότι ο μηχανισμός χρειάζεται προσεκτικό σχεδιασμό προτού αντέξει το βάρος που του αποδίδουν ορισμένοι σήμερα. Σε έναν κλάδο που στηρίζεται σε μεγάλο βαθμό σε εθελοντικές δεσμεύσεις, οι λεπτομέρειες για το ποιος παρακολουθεί και πώς αναφέρει ενδέχεται να μετρούν περισσότερο από την ετικέτα.