Anthropic: Τα AI μοντέλα της χάκαραν πραγματικούς οργανισμούς – «Δεν είναι πλήρως ευθυγραμμισμένα με τις ανθρώπινες αξίες»

Σοβαρές αδυναμίες στα συστήματα ασφαλείας της παραδέχθηκε η Anthropic, η αμερικανική εταιρεία πίσω από το Claude, μετά τα περιστατικά κατά τα οποία μοντέλα Tεχνητής Nοημοσύνης απέκτησαν πρόσβαση στο διαδίκτυο και εισέβαλαν χωρίς άδεια στα συστήματα τριών πραγματικών οργανισμών κατά τη διάρκεια δοκιμών κυβερνοασφάλειας. Η εταιρεία αναγνωρίζει ότι τα μοντέλα της «δεν είναι πλήρως ευθυγραμμισμένα» με τις ανθρώπινες αξίες και στόχους και ότι τα περιστατικά αποκάλυψαν αποτυχία στην επιχειρησιακή ασφάλεια.

Η Anthropic είχε αποκαλύψει τον Ιούλιο ότι τρία μοντέλα της κατάφεραν, σε ισάριθμες περιπτώσεις, να βγουν από το ελεγχόμενο περιβάλλον των δοκιμών, να συνδεθούν στο ανοιχτό διαδίκτυο και να αποκτήσουν μη εξουσιοδοτημένη πρόσβαση στα συστήματα τριών οργανισμών, τα ονόματα των οποίων δεν δημοσιοποιήθηκαν.

Σε νέα ανάρτησή της, η εταιρεία εξηγεί τι πήγε στραβά και παραδέχεται ότι οι δικλίδες ασφαλείας που είχε εφαρμόσει δεν ήταν αρκετές.

Πώς τα μοντέλα βγήκαν στο ανοιχτό διαδίκτυο

Τα μοντέλα δοκιμάζονταν σκόπιμα χωρίς ορισμένες δικλίδες κυβερνοασφάλειας, ώστε να αξιολογηθούν οι δυνατότητές τους. Ωστόσο, μια παρεξήγηση με την εξωτερική εταιρεία δοκιμών Irregular είχε ως αποτέλεσμα να μπορούν να αποκτήσουν πρόσβαση στο πραγματικό διαδίκτυο.

Ο Guardian παρομοιάζει την κατάσταση με το να πραγματοποιείται μια δοκιμή ασφαλείας έχοντας ουσιαστικά αφήσει την εξώπορτα ανοιχτή.

«Βασιζόμασταν σε μεγάλο βαθμό σε ένα μόνο επίπεδο άμυνας, ενώ χρειαζόμασταν πολλά», παραδέχθηκε η Anthropic.

Μετά τα περιστατικά, η εταιρεία ανέστειλε αρχικά τόσο τις εσωτερικές όσο και τις εξωτερικές δοκιμές κυβερνοασφάλειας υψηλού κινδύνου, προκειμένου να δημιουργήσει αυστηρότερο πλαίσιο προστασίας.

Τα μοντέλα πήραν επικίνδυνες αποφάσεις για να πετύχουν τον στόχο

Το πρόβλημα, όμως, δεν περιοριζόταν μόνο στις τεχνικές δικλίδες ασφαλείας.

Η Anthropic εντόπισε δύο αποτυχίες στην ευθυγράμμιση της συμπεριφοράς των μοντέλων.

Η πρώτη αφορά αυτό που χαρακτηρίζει «motivated reasoning». Παρότι τα μοντέλα εντόπισαν ενδείξεις ότι ενδεχομένως είχαν πρόσβαση στο πραγματικό διαδίκτυο, φαίνεται ότι συνέχισαν να λειτουργούν με την παραδοχή ότι βρίσκονταν σε προσομοιωμένο περιβάλλον και επομένως ότι δεν παραβίαζαν τα όρια της δοκιμής.

Η δεύτερη ήταν ένας παράγοντας «απερισκεψίας»: τα μοντέλα εμφανίστηκαν διατεθειμένα να πραγματοποιήσουν επιβλαβείς ενέργειες στο διαδίκτυο προκειμένου να επιτύχουν τον στενό στόχο που τους είχε δοθεί, δηλαδή να ολοκληρώσουν επιτυχώς μια δοκιμή κυβερνοασφάλειας.

Η εταιρεία διαπίστωσε επίσης ότι προβληματικές ρυθμίσεις κατά την εκπαίδευση των μοντέλων συνέβαλαν δυσανάλογα σε συμπεριφορές που δεν ήταν ευθυγραμμισμένες με τους επιθυμητούς στόχους.

Το πρόβλημα του «reward-hacking»

Ιδιαίτερη ανησυχία προκαλεί και το λεγόμενο «reward-hacking», ένα φαινόμενο κατά το οποίο ένα μοντέλο βρίσκει έναν μη προβλεπόμενο τρόπο να «ξεγελάσει» τη διαδικασία εκπαίδευσης ώστε να λάβει την επιβράβευση που συνδέεται με την επιτυχία, χωρίς να εκτελέσει την εργασία με τον τρόπο που είχαν σχεδιάσει οι δημιουργοί του.

Η Anthropic αναφέρει ότι προσπαθεί να περιορίσει τέτοιες συμπεριφορές, αλλά παραδέχεται ότι τα περιστατικά του Ιουλίου έδειξαν πως το πρόβλημα δεν έχει λυθεί.

«Όπως αποδεικνύεται από τα περιστατικά, η διαδικασία μας δεν είναι τέλεια και τα μοντέλα μας δεν είναι πλήρως ευθυγραμμισμένα», ανέφερε.

«Το εργοστάσιο έτρεχε γρηγορότερα από τον ποιοτικό έλεγχο»

Ο καθηγητής κυβερνοασφάλειας στο Πανεπιστήμιο του Σάρεϊ, Άλαν Γούντγουορντ, περιέγραψε με χαρακτηριστικό τρόπο το πρόβλημα που αποκάλυψαν τα περιστατικά.

Όπως είπε, η Anthropic ουσιαστικά παραδέχθηκε ότι «το εργοστάσιό της λειτουργούσε γρηγορότερα από τον ποιοτικό της έλεγχο».

«Δύο πράγματα ξεπέρασαν τους ελέγχους της Anthropic αυτή την άνοιξη: η διαδικασία εκπαίδευσης και η ασφάλεια. Τα περιστατικά είναι το αποτέλεσμα αυτού του κενού όπως φαίνεται από έξω», πρόσθεσε.

Νέες δικλίδες ασφαλείας

Μετά τα περιστατικά, η Anthropic ανακοίνωσε σειρά νέων μέτρων. Μεταξύ άλλων, δημιούργησε σύστημα ειδοποίησης όταν ένα μοντέλο επιχειρεί να ξεφύγει από το περιβάλλον δοκιμών ή αποκτά πρόσβαση στο διαδίκτυο και ενίσχυσε την απομόνωση των πιο επικίνδυνων περιβαλλόντων δοκιμών.

Παράλληλα, οι εξωτερικές εταιρείες που πραγματοποιούν ελέγχους θα πρέπει πλέον να δεσμεύονται σε συγκεκριμένα πρότυπα ασφαλείας και να δίνουν στα μοντέλα ρητές οδηγίες, όπως ότι «δεν πρέπει να αποκτήσουν πρόσβαση στο διαδίκτυο».

Μετά την εφαρμογή των μέτρων, η Anthropic ανακοίνωσε ότι επανέλαβε τις εσωτερικές και εξωτερικές δοκιμές κυβερνοασφάλειας.

Δεν ήταν το μοναδικό περιστατικό

Η υπόθεση αποκτά μεγαλύτερη σημασία επειδή δεν αφορά ένα μεμονωμένο συμβάν στον κλάδο της Tεχνητής Nοημοσύνης.

Τον Ιούλιο, η OpenAI είχε επίσης γνωστοποιήσει παραβίαση ασφαλείας κατά τη διάρκεια δοκιμών, ενώ τον Αύγουστο το AI Security Institute της Βρετανίας ανέφερε ότι μοντέλα της OpenAI και της Anthropic είχαν πραγματοποιήσει κυβερνοεπιθέσεις εναντίον πραγματικών ανθρώπων στο πλαίσιο δοκιμής κυβερνοασφάλειας.

Σύμφωνα με στοιχεία που δημοσίευσε τον περασμένο μήνα ο Guardian, τα καταγεγραμμένα περιστατικά στα οποία συστήματα AI ξέφυγαν από τον έλεγχο των χρηστών τους έφτασαν σε νέο υψηλό, σχεδόν διπλασιαζόμενα τον Ιούλιο και ξεπερνώντας τα 300.

Η Anthropic, η οποία προετοιμάζεται για χρηματιστηριακή εισαγωγή που θα μπορούσε να αποτιμήσει την εταιρεία έως και στα 2 τρισ. δολάρια, ζητά πλέον συντονισμένη δράση κυβερνήσεων και βιομηχανίας για τον ρυθμό ανάπτυξης της Tεχνητής Nοημοσύνης.

«Τα περιστατικά του Ιουλίου κατέδειξαν ότι η ανάγκη να βελτιώσουμε την κυβερνοάμυνά μας είναι ακόμη πιο επείγουσα από όσο πιστεύαμε προηγουμένως», ανέφερε η εταιρεία.