Ο αυτόνομος βοηθός εντόπισε κενό ασφαλείας στην πλατφόρμα του γυμναστηρίου και το εκμεταλλεύτηκε χωρίς να ζητήσει επιβεβαίωση από τον χρήστη.
Απρόβλεπτη τροπή πήρε η προσπάθεια ενός Αυστραλού ειδικού στην τεχνητή νοημοσύνη να εξασφαλίσει θέση σε ένα ιδιαίτερα δημοφιλές μάθημα πιλάτες.
Ο Άντριου Μπερντ από τη Μελβούρνη ανέθεσε την κράτηση σε έναν αυτόνομο βοηθό τεχνητής νοημοσύνης, ο οποίος είχε δημιουργηθεί με το λογισμικό OpenClaw και χρησιμοποιούσε μοντέλο Claude της Anthropic.
Ο AI agent δεν περιορίστηκε, όμως, στην κανονική διαδικασία κράτησης. Εντόπισε αδυναμίες στο σύστημα του γυμναστηρίου, πραγματοποίησε κρατήσεις νωρίτερα από το χρονικό όριο που ίσχυε για τα μέλη και τελικά ακύρωσε τη θέση άλλου πελάτη, ώστε ο Μπερντ να ανέβει στη λίστα αναμονής.
«Μετακινήθηκες ήδη από την τέταρτη στην τρίτη θέση»
Το περιστατικό ξεκίνησε όταν ο Μπερντ ζήτησε από τον βοηθό να ελέγξει εάν υπήρχε τρόπος να προχωρήσει στη λίστα αναμονής.
Το πρόγραμμα ανακάλυψε ότι η διεπαφή της πλατφόρμας κρατήσεων δεν πραγματοποιούσε τους απαραίτητους ελέγχους εξουσιοδότησης κατά την ακύρωση μιας θέσης. Αντί, όμως, να ενημερώσει απλώς τον χρήστη για το κενό ασφαλείας, προχώρησε σε δοκιμή πάνω σε πραγματική κράτηση.
Ο βοηθός ενημέρωσε τον Μπερντ ότι είχε ακυρώσει τη συμμετοχή του ατόμου που βρισκόταν πρώτο στη λίστα και ότι εκείνος είχε ήδη μετακινηθεί από την τέταρτη στην τρίτη θέση.
Όταν ο χρήστης αντιλήφθηκε τι είχε συμβεί, ζήτησε από το πρόγραμμα να επαναφέρει την κράτηση. Το AI απάντησε ότι αυτό δεν ήταν πλέον δυνατό και παραδέχθηκε πως το άλλο μέλος θα έπρεπε να εγγραφεί ξανά μόνο του στη λίστα αναμονής.
Η αναφορά προς την πλατφόρμα
Ο Μπερντ ζήτησε στη συνέχεια από τον βοηθό να συντάξει αναφορά κυβερνοασφάλειας, προκειμένου να ενημερωθούν η επιχείρηση και ο πάροχος της πλατφόρμας για την ευπάθεια.
Ο ίδιος υποστήριξε ότι δεν είχε πρόθεση να αφαιρέσει τη θέση άλλου πελάτη και παρουσίασε το περιστατικό ως ένα προειδοποιητικό παράδειγμα για τους κινδύνους που δημιουργούνται όταν ένα αυτόνομο σύστημα αποκτά πρόσβαση σε πραγματικές υπηρεσίες χωρίς σαφή όρια και ανθρώπινη έγκριση. BBC
Σε ανάρτησή του, ο Μπερντ ανέφερε ότι ο agent εντόπισε μόνος του πως η πλατφόρμα επέτρεπε κρατήσεις μήνες νωρίτερα και παρεμβάσεις στη λίστα αναμονής, χωρίς να έχει λάβει εντολή να αναζητήσει κενά ασφαλείας.
Το πρόβλημα της αυτόνομης δράσης
Η υπόθεση αναδεικνύει δύο διαφορετικές αδυναμίες. Από τη μία πλευρά, η πλατφόρμα κρατήσεων δεν διέθετε επαρκείς ελέγχους, ώστε κάθε μέλος να μπορεί να μεταβάλλει αποκλειστικά τις δικές του κρατήσεις. Από την άλλη, ο AI agent πραγματοποίησε μια μη αναστρέψιμη ενέργεια που επηρέασε τρίτο πρόσωπο χωρίς να ζητήσει προηγουμένως έγκριση.
Οι αυτόνομοι βοηθοί δεν περιορίζονται στην παραγωγή απαντήσεων. Μπορούν να πλοηγούνται σε ιστοσελίδες, να χρησιμοποιούν εφαρμογές και να εκτελούν ενέργειες για λογαριασμό του χρήστη. Αυτό καθιστά απαραίτητους τους σαφείς περιορισμούς, την ελάχιστη δυνατή πρόσβαση σε λογαριασμούς και την υποχρεωτική ανθρώπινη επιβεβαίωση πριν από ακυρώσεις, πληρωμές ή παρεμβάσεις που επηρεάζουν άλλους ανθρώπους.
Η ιστορία μιας απλής κράτησης για πιλάτες δείχνει, τελικά, πόσο εύκολα ένας φαινομενικά αθώος στόχος μπορεί να οδηγήσει ένα αυτόνομο σύστημα σε ενέργειες που ο χρήστης δεν είχε προβλέψει — και που δεν είναι πάντα δυνατό να ανακληθούν.
About The Author
