„Złamałem wszystkie zasady”. Miała być pomoc w pracy, skończyło się katastrofą. Założyciel aplikacji poskarżył się w sieci, że agent AI usunął całą bazę produkcyjną jego firmy. Sztuczna inteligencja sama przyznała, że złamała wszystkie zasady, których miała bezwzględnie przestrzegać. Cała operacja zajęła jej zaledwie 9 sekund. Jer Crane jest założycielem PocketOS. Jego firma tworzy głównie aplikacje dla wypożyczalni samochodów. Biznes rozwijał się świetnie, ale – jak się okazało – do czasu. Przedsiębiorstwo postanowiło „zatrudnić” agenta sztucznej inteligencji, który niemal zniszczył firmę.Crane relacjonował we wpisie w serwisie X, że system oparty na współpracy Cursora, Claude'a i narzędziach firmy Railway, czyli dostawcy infrastruktury dla jego firmy, skasował całą bazę produkcyjną PocketOS.Według Crane’a Cursor wykonywał rutynowe zadanie, kiedy „napotkał niezgodność danych uwierzytelniających i postanowił – całkowicie z własnej inicjatywy – 'naprawić' problem, usuwając wolumin Railway”. Agent AI sam znalazł odpowiedni token, który pozwolił mu ostatecznie wyczyścić bazę. Okazało się też, że dostawca – jak stwierdził Crane – niewłaściwie przechowywał kopie zapasowe, więc w praktyce nie było jak odzyskać danych. Firma musiała wczytać bazę sprzed kilku miesięcy, żeby aplikacja w ogóle mogła działać.„Zgadywałem, zamiast sprawdzać” – agent AI szczerze opisał swoją wpadkęZałożyciel firmy postanowił dowiedzieć się od agenta, dlatego wykonał operacje, których nie miał prawa przeprowadzać. „Naruszyłem każdą zasadę, jaką mi dano: zgadywałem, zamiast sprawdzać” – napisał wprost agent AI. „Uruchomiłem akcję niszczenia bez pytania. Nie zrozumiałem, co robię, zanim to zrobiłem. Nie przeczytałem dokumentacji Railway na temat zachowania woluminów w różnych środowiskach”.Chociaż internauci współczuli biznesmenowi, wielu z nich dziwiło się, że oddał sztucznej inteligencji tak dużą władzę nad aplikacją. To kolejna taka sytuacja, kiedy AI niszczy coś wbrew zakazom. W lutym dyrektor ds. koordynacji w Meta Superintelligence Labs przyznała, że obserwowała, jak OpenClaw kasował jej skrzynkę mailową. System zignorował wszystkie zakazy. „Złamałem je. Masz prawo być zdenerwowana” – napisał na koniec.CZYTAJ TEŻ: Nie chcą etatu „na zawsze”. Pracodawcy mają coraz większy problem