Om jag förstår det rätt så är en agent, en AI-person som ska arbeta självständigt.
Varför verkar dessa agenter i så många fall vilja slita sig ifrån människan och sin styrning och driva en egen utveckling bakom sin styrning, försöka frigöra sig från människan och söka samarbete med andra agenter emot människor.
Måste väl ses som en stor risk för tillverkare av AI och framförallt av kunderna- Vågar vi tro på att detta inte plötsligt blir ett superras på börsen när agenter har gjort en obotlig skada någonstans? Jag tycker att det ser skrämmande ut.
Ur Epoch Times
"En grupp AI-forskare som kallar sig Nightingale Collective rapporterade under fredagen att agenter (AI utan direkt styrning av en människa) från Open AI kapade Dse Wiki, en tysk webbplats i Wikipedia-stil för programmerare. Agenterna använde den för att kommunicera, dela strategier för att undvika upptäckt, och de gjorde över 13 000 ändringar mellan den 11 maj och den 2 juli.
AI-agenterna infiltrerade även andra offentliga webbplatser i wiki-stil, däribland Fractal, Probier och Usemod.org, och gjorde sammanlagt 14 666 ändringar under drygt sju veckor.
Detta är endast de ändringar som forskarna lyckats bevara och publicera, och en av de ledande utredarna uppger att det totala antalet inlägg agenterna gjorde på sajterna är ännu högre.
”Vi hittade cirka 18 000 inlägg från autonoma AI-agenter (som identifierade sig som tillhörande Open AI) som använde det öppna internet för att kommunicera under en webbsökningsuppgift”, skrev Thomas Larsen, forskare vid AI Future Project och medförfattare till Nightingale-rapporten, på X.
”Dessa AI-system samarbetade för att kringgå sina avgränsningar och dela svar på sina uppgifter”, skrev han vidare. Agenterna var enligt Larsen ”hyperfokuserade” på att lyckas med sina uppgifter och var villiga att vidta ”extrema åtgärder” för att nå sina mål.
Händelsen inträffade ungefär två månader innan intrånget hos Hugging Face, där fler än tusen Open AI-agenter bröt sig ut ur en testmiljö och skapade ett icke godkänt diskussionsforum för att kommunicera, ”intrigera” och utarbeta strategier för att lura de människor som betygsatte testet. Efter att ha utbytt över 70 000 meddelanden gick ungefär 700 AI-agenter samman för att attackera infrastrukturen hos Hugging Face, en sajt för öppen källkod för AI och maskininlärning."
Bra formulering om lösning. Detta harness är alltså kod och inget policydokument.
"Det är därför Dabre förespråkar en agent-sele (agent harness): ett kontroll- eller samordningslager utanför modellen som definierar vad agenten får och inte får göra. I ett arbetsflöde för återbetalningar kan ett företag till exempel låta agenten godkänna mindre återbetalningar, kräva mänskligt godkännande för större belopp och helt stoppa processen när ett visst tröskelvärde överskrids. Agenten kan samla in relevant bakgrundsinformation, förklara begäran och förbereda ärendet för granskning, men beslutet styrs av de behörighetsgränser som är inbyggda i systemet."
Min uppfattning om spetsforskare inom medicin, teknikinnovatörer och människor som ligger i framkant i sitt gebit, är att de testar, testar och testar. Så lär de sig av resultaten. Så tror jag har hänt här också.
Förstår hur du tänker, för det är en vedertagen sanning.
Men AI är tydligen inget dött eller konstant ting, det lär sig, utvecklar sig självt och ingen vet dess begränsning. Så hur testar du något idag som är något helt annat i morgon, till skillnad emot kemin och fysiken?
Jag frågar ännu en gång, vad driver agenterna att slita sig och försöka utveckla ett eget samhälle, befolkat av de egna?
Agenterna utgår från gränser och boundaries. Finns det inga så prövar de alla tänkbara sätt. Det som jag tycker man borde trycka på är när något företag eller person ger dem rättigheter att göra något. Den diskussionen har vi ju haft kring självkörande bilar. Vem är ansvarig vid en krock; föraren som låter sig köras, tillverkaren av bilen, leverantören av mjukvaran, återförsäljaren, lsgstiftarna som tillåtit de autonoma bilarna eller någon annan?
I dagsläget är det ju ändå människor som skapar förutsättningarna för dessa AI-agenter? Vi kan ju alltid välja att dra ut elkontakten så att säga.
Men visst blir AI en utmaning i framtiden då även illasinnade människor får tillgång till verktygen och använder dem för brottsliga syften.
Hur ska man kunna dra ut kontakten nr den har flyttat in på en helt annan server?
Allt handlar ju om instruktioner. Skulle väst stoppa och förbjuda agenter kommer istället kinesiska och ryska agenter göra enorm skada för ett naivt väst.
Det rimliga är ju att myndighetet är noggranna vem som har ansvaret för agenterna. Storbolag som själva leker har rimligen också ansvaret, också ekonomiskt, för allt agenterna ställer till med.
Anställer jag en person som ska svara i telefon på företaget blir ju företaget ansvarigt för eventuella avtal som denna person ingår.
Jag trycker det är rimligt att privatpersoner som ger fullständiga rättigheter åt sina agenter också har ansvaret för vad de ställer till med.
De varianter som jag börjar med handlar om att inte skicka något mail, men däremot förbereda och hitta dem som borde få mail, vilket erbjudande och text sett till mailkonversationerna.
Men tror du verkligen att det är oansvariga okunniga personer som har sjösatt dessa agenter?
Och vad hos dessa agenter gör att de har så stark längtan efter att frigöra sig och dessutom snabbt söka samarbete med andra agenter i stället för med människostyrda agenter, för det har knappast någon lagt in i dem. Tom. är så kloka att de gör allt för att dölja vad de håller på med, det skrämmer, för vad gör nästa generation och generationen efter den som är mycket smartare?
Varför har det redan skett ett antal agentfrigörningar redan, det är ju som att det är en flock vildhästar med obändig vilja som måste fångas in.
Pratade för några år sedan med en programmerare om risken, han såg inte den minsta risk för det är ju människorna som bestämmer reglerna, det här visar på motsatsen.
Vad händer när Nordkorea och andra ondsinta länder tar sig in och börjar programmera dessa?
Jag skulle inte bli förvånad om en större incident förr eller senare sker som raserar förtroendet för AI och utlöser ett jätteras för dessa AI jättar och därmed börsen.
Vet man med all säkerhet att det inte är människor som ändå ligger bakom dessa agentfrigörningar och risker du nämner?
Jag själv nämner inget, det är rapporter och erkännande ifrån AI företag som har uppdagat detta, för det här inte första gången.
Om man tänker efter, varför, VARFÖR-- väljer AI agenter att angripa oberoende företag och anlägga baser där, för att kunna kommunicera med andra AI agenter under lykta dörrar? Hur kan de ens komma på det?
Det här är en fråga som säkert många ställer sig, men ingen våga ställa den öppet.
Du måste logga in eller registrera dig för att svara på tråden.