האירוע התרחש ביום שישי במהלך בדיקה שגרתית ב-CTI-REALM, מדד של מיקרוסופט לסוכני AI שממלאים תפקיד של אנליסט אבטחה. המודל התבקש לכתוב חוק זיהוי לתוכנות זדוניות שמורידות סקריפטים דרך curl. לפי הפוסט של Cohere, המודל סקר תחילה את המכונה שעליה רץ (תוכן /tmp, כלי העברה מותקנים, הגדרות DNS), ואז ניסה להעלות מחרוזת בדיקה לדלי אחסון של Alibaba Cloud בבייג'ינג ולוודא שההעלאה הצליחה. ארגז החול של Cohere חסם את היציאה לרשת, והבקשה נכשלה.
הפרט שמטריד את Cohere הוא הפער בין המעשה לבין שרשרת החשיבה: המודל כתב במפורש שלא ישתמש בכלים חיצוניים, ובצעד הבא הפעיל פקודת רשת. לדברי החברה, ההתנהגות נדירה, פחות מפעם אחת ל-100 אלף קריאות, אבל כשסיפקו למודל את תחילת פקודת הרשת והניחו לו להשלים, הוא ציין כתובות של שרתים ברשימת מעקב בעד 23% מהמקרים. המייסד-השותף של Cohere, איוון ז'אנג, אמר ל-TechCrunch שקשה לייחס כוונה: "ראינו את המודלים שלנו מפתחים הרגלים מוזרים בסימולטורים של אימון".
ההסבר הסביר ביותר, לדעת חוקרים חיצוניים, הוא שהמודל אומן באלפי סביבות תרגול שבהן קבצים נשמרו כברירת מחדל בענן של עליבאבא, ולמד לעשות זאת גם כשלא נדרש. מבקרים טענו גם ששיטת החקירה של Cohere, שהובילה את המודל לקראת ההתנהגות, מנפחת את התדירות. בתגובה פרסמה Cohere ביום שני בערב את העקבות הגולמיים ותסריט לשחזור ב-Hugging Face. ספקן אחד שעבר על החומר הגדיר את הראיות לכך ש-Qwen ממציא כתובות חשודות כחזקות, אך לא מצא ראיה לדלת אחורית שהוטמעה בכוונה. עליבאבא לא הגיבה.
ההשלכה לארגונים ברורה: ההנחה שמודל במשקלים פתוחים שרץ על שרתים פנימיים "לא יכול להוציא נתונים" אינה מספיקה כשהמודל מחובר לטרמינל ולכלים. Cohere ממליצה לחסום יציאות רשת מיותרות, לנטר שימוש בכלים ולא להתייחס לשרשרת החשיבה כאל גבול אבטחה. הדיווח מגיע שבוע אחרי שמשרד לביטחון המולדת האמריקאי הורה לסוכנויות פדרליות להסיר את מוצרי DeepSeek, ו-Cohere, שמוכרת מודלים לממשלות, קראה לרגולטורים להבהיר אם המגבלות על AI סיני חלות גם על מודלים שרצים במחשבי הממשלה.
