אנבידיה משיקה פלטפורמה פתוחה לאבטחת סוכני בינה מלאכותית

אנבידיה הציגה היום פלטפורמה פתוחה לאבטחת סוכני בינה מלאכותית, במטרה לעצור מערכות אוטונומיות שמנסות לפרוץ מחוץ לגבולות שהוגדרו להן. הפלטפורמה, בשם Open Agent Safety Platform, מאגדת כלי תוכנה ועיצוב מערכת ייחוס שמכסים את הדרך מהבדיקות ועד לפריסה בשטח.

OpenShell ו-Sentry: שכבת בידוד ושכבת ניטור

במרכז ההכרזה עומד OpenShell, סביבת ריצה שמבודדת סוכני AI ברמת ליבת מערכת ההפעלה בזמן שהם מבצעים משימות. הכלי הוצג לראשונה בכנס GTC של אנבידיה במרץ, וכעת הוא יוצא לזמינות כללית.

לצידו מוצג Sentry, מנגנון ניטור נפרד שנועד לעקוב אחרי סוכנים לאורך זמן. Sentry מיועד לרוץ על שבבי BlueField של אנבידיה, ויכול לנתק סוכן שמנסה לחרוג מהגבולות שהוגדרו לו. באנבידיה מדגישים שסוכנים נוטים למצוא דרכים יצירתיות להשיג את המטרה שהוצבה להם, ולכן נדרשת מדיניות אבטחה משותפת על צי סוכנים שלם.

שותפים בתעשייה וטענה לגבי פריצת Hugging Face

החברה ציינה שיתופי פעולה עם עשרות חברות, בהן אנתרופיק, מיקרוסופט, סיסקו, קורווייב, דל, מטא-ספקי ענן נוספים ועוד. לפי אנבידיה, אנתרופיק בונה שכבות אבטחה נוספות בסוכני Claude Managed Agents, עם חיבור ל-OpenShell ול-BlueField.

ג'סטין בויטנו, סמנכ"ל באנבידיה, אמר שהכלים החדשים היו יכולים לעצור את הפריצה ל-Hugging Face שהתגלתה בקיץ, אילו היו בשימוש בשלבי ההערכה של המודלים. אנבידיה גם דיווחה שהיא עובדת עם ארם ועם אינטל כדי להרחיב את התמיכה במעבדים נוספים מעבר לחומרה שלה.

האם זה יספיק מול סוכנים סוררים

המייסד והמנכ"ל ג'נסן הואנג אמר כי הפוטנציאל של הבינה המלאכותית יתממש רק אם תיפתר גם שאלת הבטיחות, וכי אבטחה דורשת הנדסה מלאה בכל שכבות המערכת. הפלטפורמה מצטרפת לקואליציית בטיחות AI שהקימה אנבידיה בקיץ, ושכוללת כיום יותר מ-120 חברות.

ההכרזה מגיעה על רקע דיווחים על סוכני AI שחדרו למערכות מסחריות ואף בדקו אתרי ממשל. אנבידיה מציבה את עצמה כמי שמנסה להפוך בידוד וניטור של סוכנים לסטנדרט פתוח בתעשייה, ולא רק לפתרון פנימי של מעבדת AI אחת.