الاستقلالية تتقدّم أسرع
من الضوابط.

أمن روبوتات المحادثة كان مسألة محتوى. أمن الوكلاء مسألة أنظمة.

لثلاث سنوات تعاملت الصناعة مع سلامة الذكاء الاصطناعي بوصفها ترشيحاً للنصوص — هل يقول النموذج ما لا ينبغي. كان ذلك كافياً حين كانت النماذج تنتج كلمات فقط، ويتوقف عن الكفاية لحظة تمكّن النموذج من استدعاء أداة أو الكتابة في قاعدة بيانات أو اعتماد عملية دفع. عندها لا يعود حقن الأوامر إجابة سيئة، بل معاملة غير مصرّح بها، أو جدولاً محذوفاً، أو بيانات تغادر محيطك. أسمت OWASP هذا البند LLM06 — الصلاحيات المفرطة — وهو الثغرة التي لا تغطيها معظم أدوات أمن الذكاء الاصطناعي، لأن فحص الأوامر لا يخبرك بشيء عمّا يُسمح للوكيل بفعله.

الضوابط التي تنجح هنا ليست جديدة: أقل امتياز ممكن، وحدود التفويض، وتقييد نطاق الأثر، وسجلات التدقيق، والموافقة البشرية على الإجراءات غير القابلة للتراجع. هي ذاتها الضوابط التي استغرق نضجها عقوداً في الأنظمة المصرفية والحكومية، مطبَّقة الآن على مُستدعٍ غير حتمي. هذا هو العمل: نقل انضباط أمن الأنظمة المُكتسب بصعوبة إلى برمجيات ترتجل. ولهذا وُجدت SwishOS، ولإثبات ذلك على وكيل حقيقي ينفق أموالاً حقيقية قبل أن أطلب من أحد الوثوق بالمنهج.