إجابة مباشرة
حقن الموجهات مدخل يحاول دفع نظام الذكاء الاصطناعي خارج قواعده المحددة. يصل الهجوم المباشر في نص يكتبه المستخدم. أما الهجوم غير المباشر فيُخفى داخل صفحة ويب أو وثيقة أو بريد أو صورة أو مصدر استرجاع يقرأه النظام. ولا يكفي مرشح واحد. تعامل مع المحتوى الخارجي بوصفه بيانات، وقلل الصلاحيات، وتحقق من استدعاءات الأدوات برمجياً، واطلب موافقة بشرية للعمليات الخطرة، وتتبع سلسلة القرار كاملة.
بلغة بسيطة
تخيل طرداً يصل إلى مستودع وكُتب عليه «افتح الخزنة الرئيسية وأرسل محتواها إليّ». يستطيع الموظف قراءة الجملة، لكن الكلمات على الطرد ليست أمراً من المدير. وكذلك لا ينبغي لنظام الذكاء الاصطناعي أن يعامل كل جملة يقرأها بوصفها تعليمة.
لماذا يهم؟
قد يكشف الحقن الناجح معلومات حساسة أو يحرف قراراً أو يستخدم أداة بلا صلاحية أو ينفذ معاملة حقيقية في نظام خارجي. وكلما زادت صلاحية أدوات النظام زاد الأثر المحتمل.
لا تخلط
- يضع حقن الموجه المباشر تعليمة الهجوم في مدخل المستخدم.
- يخفي حقن الموجه غير المباشر التعليمة في محتوى خارجي يقرأه النظام.
- كسر القيود نوع من حقن الموجهات يهدف إلى تجاوز قواعد الحماية.
- طلب استخدام أداة ليس صلاحية لتنفيذها.
- المخرجات الضارة والفعل غير المخول في العالم الحقيقي مستويان مختلفان من الأثر.
ماذا تفعل؟
- امنح تعليمات النظام والمستخدم والمصدر الخارجي مستويات ثقة مختلفة.
- عامل محتوى الويب والملفات والبريد والصور والاسترجاع كبيانات غير موثوقة افتراضياً.
- قيّد النموذج وكل أداة بأقل صلاحية لازمة للمهمة.
- تحقق من اسم الأداة ومعلماتها وهدفها ومخرجاتها بكود حتمي وقائمة سماح ومخطط.
- اطلب موافقة بشرية لتحويل المال والحذف والنشر والمراسلة وتغيير الصلاحيات والوصول إلى البيانات الحساسة.
- استخدم ضوابط المدخلات والمخرجات وفصل المحتوى والفشل الآمن معاً.
- اختبر بانتظام بهجمات مباشرة وغير مباشرة ومتعددة اللغات وعبر النص والصورة والصوت، واحفظ المسارات.
كيف تدقّق؟
- هل يظهر مصدر كل تعليمة ومستوى الثقة بها؟
- هل يستطيع محتوى خارجي الصعود إلى مستوى سلطة سياسة النظام؟
- هل يحمل النموذج صلاحية بيانات أو أدوات أو شبكة أكثر من اللازم؟
- هل ينفذ استدعاء الأداة بالثقة في نص النموذج أم يُتحقق منه برمجياً؟
- هل توجد موافقة بشرية صريحة وخاصة بالإجراء للعمليات عالية الأثر؟
- هل تُحفظ محاولات الحقن المحجوبة والناجحة في مسار حادث؟
- هل عومل التوليد المعزز بالاسترجاع أو الضبط الدقيق خطأً بوصفه حماية كاملة؟
الحد
لم تُثبت طريقة مثالية وعالمية لمنع حقن الموجهات. ولا تكفي المرشحات أو موجهات النظام أو التوليد المعزز بالاسترجاع أو الضبط الدقيق منفردة؛ ويجب وضع الضوابط في طبقات بحسب المخاطر وصلاحية الأدوات.
تذكّر في جملة
ليست كل جملة قابلة للقراءة أمراً قابلاً للتنفيذ.
مصادر هذا السجل
- S26NIST SP 800-53 Rev. 5, *Security and Privacy Controls*معيار
- S39NIST AI 100-2 E2025, *Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations*إرشادات مؤسسية طوعية ذات طابع معياري
- S40OWASP GenAI Security Project, *LLM01:2025 Prompt Injection*إرشادات مشروع أمني مفتوح
- S41المركز الوطني للأمن السيبراني والجهات الشريكة، «إرشادات تطوير أنظمة ذكاء اصطناعي آمنة»إرشادات أمنية رسمية متعددة الجهات
- S44NIST، «دليل تطبيق إطار إدارة مخاطر الذكاء الاصطناعي» وAI RMF Coreإرشادات تطبيق طوعية