في أوائل عام 2024 ، جلبت قضية احتيال Deepfake المذهلة في هونغ كونغ نقاط الضعف من الخداع الذي يحركه الذكاء الاصطناعى إلى راحة حادة. تم خداع موظف مالي خلال مكالمة فيديو من خلال ما بدا أنه المدير المالي-لكن في الواقع كان DeepFake المتطور الذي تم إنشاؤه من الذكاء الاصطناعى. مقتنعًا بأصالة المكالمة ، قام الموظف بإجراء 15 عملية نقل بلغ مجموعها أكثر من 25 مليون دولار إلى حسابات مصرفية احتيالية قبل أن يدرك أنها كانت عملية احتيال.
يوضح هذا الحادث أكثر من مجرد خداع تكنولوجي – يشير إلى أن الثقة في ما نراه وسماعه يمكن أن يتم سلاحه ، خاصة وأن الذكاء الاصطناعي يصبح أكثر عمقًا في أدوات المؤسسات وسير العمل. من LLMs المدمجة في أنظمة المؤسسات إلى العوامل المستقلة التي تشخص وحتى إصلاح المشكلات في البيئات الحية ، تنتقل الذكاء الاصطناعي من الجدة إلى الضرورة. ومع ذلك ، مع تطورها ، فإن الفجوات في أطر الأمان التقليدية الخاصة بنا-المصممة للرمز الثابت والمكتوب على الإنسان-تهدف إلى عدم استعدادنا للأنظمة التي تولد وتكييف وتصرف بطرق غير متوقعة.
ما وراء عقلية CVE
تدور ممارسات الترميز الآمنة التقليدية حول نقاط الضعف المعروفة ودورات التصحيح. الذكاء الاصطناعي يغير المعادلة. يمكن إنشاء سطر من التعليمات البرمجية أثناء الطيران بواسطة نموذج ، يتشكله المطالبات أو البيانات المعالجة – إنشاء فئات جديدة لا يمكن التنبؤ بها من المخاطر مثل الحقن الفوري أو السلوك الناشئ خارج التصنيف التقليدي.
وجدت دراسة 2025 فيراكود أن 45 ٪ من جميع الكود الذي تم إنشاؤه من الذكاء الاصطناعى يحتوي على نقاط ضعف ، مع عيوب شائعة مثل الدفاعات الضعيفة ضد XSS وحقن السجل. (كانت بعض اللغات أداءً أكثر سوءًا من غيرها. وكان أكثر من 70 ٪ من كود Java الذي تم إنشاؤه من الذكاء الاصطناعى مشكلة أمنية ، على سبيل المثال.) أظهرت دراسة أخرى 2025 أن الصقل المتكرر يمكن أن يزيد الأمور أسوأ: بعد خمسة تكرارات فقط ، ارتفعت نقاط الضعف الحرجة بنسبة 37.6 ٪.
لمواكبة ، ظهرت الأطر مثل OWASP Top 10 for LLMs ، حيث فهرسة المخاطر الخاصة بالنيابة مثل تسرب البيانات ، وإنكار النموذج للخدمة ، والحقن الفوري. إنهم يسلطون الضوء على كيفية تفوق تصنيفات الأمان الحالية – ولماذا نحتاج إلى أساليب جديدة على أسطح تهديد الذكاء الاصطناعى ، ومشاركة الحوادث ، وصقل أطر المخاطر بشكل متكرر لتعكس كيفية إنشاء الكود وتأثره من الذكاء الاصطناعي.
أسهل للخصوم
ولعل التحول الأكثر إثارة للقلق هو كيف يقلل الذكاء الاصطناعي من الحاجز أمام النشاط الضار. ما هو مطلوب من الخبرة التقنية العميقة يمكن الآن القيام به من قبل أي شخص لديه موجه ذكي: إنشاء البرامج النصية ، أو إطلاق حملات التصيد ، أو معالجة النماذج. الذكاء الاصطناعي لا يوسع سطح الهجوم فقط. يجعل الأمر أسهل وأرخص للمهاجمين للنجاح دون كتابة رمز.
في عام 2025 ، كشف الباحثون النقاب عن برسلاوكر ، أول برامج فدية تعمل بالنيابة. على الرغم من أنه مجرد دليل على المفهوم ، فقد أظهر كيف يمكن تلقائي السرقة والتشفير مع LLM المحلي بتكلفة منخفضة بشكل ملحوظ: حوالي 0.70 دولار لكل هجوم كامل باستخدام واجهات برمجة التطبيقات التجارية – مجانًا بشكل أساسي مع نماذج المصدر المفتوح. هذا النوع من القدرة على تحمل التكاليف يمكن أن يجعل فدية أرخص وأسرع وأكثر قابلية للتطوير من أي وقت مضى.
يعني هذا الديمقراطي للجريمة أن يكون المدافعون الاستعداد للهجمات الأكثر شيوعًا وأكثر تنوعًا وأكثر إبداعًا. تساعد مصفوفة التهديد ML العدائية ، التي أسسها رام شانكار سيفا كومار خلال فترة وجوده في Microsoft ، من خلال تعداد التهديدات للتعلم الآلي وتقديم طريقة منظمة لتوقع هذه المخاطر المتطورة. (سيناقش صعوبة تأمين أنظمة الذكاء الاصطناعى من الخصوم في SuperStream القادم من O'Reilly.)
صوامع وفجوات المهارة
لا يزال المطورين وعلماء البيانات وفرق الأمان يعملون في الصوامع ، ولكل منها حوافز مختلفة. يضغط قادة الأعمال من أجل اعتماد AI السريع للبقاء قادرين على المنافسة ، بينما يحذر قادة الأمن من أن التحرك بسرعة كبيرة للغاية يخاطر بعيوب كارثية في الكود نفسه.
يتم تضخيم هذه التوترات من خلال فجوة المهارات المتوسطة: يفتقر معظم المطورين إلى التدريب في أمان الذكاء الاصطناعي ، ولا يفهم العديد من محترفي الأمن كيفية عمل LLMs تمامًا. نتيجة لذلك ، تشعر إصلاحات الترقيع القديمة بعدم كفاية عندما تكتب النماذج وتشغيل التعليمات البرمجية بمفردها.
إن صعود “الترميز المليء بالحيوية” – على اقتراحات LLM دون مراجعة – يعقد هذا التحول. إنه يسرع التنمية ولكنه يقدم نقاط الضعف الخفية ، مما يترك كل من المطورين والمدافعين يكافحون لإدارة مخاطر جديدة.
من التجنب إلى المرونة
تبني الذكاء الاصطناعي لن يتوقف. التحدي هو الانتقال من التجنب إلى المرونة. توفر الأطر مثل إطار مخاطر AI Databricks (DASF) وإطار إدارة مخاطر NIST AI إرشادات عملية حول تضمين الحوكمة والأمن مباشرة في خطوط أنابيب الذكاء الاصطناعي ، مما يساعد المؤسسات على تجاوز الدفاعات المخصصة نحو المرونة المنهجية. الهدف هو القضاء على المخاطر ولكن تمكين الابتكار مع الحفاظ على الثقة في الكود AI يساعد في الإنتاج.
الشفافية والمساءلة
تظهر الأبحاث أن الكود الذي تم إنشاؤه من الذكاء الاصطناعى هو أبسط وأكثر تكرارًا ، ولكنه أيضًا أكثر عرضة للخطر ، مع وجود مخاطر مثل بيانات الاعتماد المتشددين ومآثر اجتياز المسار. بدون أدوات قابلية الملاحظة مثل السجلات المطالبة ، وتتبع الأصل ، ومسارات التدقيق ، لا يمكن للمطورين ضمان الموثوقية أو المساءلة. بمعنى آخر ، من المرجح أن تقدم التعليمات البرمجية التي يتم إنشاؤها من الذكاء الاصطناعي نقاط الضعف الأمنية عالية الخطورة.
تزيد العتامة من الذكاء الاصطناعي المشكلة: قد يبدو أن الوظيفة “تعمل” مع إخفاء نقاط الضعف التي يصعب تتبعها أو شرحها. دون توضيح وضمان ، يصبح الحكم الذاتي بسرعة وصفة للأنظمة غير الآمنة. يمكن أن تساعد أدوات مثل Miter Atlas من خلال تعيين تكتيكات الخصومة ضد نماذج الذكاء الاصطناعى ، مما يوفر للمدافعين طريقة منظمة لتوقع التهديدات ومكافحة التهديدات.
نتطلع إلى الأمام
يتطلب تأمين الكود في عصر الذكاء الاصطناعي أكثر من تصحيح – وهذا يعني كسر الصوامع ، وفجوات المهارة الختامية ، وتضمين المرونة في كل مرحلة من مراحل التطوير. قد تشعر المخاطر بالمعرفة ، لكن منظمة العفو الدولية تعمل بشكل كبير. توفر الأطر مثل إطار مخاطر AI Databricks (DASF) وإطار إدارة المخاطر NIST هياكل للحوكمة والشفافية ، في حين أن Miter Atlas يخطط للتكتيكات العدائية ودراسات حالة الهجوم في العالم الحقيقي ، مما يمنح المدافعين طريقة منظمة لتوقع التهديدات للتهديدات.
ستحدد الخيارات التي نتخذها الآن ما إذا كان الذكاء الاصطناعي شريكًا موثوقًا به – أو اختصار يتركنا مكشوفًا.