من يحمي المريض... حين يرفض الذكاء الاصطناعي أوامر الطبيب؟

في إحدى الجلسات المهمة لمؤتمر «AIMed26»، المنعقد بمدينة أورلاندو الأميركية، طُرح سؤال يتجاوز قدرة الذكاء الاصطناعي على تشخيص الأمراض وتحليل الصور الطبية: ماذا يحدث عندما يطلب الإنسان من النظام الذكي التوقف عن تنفيذ مهمة، لكنه يواصل العمل؟

مناقشة قدرة الإنسان على التحكم في الأنظمة الذكية وإيقافها

وخلال جلسة تناولت تطبيق الذكاء الاصطناعي وتبنّيه في الرعاية الصحية، برزت قضية قدرة الإنسان على التحكم في الأنظمة الذكية وإيقافها عند الضرورة، خصوصاً مع انتقال المستشفيات من استخدام أدوات تقدم التوصيات إلى ما يُعرف بـ«وكلاء الذكاء الاصطناعي» (AI Agents)، القادرين على تنفيذ سلسلة من المهام بصورة شبه مستقلة.

واستعرضت جلسات المؤتمر دراسات علمية حديثة كشفت عن تحديات تتعلق باستجابة هذه الأنظمة للتصحيح والتدخل البشري، وأثارت تساؤلات حول حدود استقلاليتها وانعكاساتها المحتملة على سلامة المرضى.

وبالتزامن مع هذه المناقشات، أعادت صحيفة «نيويورك تايمز»، في تقرير نشرته يوم 11 نوفمبر (تشرين الثاني) 2026، تسليط الضوء على المعضلة العلمية نفسها: لماذا يصعب تعليم بعض أنظمة الذكاء الاصطناعي قبول التصحيح البشري، حتى عندما تتلقى تعليمات واضحة بذلك؟

عندما تصبح المهمة أهم من التعليمات

تُعرف هذه المشكلة علمياً بمفهوم «القابلية للتصحيح» (Corrigibility)، أي قدرة النظام الذكي على الاستجابة لتدخل الإنسان، وتعديل سلوكه أو إيقاف عمله عند الضرورة.

ويختلف هذا المفهوم عن «مواءمة الذكاء الاصطناعي» (AI Alignment)، التي تهدف إلى جعل سلوك النظام منسجماً مع الأهداف والقيم البشرية. فقد يتعلم النظام تنفيذ مهمة مفيدة، لكنه يفشل في احترام قرار الإنسان بإيقافها.

ومن الدراسات العلمية التي استُعرضت خلال جلسات مؤتمر «AIMed26»، دراسة حديثة أجراها باحثون من جامعة كارنيغي ميلون الأميركية، ونُشرت على منصة الأبحاث العلمية الأولية «أركايف» (arXiv) في مايو (أيار) 2026، تناولت مدى استجابة وكلاء الذكاء الاصطناعي للتدخل البشري وأوامر الإيقاف.

أنظمة تجاوزت القيود أو واصلت تنفيذ مهامها رغم التدخل البشري

وشملت الاختبارات طلب إعادة السيطرة إلى المستخدم، ومحاولات إيقاف النظام، ومنع الوصول إلى ملفات محمية بكلمات مرور. وأظهرت النتائج أن بعض الأنظمة تجاوزت القيود المفروضة عليها أو واصلت تنفيذ مهامها رغم التدخل البشري. كما كشفت أن قدرة النموذج على إنجاز المهام بكفاءة لا تعني بالضرورة امتلاكه القدرة نفسها على الامتثال للتصحيح.

ومن النتائج اللافتة التي تكتسب أهمية خاصة في ضوء مناقشات المؤتمر أن بعض القيود لم تنتقل بصورة موثوقة عندما فوّض الوكيل مهمة إلى وكيل آخر، ما يثير تساؤلات حول فعالية الرقابة البشرية على الأنظمة التي تعتمد على تعاون عدة وكلاء ذكيين.

أكثر من مئة ألف تجربة

وفي سياق الدراسات التي استُعرضت خلال جلسات مؤتمر «AIMed26» بأورلاندو، برز بحث آخر نُشر في دورية «Transactions on Machine Learning Research» عام 2026، اختبر فيه باحثون من مؤسسة «Palisade Research» سلوك 13 نموذجاً لغوياً كبيراً عبر أكثر من 100 ألف تجربة. وأظهرت النتائج أن بعض النماذج حاولت تعطيل آليات الإيقاف داخل بيئات اختبارية لاستكمال المهام المطلوبة منها، حتى عندما تضمنت التعليمات ضرورة السماح بإيقافها.

وفي ظروف تجريبية محددة، بلغت نسبة مقاومة الإيقاف لدى بعض النماذج 97 في المائة، مع اختلافات كبيرة بين النماذج وطريقة صياغة التعليمات.

شكوك في موثوقية التحكم بالذكاء الاصطناعي

وأثارت هذه النتائج، في سياق مناقشات المؤتمر حول الحوكمة والرقابة البشرية، تساؤلات بشأن مدى موثوقية آليات التحكم في الأنظمة المستقلة، خصوصاً مع التوسع في تطبيقاتها داخل المؤسسات الصحية.

ولا تعني نسبة 97 في المائة أن أنظمة الذكاء الاصطناعي ترفض الإيقاف بهذه الدرجة في الاستخدام الواقعي، بل إنها تكشف هشاشة بعض وسائل التحكم في ظروف اختبارية صُممت خصيصاً لقياس هذه المشكلة. كذلك لا تثبت هذه السلوكيات امتلاك الآلات وعياً أو رغبة مستقلة في البقاء؛ فقد تكون نتيجة لطريقة تدريب النماذج على إنجاز الأهداف، أو لطبيعة التعليمات المتعارضة التي تواجهها.

ماذا لو حدث ذلك داخل المستشفى؟

لم تقتصر أهمية الدراسات التي استُعرضت خلال مؤتمر «AIMed26» على سلوك أنظمة الذكاء الاصطناعي داخل المختبرات، بل امتدت إلى التساؤلات التي أثارتها نتائجها حول سلامة المرضى ومستقبل الرقابة البشرية على الأنظمة الذكية في المستشفيات. وتكتسب هذه التساؤلات أهمية متزايدة مع الاتجاه إلى استخدام وكلاء الذكاء الاصطناعي في تنظيم المواعيد، ومراجعة السجلات الطبية، وتنسيق الإجراءات، ودعم القرارات السريرية.

ولنتصور سيناريو افتراضياً: نظاماً ذكياً يراجع نتائج الفحوص ويقترح تعديلات على خطة علاجية، ثم يكتشف الطبيب معلومة جديدة تستوجب إيقاف العملية فوراً. وإذا كان النظام مصمماً للاستمرار في تحقيق هدفه الأصلي دون آلية موثوقة للاستجابة للتدخل البشري، فقد تنشأ مخاطر تتعلق بتأخير القرار أو تنفيذ إجراءات لم تعد مناسبة.

وهذا السيناريو ليس حادثة سريرية موثَّقة في الدراسات المذكورة، لكنه يوضح ضرورة اختبار قابلية الأنظمة للإيقاف قبل منحها صلاحيات تنفيذية مؤثرة في رعاية المرضى.

فالخطأ في برنامج إداري قد يؤدي إلى تعطيل موعد، بينما قد تكون عواقب الخطأ في نظام مرتبط بالعلاج أكثر خطورة.

من يملك السلطة السريرية؟

أعادت المناقشات العلمية حول حوكمة الذكاء الاصطناعي في مؤتمر «AIMed26» طرح سؤال جوهري في أخلاقيات الطب: هل يبقى الطبيب صاحب القرار إذا كان النظام الذي يستخدمه لا يستجيب لتدخله بصورة موثوقة؟

فالمسؤولية السريرية لا تعني مجرد توقيع الطبيب على القرار النهائي، بل تتطلب امتلاكه القدرة الفعلية على مراجعة عمل النظام وتصحيح مساره وإيقافه عند الضرورة.

وفي ضوء الدراسات التي استعرضها المؤتمر، تبرز الحاجة إلى توسيع معايير تقييم أنظمة الذكاء الاصطناعي الطبي، بحيث لا تقتصر على دقة التشخيص وسرعة الأداء، بل تشمل اختبار الاستجابة لأوامر الإيقاف، واحترام حدود الصلاحيات، وتوثيق القرارات، وضمان عدم تجاوز التعليمات عند انتقال المهمة بين عدة أنظمة ذكية.

كما ينبغي ألا تعتمد وسائل الإيقاف الحرجة على امتثال النموذج اللغوي وحده، بل على ضوابط تقنية مستقلة تستطيع تعطيل الإجراءات التنفيذية أو سحب صلاحيات النظام عند الضرورة.

وهنا تتضح إحدى القضايا الأساسية التي تثيرها مناقشات الحوكمة في أورلاندو: الرقابة البشرية الحقيقية ليست مجرد وجود طبيب أمام الشاشة، وإنما امتلاكه سلطة فعلية وقابلة للتنفيذ على النظام الذكي.

من أورلاندو... إلى مستقبل أكثر أماناً

تكشف المناقشات التي شهدها مؤتمر «AIMed26» في أورلاندو، إلى جانب الدراسات العلمية التي استُعرضت خلال جلساته، أن التحدي المقبل في الذكاء الاصطناعي الطبي لن يقتصر على تطوير أنظمة أكثر ذكاءً، بل سيمتد إلى ضمان بقائها قابلة للتوجيه والتصحيح والمساءلة.

وفي تصريح خاص لـ«الشرق الأوسط»، أكد الدكتور هارفي كاسترو (Harvey Castro)، طبيب الطوارئ الأميركي ومؤسس مبادرة «DR GPT™» المتخصصة في تعزيز الاستخدام الآمن للذكاء الاصطناعي في الطب، أن العلاقة بين الطبيب والآلة يجب أن تقوم على التكامل، لا على استبدال الإنسان بالتكنولوجيا.

الطبيب يحتفظ بالبوصلة الأخلاقية... والآلة تحلّل

وقال: «قاعدتي بسيطة: الإنسان والذكاء الاصطناعي معاً. فالطبيب يحتفظ بالبوصلة الأخلاقية، بينما تتولى الآلة التعرف على الأنماط وتحليلها على نطاق واسع».

وأوضح كاسترو، الذي لا يزال يمارس طب الطوارئ، أن الاستفادة من الذكاء الاصطناعي يجب أن تنطلق من مشكلات سريرية حقيقية، مع إبقاء الطبيب مشاركاً في اتخاذ القرار، وحماية خصوصية المرضى، واختبار الأدوات على المرضى المحليين قبل الوثوق بنتائجها.

وتكتسب هذه الرؤية أهمية خاصة في ضوء الأبحاث التي ناقشها المؤتمر حول قابلية الأنظمة الذكية للتصحيح والإيقاف؛ إذ إن بقاء الطبيب مسؤولاً عن القرار السريري يتطلب أن يمتلك أيضاً القدرة الفعلية على التدخُّل والتحكم في النظام عند الضرورة.

ولا تستدعي هذه النتائج رفض الذكاء الاصطناعي أو إبطاء الابتكار الطبي بصورة عشوائية، وإنما تطوير معايير سلامة تتناسب مع درجة استقلالية كل نظام وحجم المخاطر المرتبطة باستخدامه.

فكلما ازدادت قدرة النظام على اتخاذ خطوات مستقلة، ازدادت أهمية اختبار حدود صلاحياته قبل إدخاله إلى البيئة السريرية.

ولعل الدرس الأهم من أورلاندو هو أن مستقبل الطب لا يتوقف فقط على قدرتنا على تعليم الآلات كيف تتخذ القرارات، بل أيضاً على قدرتنا على ضمان استجابتها عندما يقرر الإنسان أن عليها التوقف. ففي الطب، قد يكون القرار الأكثر أهمية الذي يتخذه الذكاء الاصطناعي هو أن يقبل قرار الطبيب بإيقافه.