تتزايد الرقابة على أبحاث السياسة العامة بعد اكتشاف أخطاء في تقرير ديلويت في مراجعة بارزة للرعاية الصحية الكندية.
وفقًا لتحقيق أجرته ذا إندبندنت، فإن تحليل الرعاية الصحية الذي كلفت به الحكومة الكندية شركة ديلويت، والذي تكلف ما يقرب من 1.6 مليون دولار، يحتوي على عدم دقة واضحة تم إنشاؤها بواسطة الذكاء الاصطناعي. تمثل الوثيقة المكونة من 526 صفحة، التي أصدرتها حكومة نيوفاوندلاند ولابرادور في مايو، أحد أغلى عقود الاستشارات الأخيرة في قطاع الصحة بالمقاطعة.
تم إعداد التقرير لوزارة الصحة والخدمات المجتمعية التي كانت تقودها آنذاك الليبرالية. وقد درس الرعاية الافتراضية، وحوافز الاحتفاظ، وتأثير جائحة كوفيد-19 على العاملين في مجال الرعاية الصحية، في وقت تواجه فيه نيوفاوندلاند ولابرادور نقصًا خطيرًا في الممرضات والأطباء. ومع ذلك، فقد أثارت المراجعة الإعلامية اللاحقة أسئلة حول موثوقية الأدلة التي تدعم تلك التوصيات.
وجدت ذا إندبندنت، وهي منفذ تقدمي يركز على أقصى مقاطعة شرق كندا، العديد من الأخطاء والشذوذ المحتملة. علاوة على ذلك، يشير تحقيقها إلى أن بعض الاستشهادات البحثية الأساسية ربما تم إنتاجها أو تشويهها بمساعدة أدوات الذكاء الاصطناعي، على الرغم من أن السرد الرئيسي لم يكتبه الآلة.
وفقًا لذا إندبندنت، تضمن تقرير ديلويت استشهادات أكاديمية مزيفة أشارت إلى أوراق علمية مختلقة. تم استخدام تلك المصادر الخيالية لدعم تحليلات فعالية التكلفة، وهو عنصر حاسم في تشكيل قرارات الإنفاق على الرعاية الصحية. كما نسب التقرير باحثين حقيقيين إلى دراسات لم يعملوا عليها مطلقًا، مما خلق مظهرًا من الأدلة القوية حيث لم تكن موجودة.
ذهبت بعض الاستشهادات إلى أبعد من ذلك، حيث وصفت أوراقًا يُزعم أنها من تأليف مشترك لباحثين قالوا إنهم لم يتعاونوا أبدًا. ومع ذلك، لم تدعِ المراجعة أن كل مرجع كان معيبًا. بدلاً من ذلك، يتركز القلق على نمط من مشاكل الاستشهاد التي يمكن أن تقوض الثقة في استنتاجات التقرير حول التوظيف والرعاية الافتراضية وإصلاح النظام.
كما استشهد التقرير بمقال يُفترض أنه نُشر في المجلة الكندية للعلاج التنفسي. ومع ذلك، لم يتمكن المحققون من تحديد موقع الورقة في قاعدة بيانات المجلة، مما عمق المخاوف من أن الأدوات التوليدية ربما اخترعت مصادر تبدو معقولة ولكنها غير موجودة.
في بيان لـ فورتشن، دافع متحدث باسم ديلويت كندا عن جوهر العمل. وقال المتحدث: "تقف ديلويت كندا بقوة وراء التوصيات المقدمة في تقريرنا". "نحن نقوم بمراجعة التقرير لإجراء عدد صغير من تصحيحات الاستشهاد، والتي لا تؤثر على نتائج التقرير."
وأضاف المتحدث أن الذكاء الاصطناعي لم ينتج التقرير المكتوب نفسه. بدلاً من ذلك، قالوا، تم استخدام الذكاء الاصطناعي "بشكل انتقائي لدعم عدد صغير من الاستشهادات البحثية". ومع ذلك، بالنظر إلى حجم دراسة الرعاية الصحية والمخاطر المالية، يجادل النقاد بأن حتى الاعتماد المحدود على المراجع التي تنتجها الآلة يتطلب تحققًا وشفافية أكثر صرامة.
علاوة على ذلك، فإن موقف الشركة بأن إصلاحات الاستشهاد لا تؤثر على استنتاجات التقرير قد أثار التدقيق. يتساءل بعض الأكاديميين وصانعي السياسات عن كيفية تصحيح الأبحاث المزيفة أو المنسوبة بشكل خاطئ دون إعادة تقييم أي نماذج فعالية التكلفة أو توقعات القوى العاملة اللاحقة.
كانت غيل تومبلين ميرفي، وهي أستاذة مساعدة في كلية التمريض بـ جامعة دالهاوزي في نوفا سكوشا، من بين أولئك الذين تم الاستشهاد بهم بشكل غير صحيح. وقالت لذا إندبندنت إن ديلويت أشارت إليها في ورقة أكاديمية "غير موجودة". وأشارت إلى أنها عملت فقط مع ثلاثة من المؤلفين الستة الآخرين المنسوبين في الاستشهاد الكاذب، وليس المجموعة الكاملة الموصوفة.
وقالت تومبلين ميرفي: "يبدو أنه إذا كنت تأتي بأشياء مثل هذه، فقد يكونون يستخدمون الذكاء الاصطناعي بشكل مكثف لإنتاج العمل". تسلط تعليقاتها الضوء على القلق المتزايد في المجتمع الأكاديمي حول كيف يمكن للأدوات التوليدية أن تصنع ببليوغرافيات مقنعة ولكنها غير دقيقة، خاصة عندما لا يتحقق المستشارون بدقة من كل مرجع.
كما حذرت من أن التقارير التي توجه السياسة العامة يجب أن تكون مدعومة بأدلة عالية الجودة تم التحقق من صحتها. علاوة على ذلك، شددت تومبلين ميرفي على أن الحكومات والجمهور يدفعون مبالغ كبيرة مقابل هذا العمل، لذلك يجب أن يكون "دقيقًا ومستندًا إلى الأدلة ومفيدًا لدفع الأمور إلى الأمام". يؤكد نقدها على انهيار متصور في العناية الواجبة بدلاً من خطأ تقني واحد.
وفقًا لطلب الوصول إلى المعلومات المنشور في مدونة الأربعاء الماضي، دفعت الحكومة الكندية ما يقل قليلاً عن 1.6 مليون دولار مقابل دراسة ديلويت، صدرت على ثماني دفعات. اعتبارًا من يوم الاثنين، لا يزال التقرير متاحًا على موقع حكومة نيوفاوندلاند ولابرادور، على الرغم من الجدل الناشئ حول مراجعه ومنهجيته.
تغيرت القيادة السياسية في المقاطعة منذ تسليم التقرير. تم تنصيب توني ويكهام، زعيم حزب المحافظين التقدمي في نيوفاوندلاند ولابرادور، كرئيس وزراء جديد للمقاطعة في أواخر أكتوبر. ومع ذلك، لم يرد مكتب رئيس الوزراء ولا وزارة الصحة والخدمات المجتمعية على الفور على أسئلة فورتشن حول تقرير مايو، ولم يتناولوا المخاوف علنًا حتى الآن.
يترك هذا الصمت أسئلة مفتوحة حول ما إذا كانت توصيات التقرير ستستمر في توجيه سياسة الصحة. كما أنه يثير احتمال مزيد من التدقيق من قبل المشرعين المحليين أو هيئات الرقابة الفيدرالية في كيفية التحقق من أبحاث شركات الاستشارات قبل التأثير على الخدمات العامة الأساسية.
تتبع الكشوفات الكندية قضايا مماثلة في أستراليا. في يوليو، أنتجت ديلويت تقريرًا بقيمة 290,000 دولار لمساعدة الحكومة الأسترالية على تشديد الامتثال للرعاية الاجتماعية. اعتمدت الدراسة المكونة من 237 صفحة أيضًا على التكنولوجيا التوليدية وتبين لاحقًا أنها تحتوي على "هلوسات"، بما في ذلك إشارات إلى أبحاث أكاديمية غير موجودة واقتباس مزيف من حكم محكمة فيدرالية.
بعد أن أشار باحث إلى المشكلات، أصدرت ديلويت نسخة منقحة من الدراسة الأسترالية. اعترف التقرير المحدث، الذي تم تحميله بهدوء الشهر الماضي على موقع الحكومة، بأن الشركة استخدمت نظام اللغة التوليدية Azure OpenAI للمساعدة في إنشاء المستند الأولي. جاء هذا الاعتراف فقط بعد أن كشف التدقيق الخارجي عن الاستشهادات المعيبة.
في التقرير الأسترالي المحدث، كتبت ديلويت أن "التحديثات التي تم إجراؤها لا تؤثر بأي شكل من الأشكال على المحتوى الجوهري والنتائج والتوصيات في التقرير". ومع ذلك، جادل النقاد بأن المصادر المزيفة تلقي بطبيعتها بظلال من الشك على نزاهة أي توصيات قائمة على الأدلة، وليس مجرد تفاصيل تجميلية. علاوة على ذلك، كثفت هذه الحلقة الثانية النقاش حول هلوسات الذكاء الاصطناعي في ديلويت ومتانة التحقق من الحقائق الداخلي للشركة.
كجزء من القضية الأسترالية، كان مطلوبًا من شركة ديلويت المحلية تقديم استرداد جزئي للحكومة الفيدرالية مقابل تقرير الرعاية الاجتماعية المعيب. أشارت تلك العقوبة المالية إلى أن المسؤولين اعتبروا عدم الدقة المتعلقة بالذكاء الاصطناعي خطيرة بما يكفي لتبرير التعويض.
في المقابل، لم يتم نشر أي معلومات حتى الآن عن أي استرداد محتمل أو علاج تعاقدي متعلق بتقرير الرعاية الصحية الكندي. ومع ذلك، قد يتزايد الضغط مع تساؤل صانعي السياسات والعاملين في مجال الرعاية الصحية ودافعي الضرائب عما إذا كانوا قد حصلوا على القيمة الكاملة مقابل دراسة تحتاج الآن إلى تصحيحات ما بعد النشر لقاعدة أدلتها.
على نطاق أوسع، تسلط كلتا الحلقتين الضوء على المخاطر المتزايدة عندما تعتمد الحكومات على شركات استشارية كبيرة تستخدم التكنولوجيا التوليدية دون ضمانات صارمة. كما أنها تشير إلى أن المؤسسات العامة ستحتاج إلى معايير أقوى للتحقق من المصادر، خاصة في تقارير السياسة الطويلة والمعقدة التي يمكن أن تشكل الخدمات الحيوية لسنوات.
باختصار، يؤكد التدقيق المتكشف لمراجعة ديلويت للرعاية الصحية الكندية ودراسة الرعاية الاجتماعية الأسترالية على الحاجة الملحة لأدلة موثوقة ومنهجية شفافة ورقابة قوية كلما أثر البحث المدعوم بالذكاء الاصطناعي على قرارات السياسة العامة.


