Расследование канадской системы здравоохранения углубляется, поскольку ошибки в отчете Deloitte вызывают новые опасения по поводу использования ИИ в политической работе

Усиливается контроль за исследованиями в области государственной политики после обнаружения ошибок в отчете deloitte в рамках громкого обзора канадской системы здравоохранения.

Как проявились проблемы, связанные с ИИ, в обзоре здравоохранения Ньюфаундленда и Лабрадора?

Анализ здравоохранения, заказанный правительством Канады компании Deloitte, стоимостью почти 1,6 миллиона $, содержит очевидные неточности, сгенерированные ИИ, согласно расследованию The Independent. 526-страничный документ, опубликованный правительством Ньюфаундленда и Лабрадора в мае, представляет собой один из самых дорогих недавних консалтинговых контрактов в секторе здравоохранения провинции.

Отчет был подготовлен для возглавляемого в то время либералами Департамента здравоохранения и общественных услуг. В нем рассматривались виртуальная помощь, стимулы для удержания персонала и влияние пандемии COVID-19 на работников здравоохранения в то время, когда Ньюфаундленд и Лабрадор сталкиваются с серьезной нехваткой медсестер и врачей. Однако последующий обзор СМИ поставил под сомнение надежность доказательств, лежащих в основе этих рекомендаций.

The Independent, прогрессивное издание, сосредоточенное на самой восточной провинции Канады, обнаружило множество потенциальных неточностей и аномалий. Более того, его расследование предполагает, что некоторые из основных исследовательских цитат могли быть созданы или искажены с помощью инструментов искусственного интеллекта, хотя основной текст не был написан машиной.

Какие виды ошибок в отчете о здравоохранении Канады обнаружили исследователи?

Согласно The Independent, отчет Deloitte включал ложные академические цитаты, которые ссылались на выдуманные научные работы. Эти вымышленные источники использовались для поддержки анализа экономической эффективности, критического компонента в формировании решений о расходах на здравоохранение. В отчете также неверно приписывались реальные исследователи к исследованиям, над которыми они никогда не работали, создавая видимость надежных доказательств там, где их не существовало.

Некоторые цитаты заходили еще дальше, описывая статьи, якобы написанные в соавторстве с исследователями, которые заявили, что никогда не сотрудничали. При этом обзор не утверждал, что каждая ссылка была ошибочной. Вместо этого, беспокойство сосредоточено на модели проблем с цитированием, которые могут подорвать доверие к выводам отчета о кадровом обеспечении, виртуальной помощи и реформе системы.

В отчете также цитировалась статья, якобы опубликованная в Canadian Journal of Respiratory Therapy. Однако исследователи не смогли найти эту статью в базе данных журнала, что усилило опасения, что генеративные инструменты могли изобрести правдоподобно звучащие, но несуществующие источники.

Как Deloitte отреагировал на обвинения в цитатах, сгенерированных ИИ?

В заявлении для Fortune представитель Deloitte Canada защищал суть работы. "Deloitte Canada твердо поддерживает рекомендации, представленные в нашем отчете", - сказал представитель. "Мы пересматриваем отчет, чтобы внести небольшое количество исправлений в цитаты, которые не влияют на выводы отчета".

Представитель добавил, что искусственный интеллект не создавал сам письменный отчет. Вместо этого, по их словам, ИИ "выборочно использовался для поддержки небольшого числа исследовательских цитат". Однако, учитывая масштаб исследования здравоохранения и финансовые ставки, критики утверждают, что даже ограниченное использование сгенерированных машиной ссылок требует гораздо более строгой проверки и прозрачности.

Более того, позиция фирмы о том, что исправления цитат не влияют на выводы отчета, вызвала пристальное внимание. Некоторые ученые и политики задаются вопросом, как сфабрикованные или неправильно приписанные исследования могут быть исправлены без переоценки любых последующих моделей экономической эффективности или прогнозов рабочей силы.

Что говорят затронутые исследователи о процессе проверки фактов консалтинговой фирмой?

Гейл Томблин Мерфи, адъюнкт-профессор Школы медсестринского дела в Университете Далхаузи в Новой Шотландии, была среди тех, кого неправильно цитировали. Она рассказала The Independent, что Deloitte ссылался на нее в академической статье, которая "не существует". Она отметила, что работала только с тремя из шести других авторов, указанных в ложной цитате, а не со всей описанной группой.

"Похоже, что если вы придумываете такие вещи, они, возможно, довольно активно используют ИИ для генерации работы", - сказала Томблин Мерфи. Ее комментарии подчеркивают растущее беспокойство в академическом сообществе о том, как генеративные инструменты могут создавать убедительные, но неточные библиографии, особенно когда консультанты не проверяют тщательно каждую ссылку.

Она также предупредила, что отчеты, направляющие государственную политику, должны поддерживаться проверенными, высококачественными доказательствами. Более того, Томблин Мерфи подчеркнула, что правительства и общественность платят значительные суммы за такую работу, поэтому она должна быть "точной, основанной на доказательствах и полезной для продвижения вперед". Ее критика подчеркивает воспринимаемый сбой в дью-дилидженс, а не единичную техническую ошибку.

Сколько стоил заказанный правительством отчет, и каковы политические последствия?

Согласно запросу на доступ к информации, опубликованному в блоге в прошлую среду, правительство Канады заплатило чуть менее 1,6 миллиона $ за исследование Deloitte, выпущенное восемью частями. По состоянию на понедельник отчет все еще оставался доступным на веб-сайте правительства Ньюфаундленда и Лабрадора, несмотря на возникающие споры о его ссылках и методологии.

Политическое руководство в провинции изменилось с момента доставки отчета. Тони Уэйкхэм, лидер Прогрессивно-консервативной партии Ньюфаундленда и Лабрадора, был приведен к присяге в качестве нового премьера провинции в конце октября. Однако ни офис премьера, ни Департамент здравоохранения и общественных услуг не ответили немедленно на вопросы Fortune о майском отчете, и они не обратились публично к проблемам до настоящего времени.

Это молчание оставляет открытыми вопросы о том, будут ли рекомендации отчета продолжать направлять политику здравоохранения. Это также поднимает перспективу дальнейшего контроля со стороны провинциальных законодателей или федеральных надзорных органов за тем, как исследования консалтинговых фирм проверяются перед влиянием на основные государственные услуги.

Как эти ошибки в отчете deloitte сравниваются с австралийским случаем социального обеспечения?

Канадские разоблачения следуют за аналогичными проблемами в Австралии. В июле Deloitte подготовил отчет стоимостью 290 000 $ для помощи австралийскому правительству в ужесточении соблюдения требований социального обеспечения. 237-страничное исследование также опиралось на генеративные технологии и позже было обнаружено, что оно содержит "галлюцинации", включая ссылки на несуществующие академические исследования и сфабрикованную цитату из решения федерального суда.

После того, как исследователь отметил проблемы, Deloitte выпустил пересмотренную версию австралийского исследования. Обновленный отчет, тихо загруженный в прошлом месяце на веб-сайт правительства, признал, что фирма использовала генеративную языковую систему Azure OpenAI для помощи в создании первоначального документа. Это признание пришло только после того, как внешний контроль выявил ошибочные цитаты.

В обновленном австралийском отчете Deloitte написал, что "обновления никоим образом не влияют на существенное содержание, выводы и рекомендации в отчете". Однако критики утверждали, что сфабрикованные источники по своей сути ставят под сомнение целостность любых рекомендаций, основанных на доказательствах, а не только косметические детали. Более того, этот второй эпизод усилил дебаты о галлюцинациях ИИ deloitte и надежности внутренней проверки фактов фирмы.

Какие финансовые последствия понес Deloitte, и что остается нерешенным для Канады?

В рамках австралийского дела местная фирма-член Deloitte была обязана предоставить федеральному правительству частичное возмещение за ошибочный отчет о социальном обеспечении. Этот финансовый штраф сигнализировал о том, что чиновники считали неточности, связанные с ИИ, достаточно серьезными, чтобы требовать компенсации.

В отличие от этого, никакой информации еще не было обнародовано о любом потенциальном возмещении или договорном средстве правовой защиты, связанном с канадским отчетом о здравоохранении. При этом давление может расти, поскольку политики, работники здравоохранения и налогоплательщики спрашивают, получили ли они полную ценность за исследование, которое теперь нуждается в исправлениях после публикации его доказательной базы.

В более широком смысле, оба эпизода подчеркивают растущие риски, когда правительства полагаются на крупные консалтинговые компании, использующие генеративные технологии без строгих мер безопасности. Они также предполагают, что государственным учреждениям потребуются более строгие стандарты для проверки источников, особенно в длинных, сложных отчетах о политике, которые могут формировать критические услуги на протяжении многих лет.

В итоге, разворачивающийся контроль за обзором канадского здравоохранения Deloitte и исследованием социального обеспечения Австралии подчеркивает острую необходимость в надежных доказательствах, прозрачной методологии и надежном надзоре всякий раз, когда исследования с помощью ИИ информируют решения государственной политики.