カナダのヘルスケア調査が深まる、デロイトの報告書の誤りが政策業務におけるAIへの新たな懸念を引き起こす

カナダの医療制度レビューで発見されたデロイトレポートのエラーを受け、公共政策研究への監視が強まっています。

ニューファンドランド・ラブラドール州の医療レビューでAI関連の問題はどのように表面化したのか？

カナダ政府が委託したデロイトによる医療分析（費用は約160万ドル）には、ザ・インディペンデントの調査によると、AIが生成したと思われる不正確な情報が含まれていることが判明しました。5月にニューファンドランド・ラブラドール州政府が発表した526ページの文書は、同州の医療部門における最近の高額なコンサルティング契約の一つです。

このレポートは、当時自由党が率いていた保健・コミュニティサービス省のために作成されました。ニューファンドランド・ラブラドール州が深刻な看護師と医師不足に直面している時期に、バーチャルケア、人材確保のインセンティブ、COVID-19パンデミックの医療従事者への影響を調査しました。しかし、その後のメディアレビューにより、これらの提言を支える証拠の信頼性について疑問が提起されました。

カナダ最東端の州に焦点を当てる進歩的なメディアであるザ・インディペンデントは、複数の潜在的な不正確さと異常を発見しました。さらに、その調査によれば、主要な記述は機械によって書かれたものではないものの、基礎となる研究引用の一部は人工知能ツールの支援によって作成または歪曲された可能性があることが示唆されています。

調査官はカナダの医療レポートにどのような種類のエラーを発見したのか？

ザ・インディペンデントによると、デロイトのレポートには架空の学術論文を参照した虚偽の学術引用が含まれていました。これらの架空の情報源は、医療支出の決定を形作る重要な要素である費用対効果分析を裏付けるために使用されていました。また、レポートは実在する研究者を彼らが関わったことのない研究に誤って帰属させ、実際には存在しない堅固な証拠があるかのような印象を作り出していました。

一部の引用はさらに踏み込んで、共同研究したことがないと主張する研究者たちが共著したとされる論文について記述していました。とはいえ、レビューはすべての参考文献に欠陥があると主張したわけではありません。むしろ、懸念は人員配置、バーチャルケア、システム改革に関するレポートの結論への信頼を損なう可能性がある引用の問題のパターンに集中しています。

レポートはまた、カナダ呼吸療法ジャーナルに掲載されたとされる記事を引用していました。しかし、調査官はジャーナルのデータベースでその論文を見つけることができず、生成ツールが尤もらしく聞こえるが実在しない情報源を発明した可能性があるという懸念が深まりました。

AIによって生成された引用の疑惑に対してデロイトはどのように対応したのか？

フォーチュン誌への声明で、デロイト・カナダの広報担当者は業務の実質を擁護しました。「デロイト・カナダは、当社のレポートで提示された提言を強く支持しています」と広報担当者は述べました。「レポートの調査結果に影響を与えない少数の引用修正を行うためにレポートを改訂しています。」

広報担当者はさらに、人工知能が書面によるレポート自体を作成したわけではないと付け加えました。代わりに、AIは「少数の研究引用をサポートするために選択的に使用された」と述べました。しかし、医療研究の規模と財政的な重要性を考えると、批評家たちは機械生成の参考文献への限定的な依存でさえ、より厳格な検証と透明性が必要だと主張しています。

さらに、引用の修正がレポートの結論に影響を与えないという同社の立場は精査を招いています。一部の学者や政策立案者は、捏造されたり誤って帰属されたりした研究が、下流のコスト効果モデルや労働力予測を再評価せずにどのように修正できるのかと疑問を呈しています。

影響を受けた研究者たちはコンサルティング会社の事実確認プロセスについて何と言っているのか？

ノバスコシア州のダルハウジー大学看護学部の客員教授であるゲイル・トンブリン・マーフィーは、誤って引用された人物の一人でした。彼女はザ・インディペンデントに対し、デロイトが「存在しない」学術論文で彼女を参照したと語りました。彼女は、虚偽の引用で帰属された他の6人の著者のうち、記述されたグループ全体ではなく、3人とだけ仕事をしたことがあると指摘しました。

「このようなことを思いつくなら、彼らは仕事を生成するためにAIをかなり多用しているのかもしれません」とトンブリン・マーフィーは述べました。彼女のコメントは、特にコンサルタントが各参考文献を厳密に検証しない場合、生成ツールが説得力があるが不正確な文献目録を作成する方法について、学術界で高まる不安を浮き彫りにしています。

彼女はさらに、公共政策を導く報告書は検証された高品質の証拠によって裏付けられなければならないと警告しました。さらに、トンブリン・マーフィーは、政府と国民がそのような仕事に多額の費用を支払っているため、それは「正確で証拠に基づき、物事を前進させるのに役立つもの」でなければならないと強調しました。彼女の批判は、単なる技術的なエラーではなく、デューデリジェンスの崩壊と認識されていることを強調しています。

政府が委託したレポートの費用はいくらで、政治的な影響は何か？

先週水曜日にブログ記事で公開された情報アクセス要求によると、カナダ政府はデロイトの調査に8回の分割払いで160万ドル弱を支払いました。月曜日の時点で、その参考文献と方法論に関する論争が浮上しているにもかかわらず、レポートはニューファンドランド・ラブラドール州政府のウェブサイトで引き続き閲覧可能でした。

レポートが提出されて以来、州の政治的リーダーシップは変わりました。ニューファンドランド・ラブラドール州の進歩保守党党首であるトニー・ウェイクハムは、10月下旬に州の新首相に就任しました。しかし、首相官邸も保健・コミュニティサービス省も、5月のレポートに関するフォーチュン誌の質問に即座に回答せず、これまでのところ懸念に公に対処していません。

この沈黙は、レポートの提言が引き続き医療政策を導くかどうかについて疑問を残しています。また、コンサルティング会社の研究が中核的な公共サービスに影響を与える前にどのように審査されるかについて、州の立法者や連邦監視機関によるさらなる精査の可能性も高まっています。

これらのデロイトレポートのエラーはオーストラリアの福祉事例とどのように比較されるのか？

カナダでの発覚は、オーストラリアでの同様の問題に続くものです。7月、デロイトはオーストラリア政府が福祉コンプライアンスを強化するのを支援するために29万ドルのレポートを作成しました。237ページの研究もまた生成技術に依存しており、後に「ハルシネーション（幻覚）」を含んでいることが判明しました。これには存在しない学術研究への言及や、連邦裁判所の判決からの捏造された引用が含まれていました。

研究者が問題を指摘した後、デロイトはオーストラリアの研究の改訂版を発行しました。先月政府のウェブサイトに静かにアップロードされた更新されたレポートでは、同社が最初の文書作成を支援するために生成言語システムAzure OpenAIを使用したことを認めました。この告白は、外部の精査が欠陥のある引用を暴露した後にのみ行われました。

更新されたオーストラリアのレポートで、デロイトは「行われた更新は、レポートの実質的な内容、調査結果、提言に何ら影響を与えるものではない」と書きました。しかし、批評家たちは、捏造された情報源は本質的に、単なる表面的な詳細だけでなく、証拠に基づくあらゆる提言の完全性に疑問を投げかけると主張しました。さらに、この2番目のエピソードは、デロイトのAIハルシネーションと同社の内部事実確認の堅牢性に関する議論を激化させました。

デロイトはどのような財政的結果に直面し、カナダにとって未解決の問題は何か？

オーストラリアの事例の一環として、デロイトの現地メンバー企業は欠陥のある福祉レポートに対して連邦政府に部分的な返金を提供するよう求められました。この財政的罰則は、当局がAI関連の不正確さを補償が必要なほど深刻なものと考えていたことを示しています。

対照的に、カナダの医療レポートに関連する潜在的な返金や契約上の救済策についての情報はまだ公開されていません。とはいえ、政策立案者、医療従事者、納税者が、現在証拠基盤に出版後の修正が必要な研究に対して十分な価値を得たかどうかを問うにつれ、圧力が高まる可能性があります。

より広い意味では、両方のエピソードは、政府が厳格な安全対策なしに生成技術を使用する大規模なコンサルタント会社に依存する際の高まるリスクを浮き彫りにしています。また、公共機関は、特に長期にわたって重要なサービスを形作る可能性のある長く複雑な政策レポートにおいて、情報源を検証するためのより強力な基準が必要であることも示唆しています。

要約すると、デロイトのカナダ医療レビューとオーストラリアの福祉研究に対する進行中の精査は、AI支援の研究が公共政策の決定に情報を提供する際には、信頼性のある証拠、透明な方法論、堅固な監視が緊急に必要であることを強調しています。