Cuộc điều tra về y tế Canada sâu rộng hơn khi lỗi báo cáo của Deloitte làm dấy lên lo ngại mới về AI trong công tác chính sách

Sự giám sát ngày càng tăng đối với nghiên cứu chính sách công đang trở nên gay gắt hơn sau khi các lỗi trong báo cáo của Deloitte được phát hiện trong một đánh giá y tế nổi tiếng của Canada.

Làm thế nào các vấn đề liên quan đến AI xuất hiện trong đánh giá y tế của Newfoundland và Labrador?

Một phân tích y tế được chính phủ Canada ủy quyền bởi Deloitte, với chi phí gần $1,6 triệu, chứa những sai sót rõ ràng do AI tạo ra, theo một cuộc điều tra của The Independent. Tài liệu 526 trang, được chính phủ Newfoundland và Labrador công bố vào tháng Năm, đại diện cho một trong những hợp đồng tư vấn đắt đỏ nhất gần đây trong lĩnh vực y tế của tỉnh.

Báo cáo được chuẩn bị cho Bộ Y tế và Dịch vụ Cộng đồng do đảng Tự do lãnh đạo lúc bấy giờ. Nó xem xét chăm sóc ảo, các ưu đãi giữ chân nhân viên, và tác động của đại dịch COVID-19 đối với nhân viên y tế, vào thời điểm Newfoundland và Labrador đối mặt với tình trạng thiếu y tá và bác sĩ nghiêm trọng. Tuy nhiên, đánh giá truyền thông sau đó đã đặt ra câu hỏi về độ tin cậy của bằng chứng làm nền tảng cho những khuyến nghị đó.

The Independent, một tổ chức truyền thông tiến bộ tập trung vào tỉnh phía đông nhất của Canada, đã tìm thấy nhiều sai sót và bất thường tiềm ẩn. Hơn nữa, cuộc điều tra của họ cho thấy một số trích dẫn nghiên cứu cơ bản có thể đã được tạo ra hoặc bị bóp méo với sự hỗ trợ của các công cụ trí tuệ nhân tạo, mặc dù phần tường thuật chính không phải do máy viết.

Các nhà điều tra đã phát hiện những loại lỗi nào trong báo cáo y tế Canada?

Theo The Independent, báo cáo của Deloitte bao gồm các trích dẫn học thuật sai tham chiếu đến các bài báo học thuật được bịa đặt. Những nguồn hư cấu này được sử dụng để hỗ trợ phân tích hiệu quả chi phí, một thành phần quan trọng trong việc định hình các quyết định chi tiêu y tế. Báo cáo cũng gán sai các nhà nghiên cứu thực tế vào các nghiên cứu mà họ chưa từng làm việc, tạo ra vẻ ngoài của bằng chứng mạnh mẽ trong khi không tồn tại.

Một số trích dẫn còn đi xa hơn, mô tả các bài báo được cho là đồng tác giả bởi các nhà nghiên cứu đã nói rằng họ chưa bao giờ cộng tác. Tuy nhiên, bài đánh giá không tuyên bố rằng mọi tham chiếu đều có sai sót. Thay vào đó, mối quan tâm tập trung vào một mô hình của các vấn đề trích dẫn có thể làm suy yếu niềm tin vào kết luận của báo cáo về nhân sự, chăm sóc ảo và cải cách hệ thống.

Báo cáo cũng trích dẫn một bài báo được cho là đã xuất bản trong Canadian Journal of Respiratory Therapy. Tuy nhiên, các nhà điều tra không thể tìm thấy bài báo trong cơ sở dữ liệu của tạp chí, làm sâu sắc thêm nỗi lo rằng các công cụ tạo sinh có thể đã tạo ra các nguồn nghe có vẻ hợp lý nhưng không tồn tại.

Deloitte đã phản ứng như thế nào trước cáo buộc về các trích dẫn do AI tạo ra?

Trong một tuyên bố với Fortune, một người phát ngôn của Deloitte Canada đã bảo vệ nội dung của công việc. "Deloitte Canada kiên quyết ủng hộ các khuyến nghị đưa ra trong báo cáo của chúng tôi," người phát ngôn nói. "Chúng tôi đang sửa đổi báo cáo để thực hiện một số nhỏ các sửa chữa trích dẫn, điều này không ảnh hưởng đến kết quả báo cáo."

Người phát ngôn nói thêm rằng trí tuệ nhân tạo không tạo ra bản báo cáo viết. Thay vào đó, họ nói, AI được "sử dụng có chọn lọc để hỗ trợ một số nhỏ các trích dẫn nghiên cứu." Tuy nhiên, với quy mô của nghiên cứu y tế và các vấn đề tài chính, các nhà phê bình lập luận rằng ngay cả sự phụ thuộc hạn chế vào các tham chiếu do máy tạo ra cũng đòi hỏi sự xác minh và minh bạch nghiêm ngặt hơn nhiều.

Hơn nữa, lập trường của công ty rằng việc sửa chữa trích dẫn không ảnh hưởng đến kết luận của báo cáo đã thu hút sự giám sát. Một số học giả và nhà hoạch định chính sách đặt câu hỏi làm thế nào nghiên cứu bị bịa đặt hoặc gán sai có thể được sửa chữa mà không cần đánh giá lại bất kỳ mô hình hiệu quả chi phí hoặc dự báo lực lượng lao động nào.

Các nhà nghiên cứu bị ảnh hưởng nói gì về quy trình kiểm tra thực tế của công ty tư vấn?

Gail Tomblin Murphy, một giáo sư phụ tá tại Trường Điều dưỡng của Đại học Dalhousie ở Nova Scotia, là một trong những người bị trích dẫn không chính xác. Bà nói với The Independent rằng Deloitte đã tham chiếu bà trong một bài báo học thuật "không tồn tại." Bà lưu ý rằng bà chỉ từng làm việc với ba trong số sáu tác giả khác được ghi nhận trong trích dẫn sai, không phải toàn bộ nhóm được mô tả.

"Nghe có vẻ như nếu bạn đang đưa ra những thứ như thế này, họ có thể đang sử dụng AI khá nhiều để tạo ra công việc," Tomblin Murphy nói. Nhận xét của bà nhấn mạnh sự lo lắng ngày càng tăng trong cộng đồng học thuật về cách các công cụ tạo sinh có thể tạo ra các thư mục tham khảo thuyết phục nhưng không chính xác, đặc biệt là khi các nhà tư vấn không xác minh nghiêm ngặt từng tham chiếu.

Bà cảnh báo thêm rằng các báo cáo hướng dẫn chính sách công phải được hỗ trợ bởi bằng chứng chất lượng cao, đã được xác nhận. Hơn nữa, Tomblin Murphy nhấn mạnh rằng chính phủ và công chúng trả số tiền đáng kể cho công việc như vậy, vì vậy nó phải "chính xác và được thông tin bằng bằng chứng và hữu ích để thúc đẩy mọi thứ tiến lên." Lời phê bình của bà nhấn mạnh một sự thất bại được nhận thức trong Thẩm định hơn là một lỗi kỹ thuật đơn lẻ.

Báo cáo do chính phủ ủy quyền đã tốn bao nhiêu, và hậu quả chính trị là gì?

Theo một yêu cầu tiếp cận thông tin được công bố trong một bài đăng blog vào thứ Tư tuần trước, chính phủ Canada đã trả chỉ dưới $1,6 triệu cho nghiên cứu của Deloitte, được phát hành thành tám đợt. Tính đến thứ Hai, báo cáo vẫn còn có sẵn trên trang web của chính phủ Newfoundland và Labrador, bất chấp tranh cãi đang nổi lên về các tham chiếu và phương pháp của nó.

Lãnh đạo chính trị trong tỉnh đã thay đổi kể từ khi báo cáo được giao. Tony Wakeham, lãnh đạo của Đảng Bảo thủ Tiến bộ ở Newfoundland và Labrador, đã tuyên thệ nhậm chức thủ hiến mới của tỉnh vào cuối tháng Mười. Tuy nhiên, cả văn phòng thủ hiến và Bộ Y tế và Dịch vụ Cộng đồng đều không phản hồi ngay lập tức các câu hỏi của Fortune về báo cáo tháng Năm, và họ chưa công khai giải quyết các mối quan tâm cho đến nay.

Sự im lặng đó để lại câu hỏi mở về việc liệu các khuyến nghị của báo cáo sẽ tiếp tục hướng dẫn chính sách y tế hay không. Nó cũng làm tăng khả năng giám sát thêm bởi các nhà lập pháp tỉnh hoặc cơ quan giám sát liên bang về cách nghiên cứu của các công ty tư vấn được kiểm tra trước khi ảnh hưởng đến các dịch vụ công cốt lõi.

Những lỗi báo cáo của Deloitte này so sánh như thế nào với trường hợp phúc lợi của Úc?

Những tiết lộ của Canada theo sau các vấn đề tương tự ở Úc. Vào tháng Bảy, Deloitte đã sản xuất một báo cáo trị giá $290,000 để giúp chính phủ Úc thắt chặt tuân thủ phúc lợi. Nghiên cứu 237 trang cũng dựa vào công nghệ tạo sinh và sau đó được phát hiện chứa "ảo giác," bao gồm các tham chiếu đến nghiên cứu học thuật không tồn tại và một trích dẫn bịa đặt từ phán quyết của tòa án liên bang.

Sau khi một nhà nghiên cứu chỉ ra các vấn đề, Deloitte đã phát hành một phiên bản sửa đổi của nghiên cứu Úc. Báo cáo cập nhật, được tải lên một cách lặng lẽ vào tháng trước lên trang web của chính phủ, thừa nhận rằng công ty đã sử dụng hệ thống ngôn ngữ tạo sinh Azure OpenAI để giúp tạo ra tài liệu ban đầu. Sự thừa nhận đó chỉ đến sau khi sự giám sát bên ngoài phơi bày các trích dẫn có sai sót.

Trong báo cáo Úc cập nhật, Deloitte viết rằng "các cập nhật được thực hiện không ảnh hưởng hoặc tác động đến nội dung thực chất, phát hiện và khuyến nghị trong báo cáo." Tuy nhiên, các nhà phê bình lập luận rằng các nguồn bịa đặt vốn dĩ gây nghi ngờ về tính toàn vẹn của bất kỳ khuyến nghị dựa trên bằng chứng nào, không chỉ là chi tiết bề ngoài. Hơn nữa, tập phim thứ hai này đã làm sâu sắc thêm cuộc tranh luận về ảo giác AI của Deloitte và sự mạnh mẽ của quy trình kiểm tra thực tế nội bộ của công ty.

Deloitte đã phải đối mặt với những hậu quả tài chính nào, và điều gì vẫn chưa được giải quyết cho Canada?

Như một phần của vụ việc Úc, công ty thành viên địa phương của Deloitte đã được yêu cầu cung cấp cho chính phủ liên bang một khoản hoàn trả một phần cho báo cáo phúc lợi có sai sót. Hình phạt tài chính đó báo hiệu rằng các quan chức coi những sai sót liên quan đến AI là đủ nghiêm trọng để đảm bảo bồi thường.

Ngược lại, chưa có thông tin nào được công bố về bất kỳ khoản hoàn trả tiềm năng hoặc biện pháp khắc phục hợp đồng nào liên quan đến báo cáo y tế của Canada. Tuy nhiên, áp lực có thể tăng lên khi các nhà hoạch định chính sách, nhân viên y tế và người nộp thuế hỏi liệu họ có nhận được giá trị đầy đủ cho một nghiên cứu hiện cần sửa chữa sau xuất bản đối với cơ sở bằng chứng của nó hay không.

Rộng hơn, cả hai tập phim đều làm nổi bật những rủi ro ngày càng tăng khi chính phủ dựa vào các công ty tư vấn lớn sử dụng công nghệ tạo sinh mà không có biện pháp bảo vệ nghiêm ngặt. Chúng cũng cho thấy rằng các tổ chức công sẽ cần tiêu chuẩn mạnh mẽ hơn để xác minh nguồn, đặc biệt là trong các báo cáo chính sách dài, phức tạp có thể định hình các dịch vụ quan trọng trong nhiều năm.

Tóm lại, sự giám sát đang diễn ra đối với đánh giá y tế của Deloitte ở Canada và nghiên cứu phúc lợi của Úc nhấn mạnh nhu cầu cấp bách về bằng chứng đáng tin cậy, phương pháp minh bạch và giám sát mạnh mẽ bất cứ khi nào nghiên cứu được hỗ trợ bởi AI thông báo các quyết định chính sách công.