Investigação sobre cuidados de saúde no Canadá aprofunda-se à medida que erros no relatório da Deloitte levantam novas preocupações sobre IA no trabalho de políticas

O escrutínio crescente da investigação de políticas públicas está a intensificar-se depois de terem sido descobertos erros no relatório da Deloitte numa análise de saúde canadiana de alto perfil.

Como surgiram os problemas ligados à IA na análise de saúde de Newfoundland e Labrador?

Uma análise de saúde encomendada pelo governo canadiano à Deloitte, custando quase $1,6 milhões, contém imprecisões aparentemente geradas por IA, de acordo com uma investigação do The Independent. O documento de 526 páginas, divulgado pelo governo de Newfoundland e Labrador em maio, representa um dos contratos de consultoria mais caros recentes no setor de saúde da província.

O relatório foi preparado para o então Departamento de Saúde e Serviços Comunitários liderado pelos Liberais. Examinou os cuidados virtuais, incentivos de retenção e o impacto da pandemia de COVID-19 nos profissionais de saúde, numa altura em que Newfoundland e Labrador enfrenta graves carências de enfermeiros e médicos. No entanto, a subsequente análise dos meios de comunicação levantou questões sobre a fiabilidade das evidências que sustentam essas recomendações.

O Independent, um meio de comunicação progressista focado na província mais oriental do Canadá, encontrou múltiplas potenciais imprecisões e anomalias. Além disso, a sua investigação sugere que algumas das citações de pesquisa subjacentes podem ter sido produzidas ou distorcidas com a assistência de ferramentas de inteligência artificial, mesmo que a narrativa principal não tenha sido escrita por máquina.

Que tipos de erros no relatório de saúde canadiano os investigadores descobriram?

De acordo com o The Independent, o relatório da Deloitte incluía citações académicas falsas que referenciavam artigos académicos inventados. Essas fontes fictícias foram utilizadas para apoiar análises de custo-efetividade, um componente crítico na formação de decisões de gastos com saúde. O relatório também atribuiu erroneamente investigadores reais a estudos nos quais nunca trabalharam, criando a aparência de evidências robustas onde não existiam.

Algumas citações foram mais longe, descrevendo artigos supostamente co-escritos por investigadores que afirmaram nunca terem colaborado. Dito isto, a análise não afirmou que todas as referências estavam defeituosas. Em vez disso, a preocupação centra-se num padrão de problemas de citação que poderiam minar a confiança nas conclusões do relatório sobre pessoal, cuidados virtuais e reforma do sistema.

O relatório também citou um artigo supostamente publicado no Canadian Journal of Respiratory Therapy. No entanto, os investigadores não conseguiram localizar o artigo na base de dados da revista, aprofundando os receios de que ferramentas generativas possam ter inventado fontes que soam plausíveis mas inexistentes.

Como respondeu a Deloitte às alegações de citações geradas por IA?

Numa declaração à Fortune, um porta-voz da Deloitte Canadá defendeu a substância do trabalho. "A Deloitte Canadá mantém firmemente as recomendações apresentadas no nosso relatório", disse o porta-voz. "Estamos a rever o relatório para fazer um pequeno número de correções de citações, que não afetam as conclusões do relatório."

O porta-voz acrescentou que a inteligência artificial não produziu o próprio relatório escrito. Em vez disso, disseram, a IA foi "seletivamente utilizada para apoiar um pequeno número de citações de pesquisa". No entanto, dado o escala do estudo de saúde e os interesses financeiros em jogo, os críticos argumentam que mesmo a dependência limitada de referências geradas por máquina exige verificação e transparência muito mais rigorosas.

Além disso, a posição da empresa de que as correções de citações não afetam as conclusões do relatório tem sido alvo de escrutínio. Alguns académicos e decisores políticos questionam como a pesquisa fabricada ou mal atribuída pode ser corrigida sem reavaliar quaisquer modelos de custo-efetividade ou projeções de força de trabalho subsequentes.

O que dizem os investigadores afetados sobre o processo de verificação de factos da empresa de consultoria?

Gail Tomblin Murphy, professora adjunta na Escola de Enfermagem da Universidade Dalhousie na Nova Escócia, estava entre os incorretamente citados. Ela disse ao The Independent que a Deloitte a tinha referenciado num artigo académico que "não existe". Ela observou que só tinha trabalhado com três dos seis outros autores atribuídos na citação falsa, não com o grupo completo descrito.

"Parece que se estão a surgir coisas como esta, eles podem estar a usar bastante a IA para gerar trabalho", disse Tomblin Murphy. Os seus comentários destacam o crescente desconforto na comunidade académica sobre como as ferramentas generativas podem fabricar bibliografias convincentes mas imprecisas, especialmente quando os consultores não verificam rigorosamente cada referência.

Ela advertiu ainda que os relatórios que orientam as políticas públicas devem ser apoiados por evidências validadas e de alta qualidade. Além disso, Tomblin Murphy enfatizou que os governos e o público pagam somas significativas por esse trabalho, por isso deve ser "preciso, informado por evidências e útil para avançar as coisas". A sua crítica sublinha uma perceção de falha na diligência prévia em vez de um único erro técnico.

Quanto custou o relatório encomendado pelo governo, e quais são as consequências políticas?

De acordo com um pedido de acesso à informação publicado num blogpost na quarta-feira passada, o governo canadiano pagou pouco menos de $1,6 milhões pelo estudo da Deloitte, emitido em oito prestações. Na segunda-feira, o relatório ainda permanecia disponível no site do governo de Newfoundland e Labrador, apesar da controvérsia emergente sobre as suas referências e metodologia.

A liderança política na província mudou desde que o relatório foi entregue. Tony Wakeham, líder do Partido Conservador Progressista em Newfoundland e Labrador, tomou posse como novo primeiro-ministro da província no final de outubro. No entanto, nem o gabinete do primeiro-ministro nem o Departamento de Saúde e Serviços Comunitários responderam imediatamente às perguntas da Fortune sobre o relatório de maio, e não abordaram publicamente as preocupações até à data.

Esse silêncio deixa questões em aberto sobre se as recomendações do relatório continuarão a orientar a política de saúde. Também levanta a perspetiva de um maior escrutínio por parte dos legisladores provinciais ou órgãos de supervisão federais sobre como a pesquisa das empresas de consultoria é verificada antes de influenciar os serviços públicos essenciais.

Como se comparam estes erros do relatório da Deloitte com o caso de bem-estar australiano?

As revelações canadianas seguem problemas semelhantes na Austrália. Em julho, a Deloitte produziu um relatório de $290.000 para ajudar o governo australiano a apertar o cumprimento do bem-estar social. O estudo de 237 páginas também dependeu de tecnologia generativa e mais tarde descobriu-se que continha "alucinações", incluindo referências a pesquisas académicas inexistentes e uma citação fabricada de um julgamento de tribunal federal.

Depois de um investigador ter sinalizado os problemas, a Deloitte emitiu uma versão revista do estudo australiano. O relatório atualizado, silenciosamente carregado no mês passado no site do governo, reconheceu que a empresa tinha usado o sistema de linguagem generativa Azure OpenAI para ajudar a criar o documento inicial. Essa admissão veio apenas após o escrutínio externo ter exposto as citações defeituosas.

No relatório australiano atualizado, a Deloitte escreveu que "as atualizações feitas não impactam nem afetam de forma alguma o conteúdo substantivo, as conclusões e as recomendações do relatório". No entanto, os críticos argumentaram que fontes fabricadas lançam inerentemente dúvidas sobre a integridade de quaisquer recomendações baseadas em evidências, não apenas detalhes cosméticos. Além disso, este segundo episódio intensificou o debate sobre as alucinações de IA da Deloitte e a robustez da verificação interna de factos da empresa.

Que consequências financeiras a Deloitte enfrentou, e o que permanece não resolvido para o Canadá?

Como parte do caso australiano, a empresa membro local da Deloitte foi obrigada a fornecer ao governo federal um reembolso parcial pelo relatório de bem-estar defeituoso. Essa penalidade financeira sinalizou que os funcionários consideraram as imprecisões relacionadas com a IA suficientemente graves para justificar compensação.

Em contraste, nenhuma informação foi ainda tornada pública sobre qualquer potencial reembolso ou remédio contratual relacionado com o relatório de saúde do Canadá. Dito isto, a pressão pode crescer à medida que os decisores políticos, profissionais de saúde e contribuintes perguntam se receberam valor total por um estudo que agora precisa de correções pós-publicação na sua base de evidências.

De forma mais ampla, ambos os episódios destacam os riscos crescentes quando os governos dependem de grandes consultorias que usam tecnologia generativa sem salvaguardas rigorosas. Também sugerem que as instituições públicas precisarão de padrões mais fortes para verificar fontes, especialmente em relatórios de políticas longos e complexos que podem moldar serviços críticos durante anos.

Em resumo, o escrutínio em desenvolvimento da análise de saúde canadiana da Deloitte e do estudo de bem-estar da Austrália sublinha a necessidade urgente de evidências fiáveis, metodologia transparente e supervisão robusta sempre que a pesquisa assistida por IA informa decisões de políticas públicas.