Se quer provar que há ensaios que não foram publicados, enfrenta um interessante problema: precisa de provar a existência de estudos aos quais não tem acesso. Para contornar esta situação, desenvolveu-se uma abordagem simples: identifica-se um grupo de ensaios que se sabe que foram realizados e completados, e tenta-se verificar se foram publicados.
Descobrir uma lista de ensaios completados é a parte espinhosa deste trabalho e, para a realizar, tem sido necessário utilizar várias estratégias: desenterrar as listas de ensaios que foram aprovadas por comissões de ética (os «conselhos institucionais de avaliação», Institutional Review Boards, dos Estados Unidos), por exemplo, ou andar à caça dos ensaios discutidos por investigadores em conferências.
Em 2008, um grupo de investigadores decidiu verificar a publicação de todos os ensaios que tinham sido referenciados à Food and Drug Administration (FDA) americana sobre todos os antidepressivos introduzidos no mercado entre 1987 e 2004.
Não era pêra doce. Os arquivos da FDA contêm uma razoável quantidade de informação sobre todos os ensaios submetidos ao regulador com o fim de obter uma autorização de introdução no mercado para um novo fármaco.
Mas não são, de forma alguma, todos os ensaios porque os realizados depois da comercialização do fármaco não constarão desses arquivos; acresce que as informações fornecidas pela FDA são difíceis de procurar e muitas vezes insuficientes.
No entanto, trata-se de um subconjunto importante de ensaios, mais do que suficientes para começar a explorar a frequência com que os ensaios estão em falta e porquê. Constitui também uma fatia representativa dos ensaios realizados pela totalidade das maiores empresas da Indústria Farmacêutica.
Os investigadores descobriram um total de setenta e quatro estudos, abrangendo 12.500 doentes. Trinta e oito desses estudos tinham resultados positivos, tendo descoberto que o novo fármaco resultava; trinta e seis eram negativos. Por conseguinte, os resultados apontavam, na realidade, para uma divisão equitativa entre o êxito e o fracasso dos fármacos.
A seguir, os investigadores começaram a procurar esses ensaios na literatura académica publicada, que constitui o material à disposição de médicos e doentes. Esta iniciativa forneceu um quadro muito diferente. Trinta e sete dos ensaios positivos (todos menos um) haviam sido publicados na íntegra, frequentemente com muito alarde. Mas os ensaios com resultados negativos tinham tido um destino muito diferente: só três foram publicados.
Vinte e dois perderam-se simplesmente, não tendo aparecido em parte alguma excepto nos arquivos poeirentos, desorganizados e pouco volumosos da FDA.
Os restantes onze com resultados negativos nos sumários da FDA apareciam de facto na literatura académica, mas com uma nova redacção, como se o fármaco fosse um êxito. Concordo consigo se achar isto absurdo: veremos noutros artigos sobre como é possível refazer e polir os resultados de um estudo a fim de distorcer e exagerar os seus achados.
Foi um trabalho notável, abrangendo doze fármacos de todos os mais importantes fabricantes, sem que se destacasse especialmente nenhum vilão. O trabalho expôs com toda a clareza um sistema corrompido: na realidade, temos trinta e oito ensaios positivos e trinta e sete negativos; na literatura académica, temos quarenta e oito ensaios positivos e três ensaios negativos. Páre um momento para folhear mentalmente estes resultados: «trinta e oito ensaios positivos, trinta e sete negativos» ou «quarenta e oito ensaios positivos, e só três negativos».
Se estivéssemos a falar num único estudo, de um único grupo de investigadores, que decidiu apagar metade dos resultados porque não lhe forneciam a imagem global que pretendia, poderíamos qualificar esse acto com toda a correcção como «má conduta em investigação».
Porém, de certa forma, quando ocorre exactamente o mesmo fenómeno, mas com o desaparecimento de estudos inteiros, por acção de centenas e milhares de indivíduos, espalhados pelo mundo, tanto no sector público como no privado, aceitamo-lo como uma parte normal da vida. [12] Passa ao lado, sob os olhares observadores dos reguladores e organismos profissionais que nada fazem, por rotina, não obstante o inegável impacto que tem nos doentes.
Mais estranho ainda: sabemos que o problema dos estudos negativos que desaparecem remonta praticamente ao momento em que se começou a fazer Ciência ”séria”.
Esta situação foi documentada formalmente pela primeira vez por um psicólogo chamado Theodore Sterling em 1959. [2]
Estudou todos os artigos publicados nas quatro maiores revistas de Psicologia da época, e descobriu que 286 em 294 divulgavam um resultado estatisticamente significativo. Como explicou, isto era rotundamente suspeito: não podia ser uma representação imparcial de todos os estudos realizados porque, se acreditássemos nisso, teríamos de acreditar que quase todas as teorias testadas por psicólogos numa experiência se tinham revelado correctas.
Se os psicólogos fossem realmente tão bons a prever resultados, então não fazia nenhum sentido darem-se ao trabalho de realizar quaisquer experiências. Em 1995, no fim da carreira e na segunda metade da sua vida, o mesmo investigador voltou à mesma questão e descobriu que quase nada tinha mudado. [3]
Sterling foi o primeiro a formular estas ideias num contexto académico formal, mas a verdade básica tinha sido reconhecida há séculos. Francis Bacon explicara em 1620 que é frequente induzirmo-nos a nós próprios em erro, limitando-nos a recordar as vezes em que alguma coisa resultou e esquecendo-nos das vezes em que não resultou. [4]
Em 1786, Fowler listou os casos que observara de tratamento com arsénico, e sublinhou que teria podido dissimular os fracassos, como outros poderiam ter sido tentados a fazer, mas que os havia incluído. [5] Proceder de outra forma, explicou, teria sido enganador.
Contudo, foi só há três décadas que as pessoas começaram a perceber que os ensaios em falta constituíam um problema grave em medicina. Em 1980, Elina Hemminki descobriu que quase metade dos ensaios realizados em meados da década de 1970 na Finlândia e na Suécia não tinha sido publicada. [6]
A seguir, em 1986, um investigador americano chamado Robert Simes decidiu investigar os ensaios sobre um novo tratamento para o carcinoma do ovário. Foi um estudo importante porque tratava de uma questão de vida ou de morte.
A quimioterapia combinada para este tipo de cancro tem efeitos secundários muito pesados e, cientes disto, muitos investigadores tinham esperança de melhorar a situação começando por ministrar um «agente alquilado» e passando, depois, à quimioterapia. Simes estudou todos os ensaios sobre esta questão publicados na literatura académica, lida por médicos e académicos.
Com base nessas informações, parecia boa ideia ministrar primeiro um único fármaco: as mulheres com carcinoma do ovário em estado avançado (que não é um bom diagnóstico) que tomavam apenas o agente alquilado apresentavam probabilidades significativamente maiores de sobreviver mais tempo.
Então Simes teve uma ideia inteligente. Sabia que, por vezes, os ensaios não eram publicados, e tinha ouvido dizer que era mais provável isto acontecer no caso dos artigos com resultados menos «excitantes».
No entanto, provar que isto ocorria era uma tarefa difícil: era necessário descobrir uma amostra imparcial e representativa de todos os ensaios realizados e, depois, comparar os seus resultados com o grupo mais pequeno de ensaios que tinham sido publicados, para apurar se existiam diferenças embaraçosas.
Como não havia uma maneira fácil de conseguir estas informações do regulador dos medicamentos, Simes recorreu ao International Cancer Research Data Bank.
Este banco de dados continha um registo de ensaios interessantes que estavam em curso nos Estados Unidos, incluindo a maior parte dos que eram financiados pelo governo, e muitos outros de todo o mundo. Não era de modo algum uma lista completa, mas possuía uma característica crucial: os ensaios eram registados antes de os resultados surgirem, pelo que qualquer lista proveniente desta fonte seria, se não completa, pelo menos uma amostra representativa de toda a investigação realizada, e não seria enviesada pelo facto de os resultados serem ou não positivos.
Quando Simes comparou os resultados dos ensaios publicados com os ensaios pré-registados, os resultados foram preocupantes. Olhando apenas para a literatura académica (os estudos que os investigadores e editores escolhem publicar), os agentes alquilados só por si pareciam uma grande ideia, reduzindo significativamente a taxa de mortalidade causada pelo carcinoma do ovário em estado avançado.
Mas, quando se olhava apenas para os ensaios pré-registados (a amostra não enviesada e imparcial de todos os ensaios realizados), o novo tratamento não era melhor do que a quimioterapia tradicional.
Simes reconheceu imediatamente — e espero que o leitor também — que a questão de saber se uma forma de tratamento para o cancro é melhor do que outra era peixe miúdo em comparação com a bomba que estava prestes a detonar na literatura médica.
Tudo o que pensávamos saber sobre se os tratamentos resultavam ou não estava provavelmente distorcido, numa escala que talvez fosse difícil de medir mas que decerto teria um enorme impacto nos cuidados a prestar aos doentes. Só estávamos a ver os resultados positivos e a perder os negativos. Era evidente o que devíamos fazer quanto a isto: encetar um registo de todos os ensaios clínicos, exigir às pessoas que registassem o seu estudo antes de o iniciarem e insistir com elas para que publicassem os resultados no fim.
Estava-se em 1986. Temo-nos portado muito mal desde então, uma geração depois. Uma das abordagens da investigação é recolher todos os ensaios registados num regulador de medicamentos, desde os primeiros realizados para conseguir autorização de comercialização de um novo fármaco, e depois verificar se todos apareceram na literatura académica.
Foi o método utilizado pelo artigo atrás mencionado, em que os investigadores reuniram todos os artigos sobre doze antidepressivos e descobriram que uma divisão 50/50 de resultados positivos e negativos se transformara em quarenta e oito artigos positivos e apenas três negativos. Este método tem sido amplamente utilizado em vários domínios diferentes da medicina:
Lee e colegas, por exemplo, analisaram todos os 909 ensaios submetidos bem como os pedidos de autorização de todos os noventa novos fármacos introduzidos no mercado entre 2001 e 2002: descobriram que foram publicados 66% dos ensaios com resultados significativos, em comparação com apenas 36% dos restantes. [7]
Melander, em 2003, analisou todos os quarenta e dois ensaios sobre cinco antidepressivos submetidos ao regulador sueco para efeitos de autorização de introdução no mercado: todos os vinte e um estudos com resultados significativos foram publicados; só foram publicados 81% dos estudos que não registaram qualquer benefício. [8]
Rising et al., em 2008, descobriram mais daquelas reavaliações distorcidas que dissecaremos mais adiante: analisaram todos os ensaios de fármacos aprovados no espaço de dois anos. Nos sumários de resultados da FDA, quando se conseguiam encontrar, havia 164 ensaios.
Os que tinham resultados favoráveis apresentavam uma probabilidade quatro vezes maior de serem publicados em artigos académicos do que os que tinham resultados negativos. Além disso, quatro dos ensaios com resultados negativos mudaram, quando surgiram na literatura académica, de modo a favorecer o fármaco. [9]
Se preferir, o leitor pode analisar as apresentações em conferências: é em conferências que é apresentada uma imensa quantidade de investigações, mas as nossas melhores estimativas apontam para que apenas metade delas seja publicada na literatura académica. [10]
Os estudos apresentados apenas em conferências são quase impossíveis de encontrar, ou de citar, e são especialmente difíceis de avaliar, devido à escassa informação disponível sobre os métodos específicos utilizados na investigação (é frequente ocuparem apenas um único parágrafo).
E como verá em breve, nem todos os ensaios são testes imparciais de um tratamento. Como em alguns o enviesamento pode residir no delineamento ou concepção, estes pormenores têm importância.
A Revisão Sistemática mais recente de estudos sobre o que acontece aos artigos de conferência realizou-se em 2010 e descobriu trinta estudos autónomos que analisam se as apresentações negativas em conferências — em campos tão diversos como a anestesia, a fibrose quística, a oncologia e a traumatologia — desaparecem antes de se transformarem em artigos académicos de pleno direito. [11]
Os resultados pouco lisonjeiros apresentam uma probabilidade esmagadoramente maior de eles desaparecerem. Se tivermos muita sorte, conseguimos localizar uma lista de ensaios cuja existência foi publicamente registada antes de se iniciarem, talvez num registo criado para explorar essa mesma questão.
Até há bem pouco tempo, teríamos muita sorte em encontrar, no domínio público, uma lista deste tipo oriunda da Indústria Farmacêutica.
No que toca à investigação publicamente financiada, a situação é um pouco diferente, e é aqui que começamos a aprender uma nova lição: embora a ampla maioria de ensaios seja realizada pela indústria, tendo como resultado que é esta última que impõe o andamento à comunidade, este fenómeno não se limita ao sector comercial.
Em 1997, já existiam quatro estudos de Revisão Sistemática sobre esta abordagem. Descobriram que os estudos com resultados significativos apresentavam uma probabilidade duas vezes e meia superior de ser publicados do que os que tinham resultados negativos. [12]
Um artigo de 1998 analisou todos os ensaios de dois grupos de investigadores patrocinados pelos National Institutes of Health americanos nos dez anos anteriores, e descobriu, mais uma vez, que os estudos com resultados significativos apresentavam maiores probabilidades de ser publicados. [13]
Outro estudo analisou os ensaios de medicamentos notificados à Agência Nacional Finlandesa, e descobriu que 47% dos resultados positivos tinham sido publicados, em comparação com apenas 11 % dos resultados negativos. [14]
Outro analisou todos os ensaios que passaram pelo departamento de farmácia de um hospital oftalmológico desde 1963: 93% dos resultados significativos foram publicados, em comparação com apenas 70% dos resultados negativos. [15]
O que esta saraivada de dados pretende sublinhar é que não se trata de uma área mal coberta pela investigação, e que há muito tempo que dispomos de provas, que não são contraditórias nem ambíguas.
Dois estudos franceses realizados em 2005 e 2006 adoptaram uma nova abordagem: contactaram comissões de ética, obtiveram listas de todos os estudos por elas aprovados e descobriram junto dos investigadores se os ensaios tinham produzido resultados positivos e negativos, antes de se porem finalmente a procurar artigos académicos publicados. [16]
O primeiro estudo revelou que os resultados significativos apresentavam uma probabilidade duas vezes maior de serem publicados; esta probabilidade subia para quatro vezes mais no segundo estudo.
Na Grã-Bretanha, dois investigadores enviaram um questionário a todos os investigadores principais de 101 projectos financiados pela Investigação e Desenvolvimento do Serviço Nacional de Saúde britânico: apesar de não se tratar de investigação da indústria, vale a pena referir este estudo. O resultado foi invulgar: não havia uma diferença estatisticamente significativa entre as taxas de publicação dos artigos positivos e negativos. [17]
Porém, não basta enumerar estudos. Tendo em conta sistematicamente todas as provas de que dispomos até ao momento, que panorâmica obtemos?
Não é ideal reunir todos os estudos deste tipo numa única folha de cálculo gigantesca de modo a obter um número que resuma o enviesamento de publicação, porque os estudos são todos muito diferentes, em campos diferentes e com métodos diferentes.
É uma preocupação de muitas meta-análises (embora não deva ser exagerada: se existem muitos ensaios que comparam um tratamento com um placebo, por exemplo, e se todos utilizam a mesma maneira de avaliar resultados, então pode ser adequado reuni-los a todos).
No entanto, é razoável juntar alguns destes estudos em grupos. A Revisão Sistemática mais actual sobre enviesamento de publicação, de 2010, de que extraímos os exemplos acima referidos, junta provas de diversos campos. [18]
Doze estudos comparáveis debruçam-se sobre apresentações em conferências, e, no seu conjunto, revelam que um estudo com um resultado significativo apresenta uma probabilidade 1,62 vezes superior de ser publicado.
No caso dos quatro estudos que recorreram a listas de ensaios antes de estes se terem iniciado, a probabilidade de os resultados significativos serem publicados era, no global, 2,4 vezes superior. São estas as nossas melhores estimativas da escala do problema. São actuais e são esmagadoras.
Toda esta questão dos dados em falta não é apenas um assunto académico abstracto: no mundo real da medicina, a evidência publicada é utilizada para a tomada de decisões terapêuticas. Como este problema está no cerne de tudo o que os médicos fazem, vale a pena reflectir com algum pormenor no impacto que tem na prática médica.
Em primeiro lugar, como vimos no caso da reboxetina, médicos e doentes são induzidos em erro quanto aos efeitos dos medicamentos que usam, e podem acabar por tomar decisões que causam um sofrimento evitável, ou mesmo a morte.
Também podemos optar por tratamentos desnecessariamente dispendiosos, tendo sido levados a pensar que eram mais eficazes do que os mais velhos e mais baratos. Trata–se de um desperdício de dinheiro, que acaba por privar os doentes de outros tratamentos, porque o financiamento dos cuidados de Saúde nunca é infinito.
Também vale a pena esclarecer que estes dados são ocultados de toda a gente no campo da medicina, de alto a baixo. Por exemplo, do NICE (National Institute for Health and Clinicai Excellence), criado pelo governo britânico para elaborar sumários cuidadosos, não enviesados, de toda a evidência sobre novos tratamentos.
Este instituto é incapaz de identificar ou de aceder a todos os dados sobre a eficácia de um medicamento que tenham sido retidos por investigadores e empresas: não dispõe de mais direitos legais sobre os dados do que o leitor ou eu, embora esteja a tomar decisões sobre eficácia e custo-eficácia, em nome do Serviço Nacional de Saúde britânico, para milhões de pessoas.
Com efeito, como veremos, a MHRA e a EMA (Agência Europeia de Medicamentos), os reguladores que decidem que fármacos são introduzidos no mercado no Reino Unido, têm muitas vezes acesso a estas informações, mas não as partilham com o público, os médicos ou o NICE. Trata-se de uma situação extraordinária e perversa.
Por conseguinte, enquanto os médicos são mantidos na ignorância, os doentes são expostos a tratamentos inferiores, a tratamentos ineficazes, a tratamentos desnecessários e a tratamentos desnecessariamente dispendiosos que não são melhores do que os mais baratos; os governos pagam tratamentos desnecessariamente dispendiosos e eliminam o custo dos prejuízos criados por tratamentos inadequados e nocivos; e os participantes individuais em ensaios, como os do estudo da TGN1412, são expostos a provações terríveis, que põem a vida em risco e que deixam marcas para sempre, mais uma vez desnecessariamente.
Ao mesmo tempo, o projecto de investigação em medicina, no seu todo, sofre um atraso, porque os resultados negativos vitais são escondidos de quem os podia utilizar. Isto prejudica toda a gente, mas é especialmente chocante no mundo das «doenças órfãs», desses problemas médicos que afectam apenas um número pequeno de doentes, porque esses recantos da medicina já sofrem de falta de recursos e são negligenciados pelos departamentos de investigação da maior parte das empresas da Indústria Farmacêutica, pois as oportunidades de lucro são mais pequenas.
As pessoas que trabalham em doenças órfãs investigam muitas vezes fármacos já existentes que foram experimentados e fracassaram noutras situações, mas que possuem, teoricamente, potencialidades no caso da doença órfã. Se estão em falta dados de ensaios anteriores destes fármacos noutras doenças, o trabalho de os investigar no caso da doença órfã é não só mais difícil como mais perigoso: talvez os medicamentos já tivessem demonstrado benefícios ou efeitos que ajudariam a acelerar a investigação; talvez já tivessem demonstrado que são activamente prejudiciais quando utilizados noutras doenças, havendo importantes sinais relativos à segurança que ajudariam a proteger futuros participantes em investigações. Ninguém o pode dizer.
Por último — e talvez este aspecto seja o mais escandaloso —, quando permitimos a não publicação dos dados negativos, traímos os doentes que participaram nesses estudos: as pessoas que lhes entregaram os corpos, e por vezes a vida, na crença implícita de estarem a participar na criação de novos conhecimentos passíveis de beneficiar futuramente outras pessoas na mesma situação do que elas.
Com efeito, a sua crença não é implícita: é amiúde exactamente aquilo que nós, investigadores, lhes dizemos, e é uma mentira, porque os dados podem ser ocultados, e nós sabemo-lo. Por culpa de quem? Notas: [1] Eis o clássico artigo que defende este ponto: Chalmers Iain. «Underreporting Researh Is Scientific Misconduct». JAMA. 9 de Março de 1990; 263(10): 1405-1408. [2] Sterling T. «Publication decisions and their possible effects on inferences drawn from tests of significance — or vice versa». Am Stat Assoc J 1959; 54: 30-4. [3] Sterling TD, Rosenbaum WL, Weinkman JJ. «Publication decisions revisited — the effect of the outcome of statistical tests on the decision to publish and vice-versa». Am Stat 1995; 49: 108-12. [4] Bacon F (1645). «Franc Baconis de Verulamio/Summi Angliae Can-cellarii/Novum organum scientiarum». [Francis Bacon of St. Albans Lord Chancellor of England. A «New Instrument» for the sciences] Ludg. Bat: apud Adrianum Wiingaerde, et Franciscum Moiardum. Aforismo XLVI (p.45-46). [5] Fowler T (1786). «Medical reports of the effects of arsenic in the cure of agues, remitting feveres and periodic headaches». Londres: J Johnson, p.105-107. [6] Hemminki E. «Study of information submitted by drug companies to licensing authorities». BrMedJ. 22 de Março de 1980; 280(6217): 833-6. [7] Lee K, Bacchetti P, Sim I. «Publication of clinical trials supporting successful new drug applications: a literature analysis». PLoSMed 2008; 5(9): el91. [8] Melander H, Ahlqvist-Rastad J, Meijer G, Beermann B. «Evidence b(i)ased medicine — selective reporting from studies sponsored by pharmaceutical industry: review of studies in new drug applications». BMJ2003; 326: 1171-3. [9] Rising K, Bacchetti P, Bero L. «Reporting Bias in Drug Trials Submitted to the Food and Drug Administration: Review of Publication and Presentation». PLoS Med. 25 de Novembro de 2008; 5(11): e217. [10] Scherer RW, Langenberg P, von Elm E. «Full publication of results initially presented in abstracts». Cochrane Database Syst Rev 2007; 2: MR000005. [11] Song F, Parekh S, Hooper L, Loke YK, Ryder J, Sutton AJ, et al. «Dissemination and publication of research findings: an updated review of related biases». Health Teehnol Assess. Fevereiro de 2010; 14(8): iii, ix-xi, 1–193. [12] Dickersin K. «How important is publication bias? A synthesis of available data». Aids Edue Prev 1997; 9(1 SA): 15-21. [13] Ioannidis J. «Effect of the statistical significance of results on the time to completion and publication of randomized efficacy trials». JAMA 1998:279: 281-6. [14] Bardy AH. «Bias in reporting clinical trials». Brit J Clin Pharmaco 1998; 46:147-50. [15] Dwan K, Altman DG, Amaiz JA, Bloom J, Chan AW, Cronin E, et al. «Systematic review of the empirical evidence of study publication bias and outcome reporting bias». PLoS ONE 2008; 3(8): e3081. [16] Decullier E, Lhéritier V, Chapuis F. «Fate of biomedical research protocols and publication bias in France: retrospective cohort study». BMJ2005; 331: 19. Decullier E, CHapuis F. «Impact of funding on biomedical research: a retrospective cohort study». BMC Public Health 2006; 6: 165. [17] Cronin E, Sheldon T. «Factors influencing the publication of health research». Int J Teehnol Assess 2004; 20: 351-5. [18] Song F, Parekh S, Hooper L, Loke YK, Ryder J, Sutton AJ, et al. «Dissemination and publication of research findings: an updated review of related biases». Health Teehnol Assess. Fevereiro de 2010; 14(8): iii, ix-xi, 1–193. Fontes: Livro: «Farmacêuticas da Treta» de Ben Goldacre - Paradigma da Matrix
