Alexandre R. Vieira
Departamento de Biologia Oral, Faculdade de Odontologia, Universidade de Pittsburgh

11 de dezembro de 2020.

Em Medicina e na Odontologia, os trabalhos científicos têm tipicamente três formatos: o tradicional trabalho de pesquisa, o relato de caso ou série de casos, e a revisão de literatura.

As revisões de literatura são particularmente úteis para a comunidade médica e odontológica. Com a quantidade crescente de dados originais publicados, fazer uma síntese para o profissional consumidor da informação (o clínico trabalhando diretamente com pacientes) facilita na digestão do montante de informação que se acumula rapidamente e faz com que seja fácil se manter atualizado. Todavia, tornou-se evidente que certas revisões somente eram escritas para promover determinados pensamentos, deixando de representar de forma balanceada a informação que realmente existe. Por causa disso, começou-se a exigir que fossem explicitamente reportados os parâmetros usados para se identificarem os trabalhos que foram utilizados na revisão: as bases de dados que foram pesquisadas, as línguas em que os trabalhos foram originalmente escritos, o período que foi pesquisado, e como a pesquisa da literatura foi realizada (palavras-chave utilizadas).

Outro conceito que surgiu foi o questionamento das práticas clínicas que cada profissional implementa no cuidado dos seus pacientes. As melhores práticas clínicas seriam aquelas que oferecem os melhores resultados, e não necessariamente as mais fáceis, mais baratas, ou as quais o profissional prefere por gostar mais ou estar acostumado. Para se gerar essa evidência necessária para uma determinada situação clínica, era preciso testar a hipótese de que determinado tratamento funciona, ou é superior, ou ao menos equivalente a outro tratamento existente. O padrão-ouro para se confirmarem estas hipóteses é a realização de ensaios clínicos randomizados (Figura 1). O estímulo de se gerar evidência motivou muitos a produzirem informação testando hipóteses de tratamento. Com isto, tornou-se clara uma variabilidade dos resultados destes testes – variabilidade esta que está diretamente relacionada ao número de observações incluídas em cada estudo, como participantes selecionados e como a eficácia foi medida. Uma típica limitação desses estudos é o tamanho da amostra, o que determina o poder estatístico de se detectar algum efeito. Efeitos pequenos são mais difíceis de serem detectados e requerem tamanhos amostrais maiores. Diferenças estatísticas são tipicamente sumarizadas por valores de p, mas estes também são função do tamanho amostral. É muito mais fácil se detectar uma diferença estatística do que se provar que esta diferença não existe. Como, em geral, o interesse é saber se existem diferenças, é muito mais comum a publicação de trabalhos que mostram diferenças do que trabalhos que excluam que a diferença exista.

O resultado disto foi uma quantidade crescente de trabalhos publicados com resultados contraditórios e a sugestão de que muitos destes trabalhos têm suas conclusões questionáveis, diante da maneira pela qual os estudos foram feitos originalmente.1 Para obterem um sumário destas questões e poderem gerar a evidência que buscam, pesquisadores começaram a compilar dados destes estudos (meta-analisar), para se oferecer um novo sumário estatístico. Meta-análise é uma técnica que tem o intuito de minimizar o potencial impacto de um limitado tamanho amostral. Podem-se obter dados da literatura para serem analisados em conjunto com dados originais (exemplo2), para se combinarem dados originais de coortes distintos (exemplos3,4), para serem utilizados para direcionar como se vai formular a hipótese a ser estudada (exemplo5), ou para se trabalhar somente com dados da literatura. Os dados da literatura devem ser obtidos de forma sistemática, como descrito acima. Revisitar hipóteses e gerar este sumário (revisão sistemática com ou sem meta-análise) passou a ser considerado a maneira mais interessante de gerar evidência para se determinarem as melhores práticas clínicas. Diante disto, desde os anos 90, o aumento do número de publicações que são revisões sistemáticas com ou sem meta-análise cresceu exponencialmente, de uma a duas mil no final dos anos 80, para mais de 25 mil em 2014.6 Parte da razão para isto é a maneira de se recompensar os pesquisadores pela produção científica. Países como China, Brasil e Turquia explicitamente criaram sistemas que valorizam a quantidade de publicações por intervalo de tempo como sinônimo de sucesso. 63% da produção global de meta-análises de dados genéticos, por exemplo, vêm da China, comparado com 7% vindos dos Estados Unidos.6

Realizar uma revisão sistemática de qualidade é difícil, mas possui a vantagem de ser relativamente de baixo custo, pois o pesquisador só requer tempo e acesso à base de dados. Teoricamente, é mais fácil realizar uma revisão da literatura do que se obterem dados originais, os quais dependem de que pacientes compareçam às consultas. Entretanto, o resultado deste crescimento no número de meta-análises não foi um aumento de evidência de qualidade para guiar manejo clínico, mas uma produção massiva de sumários realizados através de revisões sistemáticas que são inúteis, desnecessários, e inconclusivos (Tabela 1).6 No Brasil, ensinar a técnica para a realização de revisões sistemáticas agora faz parte de alguns programas de pós-graduação como disciplina obrigatória, muitas delas vinculando a conclusão bem-sucedida do curso com a produção de um artigo. A razão aparente que motiva esta conduta é a ênfase na produção científica, e não necessariamente para responder a uma questão clínica saliente. Revistas científicas como a Plastic and Reconstructive Surgery passaram a exigir que as submissões de revisões sistemáticas incluam pelo menos 10 trabalhos ou mais que sejam efetivamente utilizados nas análises. Conclusões como “mais estudos precisam ser realizados” sugerem que a revisão sistemática foi feita em um tópico que foi pesquisado prematuramente e não justificava o trabalho. Revisões sistemáticas que revisitam dois ou três trabalhos provavelmente não oferecem nenhuma informação inédita. Outro fator é o processo decisório de que tipo de trabalhos devem ser selecionados para serem meta-analisados. Um maior esforço deve ser feito para se incluírem mais estudos nas análises, e não se contentar com dois ou três. Existe evidência de que quando se fazem suposições razoáveis para dados ausentes nas publicações originais a serem incluídos nas análises e se incluem estudos com dados incompletos, obtêm-se resultados mais robustos.7

Portanto, revisões sistemáticas deveriam ser publicadas somente quando se acumulou uma quantidade suficiente de dados de estudos de qualidade, cujos resultados são aparentemente conflitantes. Realizar uma revisão de literatura bem-feita, sem viés (de forma sistemática), sempre foi um dos exercícios de aprendizado nas pós-graduações de Medicina e Odontologia no Brasil, servindo como base para se formular a hipótese do futuro trabalho a ser desenvolvido para a tese. A ênfase da experiência da pós-graduação, tanto em nível de mestrado, quanto de doutorado, deveria se dar na forma crítica de se formular uma hipótese e como esta pode ser melhor testada. Nos tempos atuais, em que vemos a ciência sofrer ataques sistemáticos de sua valia, a formação de cientistas sólidos com alto poder de pensamento crítico nunca foi tão importante.

Bibliografia

1. Ioannidis JPA. Why most published research findings are false. PLoS Med 2005;2(8):e124.
2. Filho AVA, Calixto MS, Deeley K, Santos N, Rosenblatt A, Vieira AR. MMP20 rs1784418 protects certain populations against caries. Caries Res 2017;51(1):46-51.
3. Feng P, Wang X, Casado PL, Küchler EC, Deeley K, Noel J, Kimm H, Kim J-H, Haas AN, Quinelato V, Bonato LL, Granjeiro JM, Susin C, Vieira AR. Genome wide association scan for chronic periodontitis implicates novel locus. BMC Oral Health 2014;14:84.
4. Weber ML, Hsin H-Y, Kalay E, BroŽková DS, Shimizu T, Bayram M, Deeley K, Küchler EC, Forella J, Ruff TD, Trombetta VM, Sencak RC, Hummel M, Briseño-Ruiz J, Revu SK, Granjeiro JM, Antunes LS, Antunes LA, Abreu FV, Costa MC, Tannure PN, Koruyucu M, Patir A, Poletta FA, Mereb JC, Castilla EE, Orioli IM, Marazita ML, Ouyang H, Jayaraman T, Seymen F, Vieira AR. Role of estrogen related receptor beta (ESRRB) in DFN35B hearing impairment and dental decay. BMC Med Genet 2014;15:81.
5. Henn IW, Alanis LRA, Modesto A, Vieira AR. The concept of exposure when selecting comparison groups for determining individual susceptibility to addiction to cigarette smoking. PLoS One 2019;14(4):e0214946.
6. Ioannidis JPA. The mass production of redundant, misleading, and conflicted systematic reviews and meta-analyses. Milbank Q 2016;94(3):485-514.
7. Kahale LA, Khamis AM, Diab B, Chang Y, Lopes LC, Agarwal A, Li L, Mustafa RA, Koujanian S, Waziry R, Busse JW, Dakik A, Schünemann HJ, Hooft L, Scholten RJPM, Guyatt GH, Akl EA. Potential impact of missing outcome data on treatment effects in systematic reviews: imputation study. Br Med J 2020;370:m2898.

Tabela 1. Resumo da qualidade das meta-análises publicadas até 2014 nas áreas de Medicina e Odontologia (modificado de⁶).

Qualidade do Trabalho	Percentagem do Total
Redundante e desnecessária	27%
Com viés e erros	33%
Bem-feitas, porém inúteis	17%
Bem-feitas e úteis para o clínico	3%
Não-publicadas	20%

Figura 1. Diagrama mostrando contribuição dos tipos de estudo clínico para se definir a melhor evidência para decisões clínicas. Quando resultados acumulados são conflitantes, quando pertinente, uma revisão sistemática com meta-análise pode ser útil para oferecer uma evidência mais definitiva.