IA e machine learning

Embeddings semânticos para triagem em revisão sistemática

Triagem manual em larga escala tem taxa de erro humano de 5-12% e zero rastreabilidade documentada. Embeddings semânticos preservam recall acima de 90% e tornam cada exclusão auditável contra threshold declarado.

A primeira fase de uma revisão sistemática é a triagem de título e abstract. O autor recupera de bases como PubMed, Scopus ou Web of Science um conjunto inicial que costuma variar entre dois e dez mil registros, e precisa decidir, para cada um, se prossegue para a leitura de texto completo. A heurística operacional não escrita é que dois revisores independentes leiam todos os abstracts, com um terceiro resolvendo discordâncias. O custo é tempo — para um corpus de cinco mil registros e leitura de quarenta segundos por abstract, são aproximadamente cinquenta e cinco horas de leitura cega por revisor, antes mesmo que o trabalho substantivo da revisão comece.

Há uma alternativa documentada na literatura metodológica recente. Embeddings semânticos pré-treinados — Sentence-BERT, SPECTER2, ou modelos compactos derivados — combinados a classificadores treinados sobre um conjunto seed de inclusões/exclusões anotadas por humanos podem reduzir o volume da triagem em sessenta a noventa por cento, com recall consistentemente acima de noventa por cento. A operação preserva a auditoria humana e adiciona rastreabilidade que a triagem manual pura não oferece.

A arquitetura básica

A pipeline tem quatro etapas. A primeira é a conversão de cada título mais abstract em um vetor denso de tipicamente trezentos e oitenta e quatro a setecentos e sessenta e oito dimensões via modelo pré-treinado. SPECTER2, treinado especificamente sobre corpus científico, costuma superar Sentence-BERT genérico para esse uso. A segunda etapa é a anotação manual de um conjunto seed — entre dez e oitenta registros — como elegíveis ou não elegíveis pelos critérios da revisão. A terceira etapa é o treinamento de um classificador (regressão logística, SVM linear, ou small MLP) sobre os embeddings dos registros anotados. A quarta etapa é a aplicação do classificador a todo o conjunto restante, com um threshold de probabilidade calibrado para o nível de recall desejado.

A saída do processo não é “incluir” ou “excluir.” É uma ordenação dos registros não anotados por probabilidade de inclusão. O revisor humano lê em ordem decrescente até atingir critério de parada — tipicamente trinta a cinquenta registros consecutivos classificados como exclusão pelo modelo e confirmados como exclusão pelo humano.

Gráfico de barras horizontais mostrando redução de workload em triagem de revisão sistemática via embeddings semânticos em múltiplos estudos, com recall preservado acima de noventa por cento
Redução de workload em triagem de revisão sistemática via embeddings semânticos, em estudos publicados entre 2024 e 2025. Cada barra representa o achado central de um estudo independente, com recall preservado em todos os casos acima de noventa por cento. Resultados consistentes em Yamada e colegas (2025) em JMIR Medical Informatics, Qin e colegas em revisão prévia, framework Few-Shot Learning com Sentence-BERT (Wang e colegas 2024), e LLMs compactos como GPT-4o mini, Llama 3.1 e Gemma 2 em Sciurti e colegas (2025). A categoria destacada — BERT com seleção de componentes — atingiu o maior ponto observado, oitenta e oito vírgula seis por cento de redução.

O ponto onde a operação ganha rigor

A vantagem principal de embeddings sobre triagem manual não está apenas na redução de volume. Está em três propriedades complementares que aumentam o rigor metodológico da revisão.

A primeira é rastreabilidade. Cada decisão de exclusão automatizada vem acompanhada de uma probabilidade de inclusão calculada pelo modelo. Em uma triagem manual, o registro de por que um abstract foi excluído frequentemente reduz a “não relevante.” Em uma triagem assistida, há um número, e o threshold abaixo do qual exclusões são automáticas é uma decisão metodológica declarada, não uma intuição implícita.

A segunda é reprodutibilidade. Triagem manual depende do revisor específico, do humor, do horário, da fadiga. Um classificador treinado sobre o mesmo seed produz a mesma saída em qualquer dia. Erros sistemáticos do modelo podem ser caracterizados, debatidos, e corrigidos pela ampliação do seed.

A terceira é detecção de viés do revisor. Quando o classificador discorda de um humano em um caso específico, há informação. Não significa que o modelo está certo, mas significa que há um sinal vindo do treino sobre o que foi anotado consistentemente como inclusão. Em uma revisão com dois revisores manuais, a discordância é resolvida por terceiro humano; em uma revisão assistida, a discordância humano-modelo pode ser auditada com referência ao próprio conjunto seed.

O custo metodológico de não justificar

Uma revisão sistemática publicada em 2026 que faz triagem manual sem justificar por que não usou triagem assistida pode receber crítica metodológica em revisão por pares. A taxa de erro humano na triagem de título-abstract é documentada em torno de cinco a doze por cento — taxa comparável ou superior à de modelos bem treinados. A escolha por triagem manual passa a exigir defesa, não pressuposição.

A defesa razoável da triagem manual existe e é tipicamente uma de três: o corpus é pequeno o suficiente (menos de trezentos registros) para que o ganho não compense o investimento de infraestrutura, os critérios de inclusão envolvem julgamento qualitativo complexo que classificadores treinados sobre embeddings não capturam, ou o time de revisores tem treinamento e supervisão que produz taxa de erro abaixo do estado da arte de modelos automáticos. Sem uma dessas defesas, a triagem manual em revisões grandes começa a parecer escolha por inércia.

Referências

  1. Yamada, T., et al. (2025). Improving Systematic Review Updates With Natural Language Processing Through Abstract Component Classification and Selection https://doi.org/10.2196/65371
  2. Wang, S., et al. (2024). Development and Validation of a Literature Screening Tool: Few-Shot Learning Approach in Systematic Reviews https://www.ncbi.nlm.nih.gov/pmc/articles/PMC11669879/
  3. Sciurti, A., Migliara, G., Siena, L. M., et al. (2025). Compact large language models for title and abstract screening in systematic reviews: An assessment of feasibility, accuracy, and workload reduction https://doi.org/10.1017/rsm.2025.10044
  4. Reimers, N., & Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks https://doi.org/10.18653/v1/D19-1410
  5. Cohen, A. M., Hersh, W. R., Peterson, K., & Yen, P. Y. (2006). Reducing workload in systematic review preparation using automated citation classification https://doi.org/10.1197/jamia.M1929

Esta análise reflete a operação da Aria em NLP e Mineração de Texto e Pipeline Completo de Data Science.

Se o seu projeto está em um ponto onde esse tipo de leitura é útil, considere apresentar o manuscrito ou os dados para um diagnóstico técnico em até 48 horas úteis.

Solicitar orçamento