Dados e estatística

Modelagem multinível: quando MLM é obrigatório e quando OLS basta

ICC abaixo de 0,05 permite OLS robusto; entre 0,05 e 0,20 exige cluster-correction ou MLM; acima de 0,20 MLM é obrigatório. A regra que pareceristas metodológicos verificam antes da segunda página.

Há uma resposta automática que circula em programas de pós-graduação: se os dados têm estrutura aninhada — alunos dentro de escolas, pacientes dentro de hospitais, medidas repetidas dentro de indivíduos — então a análise apropriada é modelagem multinível. A resposta é correta em direção mas insuficiente em precisão. Nem todo dado aninhado exige MLM, e o argumento de que sempre exige falha em revisão por pares competente.

A questão que define a escolha não é se a estrutura existe — quase sempre existe em pesquisa social, educacional, organizacional ou clínica — mas se a estrutura tem impacto suficiente sobre os parâmetros de interesse para justificar a complexidade adicional de MLM. A heurística operacional, derivada de simulações documentadas em Hox, Moerbeek e van de Schoot (2017) e revisitada em Sommet e Morselli (2017) e McNeish e Wentzel (2017), é o coeficiente de correlação intraclasse, conhecido como ICC.

O que o ICC mede

O ICC, em sua forma básica para modelos lineares mistos, é a proporção da variância total atribuível à variância entre clusters. Formalmente, ICC = τ₀²/(τ₀² + σ²), onde τ₀² é a variância entre clusters e σ² é a variância dentro de clusters. ICC = 0 indica clusters indistinguíveis na variável de resposta; ICC = 1 indica que toda a variância está entre clusters e nenhuma está dentro deles.

A interpretação prática é direta. ICC mede o quanto observações dentro do mesmo cluster são correlacionadas entre si. Em sala de aula, por exemplo, o ICC do desempenho em matemática mede o quanto alunos da mesma sala se parecem em desempenho — pelo professor, pelo currículo, pela cultura da turma. ICC baixo indica que a sala importa pouco; ICC alto indica que a sala importa muito.

O custo de ignorar ICC alto

Ignorar a estrutura aninhada quando o ICC é não-trivial não é decisão estilística — produz inflação documentável da taxa de erro tipo I. Simulações clássicas mostram que, para um teste com α nominal de 0,05 conduzido via OLS em dados com cluster size típico (n ≈ 20), a taxa de erro tipo I observada cresce não-linearmente com o ICC. Em ICC = 0,05, a taxa cresce para aproximadamente 11%. Em ICC = 0,10, para 18%. Em ICC = 0,20, para 33%.

A consequência operacional é severa. Um manuscrito que reporta “p < 0,05” em dados aninhados com ICC = 0,20 tem probabilidade real de erro tipo I em torno de 33%, não 5%. O parecerista metodológico que conhece esse padrão pede a reanálise via MLM ou via OLS com erros-padrão corrigidos por cluster, e o autor que respondeu na primeira rodada que “OLS é robusto” perde a rodada.

Gráfico de barras horizontais mostrando inflação da taxa de erro tipo I em OLS quando aplicado a dados aninhados com ICCs crescentes
Taxa de erro tipo I observada em OLS conduzido sobre dados aninhados, comparada ao nível nominal de α = 0,05. A partir de ICC ≈ 0,05, a inflação é não-trivial; em ICC ≈ 0,20, a taxa observada supera 30%, mais de seis vezes o nominal. Valores aproximados consistentes com simulações em Hox, Moerbeek e van de Schoot (2017) e revisitadas em McNeish e Wentzel (2017). A categoria destacada — ICC = 0,05 — marca o limiar prático abaixo do qual OLS robusto pode ser suficiente e acima do qual a correção é obrigatória.

A heurística que sustenta a decisão

A regra operacional que funciona em revisão por pares tem três faixas. ICC abaixo de 0,05 indica que a estrutura aninhada é desprezível para fins de inferência. OLS com erros-padrão robustos pode ser suficiente, mas a decisão precisa ser justificada com o ICC reportado. ICC entre 0,05 e 0,20 indica que a estrutura é não-trivial. A escolha é entre MLM e OLS com erros-padrão clusterizados por cluster (cluster-robust standard errors, conforme Cameron e Miller 2015). Ambas são defensáveis; a escolha depende de se o foco analítico inclui variância entre clusters como objeto de interesse. ICC acima de 0,20 indica que a estrutura aninhada é central. MLM é a escolha obrigatória.

A nuance que pareceristas competentes acrescentam é que a regra de ICC não é o único critério. O número de clusters importa: MLM com menos de 20 clusters produz estimativas instáveis dos componentes de variância. Tamanho de cluster homogêneo permite simplificações; cluster size altamente desbalanceado complica a estimação. A intenção analítica importa: estudar variação entre clusters como construto de interesse exige MLM mesmo com ICC baixo.

O que reportar em um manuscrito

A seção de métodos de um manuscrito com dados aninhados deve reportar, na ordem em que pareceristas verificam: a estrutura aninhada explicitada — quantos níveis, quantos clusters em cada nível, distribuição de tamanho dos clusters; o ICC calculado a partir do modelo nulo (ou modelo incondicional); a justificativa da escolha analítica baseada no ICC e nos critérios complementares; os modelos efetivamente ajustados, com fixed effects e random effects nomeados; e os critérios de fit utilizados (deviance, AIC, BIC) na comparação entre modelos.

O custo de fazer essa sequência corretamente é baixo. O custo de não fazer é uma rodada de revisão extra, ou uma rejeição motivada por inadequação metodológica.

Referências

  1. Hox, J. J., Moerbeek, M., & van de Schoot, R. (2017). Multilevel Analysis: Techniques and Applications (3rd ed.)
  2. McNeish, D., & Wentzel, K. R. (2017). Accommodating Small Sample Sizes in Three-Level Models When the Third Level is Incidental https://doi.org/10.1080/00273171.2016.1262236
  3. Sommet, N., & Morselli, D. (2017). Keep Calm and Learn Multilevel Logistic Modeling: A Simplified Three-Step Procedure Using Stata, R, Mplus, and SPSS https://doi.org/10.5334/irsp.90
  4. Cameron, A. C., & Miller, D. L. (2015). A Practitioner's Guide to Cluster-Robust Inference https://doi.org/10.3368/jhr.50.2.317
  5. Snijders, T. A. B., & Bosker, R. J. (2012). Multilevel Analysis: An Introduction to Basic and Advanced Multilevel Modeling (2nd ed.)

Esta análise reflete a operação da Aria em Análise Estatística e Modelagem de Equações Estruturais.

Se o seu projeto está em um ponto onde esse tipo de leitura é útil, considere apresentar o manuscrito ou os dados para um diagnóstico técnico em até 48 horas úteis.

Solicitar orçamento