Errores de diseño que debilitan una investigación antes del análisis estadístico

Cuando una investigación no llega a conclusiones defendibles, la conversación suele empezar por el final: qué prueba estadística se usó, si el modelo era el adecuado, si el valor p estaba bien interpretado. Casi siempre es demasiado tarde. La mayoría de los trabajos que se caen en revisión —o que un comité de evaluación descarta antes de financiarlos— ya venían debilitados desde el diseño, mucho antes de que existiera un solo dato que analizar.

Esto importa especialmente si el trabajo se va a presentar a un fondo concursable. El evaluador no tiene resultados que juzgar: tiene una propuesta. Lo único que puede leer es el diseño. Y los errores que siguen son visibles en un documento de metodología, sin necesidad de haber recogido nada.

1. La pregunta no se puede responder tal como está escrita

«Determinar el impacto de la digitalización en la competitividad de las mipymes de la región» no es una pregunta de investigación: es un tema. No dice qué se va a medir, en quién, comparado con qué, ni en qué plazo.

Una pregunta investigable obliga a comprometerse con cuatro cosas: la población concreta, la intervención o exposición, la comparación y el resultado medido. Si no se puede escribir esa frase, no hay diseño posible, porque no hay forma de saber qué observación confirmaría la hipótesis y cuál la refutaría.

La señal de alarma es sencilla: si al terminar el estudio cualquier resultado podría presentarse como coherente con la hipótesis, la hipótesis no decía nada.

2. El diseño no distingue el efecto de sus explicaciones alternativas

Este es el error estructural más caro, porque ninguna técnica estadística posterior lo repara.

Si las empresas que adoptaron la tecnología son también las que ya tenían más capacidad de gestión, más acceso a crédito y mejores márgenes, la diferencia posterior entre adoptantes y no adoptantes mide las dos cosas a la vez y no hay manera de separarlas después. El confusor no es un problema de análisis: es un problema de diseño.

Las herramientas que sí lo resuelven —asignación aleatoria, grupo de control, emparejamiento por características observables, aprovechamiento de una discontinuidad natural— se deciden antes de empezar. Controlar por covariables en un modelo ayuda solo con lo que se midió; no hace nada con lo que nadie registró.

3. La muestra no representa aquello sobre lo que se va a concluir

Es habitual describir como muestra representativa lo que en realidad fue una muestra por conveniencia: las empresas que respondieron, las que estaban en el directorio disponible, las que aceptaron participar.

El problema no es usar una muestra por conveniencia, que muchas veces es lo único viable. El problema es concluir como si no lo fuera. Quien responde una encuesta sobre digitalización tiende a ser quien tiene algo que contar al respecto, y esa selección se cuela en el resultado sin dejar rastro visible.

Un diseño honesto declara el marco muestral real, describe quién quedó fuera y limita las conclusiones a la población de la que efectivamente se extrajo la muestra.

4. Lo que se mide no es lo que se dice medir

Entre el concepto y el indicador siempre hay una distancia, y conviene declararla. «Innovación» medida como número de productos nuevos, «competitividad» medida como ventas del último ejercicio y «madurez digital» medida con un cuestionario redactado para la ocasión son decisiones legítimas, pero son decisiones, y cada una acota lo que después se puede afirmar.

Dos comprobaciones que casi nunca aparecen en las propuestas y que un evaluador con formación metodológica busca:

• Fiabilidad. Si el instrumento se aplicara dos veces en condiciones equivalentes, ¿daría lo mismo? Un cuestionario improvisado suele tener tanto ruido que sepulta cualquier efecto real.
• Validez. ¿Hay razones para creer que el indicador captura el concepto? Un instrumento ya validado y publicado, aunque encaje peor con el caso, suele ser preferible a uno propio sin ninguna evidencia detrás.

El error de medición no sesga siempre en la misma dirección, pero sí tiene una consecuencia sistemática: atenúa las asociaciones. Un estudio con instrumentos ruidosos tiende a encontrar menos de lo que hay, y a concluir que no hay efecto cuando lo que no había era precisión.

5. El tamaño de muestra lo decidió el presupuesto

Muchas propuestas fijan el número de casos por lo que se puede pagar y después buscan una justificación estadística. Se nota, porque el cálculo aparece sin declarar el tamaño de efecto que se considera relevante.

Ese es el punto clave: un cálculo de potencia exige decir de antemano qué diferencia sería lo bastante importante como para querer detectarla. Es una decisión sustantiva, no estadística. Sin ella, el número no significa nada.

Y hay una versión peor: calcular la potencia después, con el efecto observado, para explicar un resultado no significativo. Ese cálculo es circular y no aporta información; lo que informa es el intervalo de confianza, que dice qué valores siguen siendo compatibles con los datos.

Un estudio con poca potencia no solo falla en detectar efectos reales. Cuando por azar alcanza significación, tiende a sobreestimar la magnitud del efecto, porque solo las estimaciones exageradas superan el umbral. Por eso la literatura basada en estudios pequeños suele exagerar.

6. Se cuentan como independientes observaciones que no lo son

Medir cincuenta veces a diez empresas no da cincuenta datos independientes: da diez unidades con cinco medidas cada una. Tratarlas como cincuenta multiplica artificialmente la precisión aparente y produce significaciones que no existen.

Ocurre con medidas repetidas en el tiempo, con trabajadores dentro de una misma empresa, con parcelas dentro de una misma finca y con estudiantes dentro de una misma aula. La estructura anidada de los datos hay que preverla en el diseño, porque determina cuál es la unidad de asignación y de análisis, y con ella el tamaño de muestra real.

7. No hay un plan de análisis escrito antes de recoger los datos

Cuando el análisis se decide mirando los datos, el número de caminos posibles se multiplica: qué casos excluir, cómo tratar los valores extremos, qué covariables incluir, cómo agrupar categorías, qué subgrupo mirar. Cada bifurcación es defendible por separado. Recorridas todas hasta encontrar la que da un resultado, la probabilidad de un falso positivo deja de ser la que dice el valor p.

Emparentado con esto está presentar como hipótesis previa una relación que se encontró explorando. El texto queda impecable —predicción, contraste, confirmación— y describe algo que nunca ocurrió en ese orden.

El remedio es barato y verificable: escribir antes de recoger los datos cuál es el resultado principal, cuál es el modelo, qué se hace con los casos perdidos y qué análisis son exploratorios. Registrarlo con fecha, aunque sea internamente. Un análisis exploratorio declarado como tal es perfectamente legítimo; lo que no lo es, es disfrazarlo.

8. Los datos faltantes no estaban previstos

Habrá pérdidas. Habrá quien no responda, quien abandone y quien conteste a medias. Un diseño que no dice qué hará con eso acaba, por defecto, analizando solo los casos completos, que es la opción menos defendible: quien no responde suele diferir de quien responde justo en aquello que se estudia.

Conviene decidir antes qué proporción de pérdidas se considera tolerable, qué se hará por encima de ese umbral y cómo se comprobará si quienes se perdieron se parecían a quienes se quedaron.

9. El diseño no puede sostener la afirmación causal que se pretende

Un estudio transversal mide todo a la vez. Puede describir asociaciones, y eso ya es valioso, pero no puede establecer qué vino antes. Cuando después se escribe que una variable «mejora» o «incrementa» otra, el verbo afirma más de lo que el diseño permite.

No siempre hace falta cambiar el diseño: a veces basta con ajustar lo que se afirma. Pero esa decisión hay que tomarla al escribir la propuesta, no al redactar las conclusiones, porque el objetivo declarado condiciona todo lo demás.

Qué hacer antes de recoger el primer dato

Los nueve problemas anteriores comparten una característica: son baratos de evitar y caros de reparar. Una lista breve, aplicada al inicio, evita la mayoría.

• Escribir la pregunta en una sola frase que nombre población, comparación, resultado y plazo.
• Enumerar las explicaciones alternativas al resultado esperado y decir, para cada una, qué elemento del diseño la descarta.
• Declarar el marco muestral real y a quién deja fuera.
• Especificar el instrumento de cada variable y qué evidencia hay de que mide lo que dice.
• Fijar el tamaño de efecto mínimo relevante antes de calcular la muestra.
• Identificar la unidad de asignación y comprobar que coincide con la de análisis.
• Redactar el plan de análisis y fecharlo antes de recoger datos.
• Definir el umbral de pérdidas aceptable y el plan si se supera.
• Hacer un piloto pequeño. Casi siempre revela un problema de instrumento que habría contaminado todo el estudio.

Por qué esto decide financiamiento

En una convocatoria competitiva, la sección de metodología es donde el evaluador comprueba si el equipo sabe lo que va a hacer. Un objetivo que promete demostrar causalidad con un diseño transversal, una muestra justificada solo por el presupuesto o un plan de análisis ausente son señales que se leen en minutos y que pesan más que la relevancia del tema.

Y la relación funciona en los dos sentidos. Un diseño bien planteado no solo tiene más probabilidad de ser financiado: tiene más probabilidad de producir un resultado publicable, porque los problemas que lo habrían invalidado se resolvieron cuando todavía costaban una conversación y no un año de trabajo de campo.

Dónde seguir

En Investigación científica trabajamos el diseño antes que el análisis: la pregunta, la comparación, el instrumento y el plan de análisis, escritos y fechados antes de recoger el primer dato. Si el trabajo va a presentarse a una convocatoria, en Proyectos y financiamiento lo formulamos ya con la estructura que el evaluador espera leer. Y en Funding Radar publicamos convocatorias abiertas con su público objetivo, su plazo real y su fuente oficial.

Si tienes una investigación en marcha y no estás seguro de que el diseño sostenga lo que quieres afirmar, cuéntanos el caso y lo revisamos contigo antes de que cueste caro.