Versión 1.2
Una persona sabia solo afirma lo que puede probar.
Proverbio antiguo
El análisis de la validez: Componentes y amenazas
El análisis de la validez de las conclusiones de una investigación es un juicio sobre el grado de seguridad con el que una inferencia se puede considerar cierta por estar basada en evidencias relevantes. Los juicios sobre la validez no son absolutos (es cuestión de grados), como no lo son tampoco los juicios sobre la verdad de las conclusiones de una investigación, que son, en todo caso, solo tentativas y provisionalmente ciertas. El análisis de la validez de la investigación ha llevado a la identificación de posibles errores de procedimiento o limitaciones inherentes a la propia estrategia de investigación, que se consideran amenazas; es decir, problemas que pueden poner en cuestión la veracidad de sus conclusiones.
El análisis conceptual de la validez y de sus posibles amenazas es importante para el investigador y tiene la doble función de:
- Ayudar al investigador a resolver problemas que pueden limitar la validez de sus conclusiones. Conociendo sus riesgos, el investigador en la planificación de la investigación puede anticipar las amenazas y manejar las condiciones del estudio para evitarlas, bien sea introduciendo controles que minimicen la posibilidad de que ocurran, o incluyendo en el estudio estrategias complementarias que permitan poner a prueba y descartar hipótesis explicativas alternativas.
- Desarrollar nuestra capacidad crítica, tanto para extraer las conclusiones correctas (es decir, adecuadas al alcance y posibilidades del estudio realizado) como para valorar, en la lectura de artículos o informes, la adecuación y el alcance de las conclusiones de esos trabajos.
Cook y Campbell (1979); Shadish et al. (2002) identifican cuatro componentes de la validez, estrechamente relacionados entre sí:
- La relación entre las variables estudiadas (validez de conclusión estadística).
- La naturaleza causal de dicha relación (validez interna).
- Su utilidad para el conocimiento sobre los constructos teóricos (validez de constructo).
- Sus posibilidades de generalización a otras poblaciones o situaciones (validez externa).
Validez de constructo
Torrance (1966). Desarrolló un test (TTCT: Torrance Tests of Creative Thinking) que marcó un hito en el estudio de este constructo y que mantiene aún su vigencia (al menos para fines de investigación). Este test evalúa la creatividad planteando al participante problemas que ponen a prueba las capacidades consideradas por este autor como componentes básicos de la creatividad, esto es, la capacidad para identificar lagunas en la información, formular y probar hipótesis acerca de los defectos y lagunas encontrados, producir nuevas ideas y recombinarlas, proponer varias alternativas para la solución de problemas y comunicar los resultados. Los datos obtenidos con la aplicación del test son considerados medidas de la creatividad de las personas evaluadas, y los resultados de los estudios que lo hayan utilizado habrán contribuido a enriquecer nuestro conocimiento sobre la creatividad y su relación con factores de personalidad, cultura, educación, etc., en la medida en que ese constructo haya sido hecho operativo correctamente a través de este test. |
Las teorías psicológicas están constituidas por entramados lógicos que relacionan conceptos teóricos o constructos. A partir de la teoría se plantean las hipótesis o predicciones relacionadas con esos constructos. Para ser sometidas a comprobación empírica las hipótesis tendrán que incorporar los constructos definidos de forma operativa; esto es, traducidos en indicadores que puedan ser observables o medibles.
Los constructos son conceptos abstractos no observables directamente (reputación, ansiedad, inteligencia, estrés, etc.), pero que podemos inferir de manera indirecta a través de situaciones que nos pueden informar de su presencia y de su grado o magnitud. La correcta definición operativa de los constructos es lo que permitirá conectar los resultados de la investigación con la teoría y las hipótesis derivadas de ella. Una correcta definición exige una adecuada comprensión y explicación del constructo en su complejidad, que permita desarrollar indicadores del constructo e, incluso, elaborar instrumentos para su evaluación y medida. Esta definición operativa supone realizar una delimitación conceptual lo más precisa posible y su concreción acertada en tareas o preguntas que se atengan a su contenido.
La validez de constructo hace referencia al grado de confianza que podemos tener en que los resultados que hemos obtenido en nuestra investigación nos permiten sacar conclusiones aplicables a esos constructos que hemos querido estudiar mediante la investigación concreta que hemos planteado (donde hemos concretado las variables, las condiciones, las formas de medida, etc….).
Por ejemplo, planteamos una investigación para medir si la inteligencia se relaciona con la satisfacción en la vida. Para tratar de medir la inteligencia de nuestros participantes empleamos un conjunto de preguntas como: ¿cuál es la distancia que separa el Sol de la Tierra?, ¿cuántos metros contiene de decámetro? o ¿quién fue el primer presidente español tras la muerte de Franco?, y otras por el estilo ¿Realmente sería correcto el planteamiento de esta investigación?, es decir, ¿estamos realmente midiendo inteligencia con estas preguntas? ¿realmente miden este constructo? Si nuestras preguntas (que se han convertido en nuestro instrumento de medida de la inteligencia) miden otra cosa distinta (nivel cultural o educativo) las conclusiones que obtengamos sobre la relación entre estas medidas y la satisfacción vital no estarían informando realmente de la relación de la inteligencia con la satisfacción vital. Por tanto, las conclusiones que obtengamos no tendrían buena validez de constructo, esto es, no serían una aportación al conocimiento de la inteligencia (el constructo que se supone estamos estudiando) y su relación con otras variables psicológicas.
Equipo Docente.
El logro de la adecuada delimitación conceptual de un constructo depende del acierto del investigador en su análisis y decisiones, pero también del grado de avance de la propia teoría y de la acumulación de evidencias científicas sobre el concepto que esta haya logrado. La validez de constructo de un estudio valora la posibilidad de extraer de los resultados obtenidos conclusiones aplicables a los constructos generales que hemos tratado de estudiar a través de las situaciones concretas elegidas (variables, condiciones y formas de medida). Es decir, la validez de constructo se basa en el grado de correspondencia entre las variables observadas y el constructo teórico que se quiere medir. En definitiva, los pilares básicos de la validez de constructo son: una buena comprensión y explicación de los constructos implicados y la adecuación de su forma de evaluación.
Un constructo es un concepto abstracto (por ejemplo, la impulsividad). Para poder estudiarlo en investigación empírica tenemos que dar el paso a generar variables que nos puedan informar si diferentes personas tienen o no ese rasgo en su comportamiento e incluso el grado en que lo manifiestan. Es decir, tenemos que elegir o diseñar el procedimiento que nos pueda informar de cómo varía la impulsividad entre unas personas y otras. Para poder medirlo tendremos que diseñar un instrumento que identifique correctamente si ese es un rasgo presente ( y en qué grado) en el comportamiento de las personas, por ejemplo un cuestionario con ítems de preguntas concretas.
Tendremos que estudiar bien el constructo para tener claro cómo se manifestaría en el comportamiento y poder elaborar las preguntas acertadas que identifiquen su forma de manifestarse (por ejemplo: «Actúo sin pensar en las consecuencias» Respuestas: siempre, casi siempre, a veces, casi nunca, nunca; o «Me arrepiento de reaccionar como lo hice»: siempre, casi siempre, a veces, casi nunca, nunca). El acierto en la elaboración de estas preguntas que van ser la fuente de información ( la forma de estudio del constructo) depende del buen conocimiento que tenga el investigador sobre el constructo y de que las preguntas o ítems del cuestionario estén bien elaboradas para evitar respuestas extremas o neutras sistemáticas que resultarían poco informativas de las diferencias u otros efectos como la deseabilidad social (querer ajustarse a lo que se supone socialmente correcto) en sus respuestas.
Si nuestros ítems no están bien elaborados o nuestra lista de preguntas es pobre y solo tienen en cuenta una forma de manifestación de la impulsividad pero no tratamos otras que sean relevantes, la información que nos proporcione el estudio será pobre en su aportación al conocimiento del constructo y, por tanto, las conclusiones de nuestro estudio tendrán baja validez de constructo.
Equipo Docente.
Amenazas a la validez de constructo
Se consideran amenazas a la validez de constructo de un estudio la inadecuada comprensión y definición de los constructos y la inadecuación de su evaluación. Fallos en la comprensión y definición (explicación) del constructo pueden llevar al investigador a no contemplar aspectos relevantes, a considerar cuestiones irrelevantes para ese constructo o a obtener una visión parcial e incompleta, y fallos en la elección de los indicadores pueden llevar a desarrollar instrumentos de evaluación inadecuados para el estudio de ese constructo. Otra fuente de problemas que pueden limitar el valor de las conclusiones de un estudio está relacionada con el hecho de que buena parte de la investigación psicológica se realiza con humanos, y estos, al ser conscientes de su participación, pueden modificar su respuesta por reactividad a la propia situación de estudio.
Las amenazas a la validez no son exclusivas de un tipo de validez, el análisis de las amenazas puede afectar a diferentes facetas de la validez. Es decir, un mismo problema puede afectar a distintos componentes de la validez de las conclusiones. En el caso de la reactividad de los participantes afecta a la validez de constructo puesto que las respuestas de los participantes pueden estar influidas por el hecho de sentirse observados y, por tanto, el resultado puede llevar a conclusiones erróneas sobre el constructo que se está midiendo. Pero, si la reactividad afecta de forma diferente a los participantes de unas u otras condiciones puede ser una amenaza a la validez interna.
La amenaza de reactividad no necesariamente se debe a la repetición de la prueba, sino al simple hecho de sentirse evaluados (aunque sea la primera vez). Cuando estamos en una situación de evaluación nos comportamos de forma distinta a cuando no estamos en dicha «tesitura», y esta modificación de nuestra conducta (que no necesariamente tiene que ser algo intencional) es lo que denominamos reactividad, la cual afecta a la validez de constructo.
Como idea general debe quedarse con que las amenazas a la validez interna se dan cuando existen variables extrañas que afectan de diferente manera a los grupos o condiciones, haciendo que las diferencias encontradas entre ellos se deban a estas variables extrañas y no al efecto de la variable independiente.
Equipo Docente.
Entre las recomendaciones más habituales para evitar que la reactividad se convierta en una amenaza a la validez están:
- Planificar al máximo todos los aspectos de información y contacto con los participantes en el procedimiento (información previa, instrucciones, respuestas a posibles preguntas o ante incidentes, etc.).
- Reducir al mínimo las interacciones del investigador con los participantes.
- Evitar evaluaciones pretratamiento innecesarias que puedan dar pistas a los participantes de los objetivos e hipótesis del estudio.
- Utilizar grupo control con placebo, cuando sea posible.
- Utilizar los procedimientos ciego (desconocimiento de los objetivos y condiciones de la investigación por parte de los participantes) y doble ciego (desconocimiento de los objetivos y la condición experimental del participante también por parte del experimentador que interactúa con él y analiza los datos).
Amenazas | Definiciones |
---|---|
Inadecuada comprensión y definición de los constructos. | El fallo en la compresión o en la definición del constructo puede llevar a no considerar aspectos relevantes para su estudio o a hacer inferencias incompletas. |
Inadecuación de la evaluación de los constructos. | La elección de indicadores incorrectos del constructo puede llevar a hacer inferencias incorrectas al considerar las conclusiones del estudio como conocimientos sobre el constructo. |
Reactividad de los participantes. | Si las respuestas de los participantes están influidas por el hecho de sentirse observados, de su percepción de la situación o de su intento por adecuarse a lo que entienden como respuestas deseables, se contaminarán los resultados pudiendo llevar a inferencias incorrectas sobre el constructo. |
Validez interna
El concepto de validez interna, tal como fue formulado por Cook y Campbell (1979), está estrechamente ligado a la idea de causalidad, bajo el supuesto de que la capacidad explicativa de una ciencia será mayor en la medida en la que pueda llegar a identificar relaciones causales en su análisis de los fenómenos. La valoración de la validez interna de las conclusiones de un estudio se basa en el grado de seguridad que proporciona el estudio para poder concluir que la relación detectada entre las variables refleja una relación de causalidad.
El método experimental constituye la estrategia de investigación que más garantías ofrece para poner a prueba hipótesis causales. El análisis de la validez interna de las conclusiones de una investigación solo tiene verdadero sentido en el análisis de estudios que tengan el propósito y las condiciones de extraer conclusiones de relaciones de causalidad entre las variables estudiadas, es decir, en los experimentos o cuasiexperimentos.
Amenazas a la validez interna
- Cuando el investigador puede manipular la variable independiente (VI), generando una situación en la que la introduce para evaluar sus efectos en la variable dependiente (VD), puede garantizar la relación antecedente-consecuente entre estas dos variables. Sin embargo, en los estudios en los que la variable no es manipulable no se puede garantizar esta contingencia temporal (p. ej., estudios ex post facto). Se produce, entonces, una importante amenaza a la validez interna por la ambigüedad de la contingencia antecedente-consecuente.
- Si existen diferencias sistemáticas en las características de los participantes previas a la aplicación del tratamiento (VI), estas podrían explicar las diferencias posteriores encontradas y confundirse con el efecto del tratamiento. Las conclusiones del efecto de la VI se basan en la comparación de los resultados obtenidos en la VD de grupos de participantes que han sido sometidos a la influencia de la VI en condiciones distintas (sea simplemente ausencia o presencia de la VI o distintas condiciones de aplicación); por tanto, estos grupos deben ser lo más parecidos posible para poder concluir que las diferencias encontradas en la VD se deben, con seguridad, a la influencia de la VI y no a diferencias previas existentes. Si no podemos garantizar esta equivalencia inicial de los grupos, la validez de las conclusiones será cuestionable por la selección diferencial de los grupos.
- Aunque hayamos organizado los grupos aplicando técnicas de control que garanticen su equivalencia inicial, si en el transcurso del estudio hay pérdida de participantes, esta puede generar efectos que se confundan con el efecto del tratamiento. El riesgo que plantea la pérdida de participantes como amenaza a la validez interna no está en el simple hecho de que disminuya la muestra; su peligro fundamental está en que esta pérdida afecte de manera selectiva a algunas de las condiciones experimentales.
León y Montero (2015). Para evitar el riesgo de confusión de regresión a la media con el efecto del tratamiento, los expertos recomiendan no realizar la selección de los participantes basándonos en sus puntuaciones extremas en una sola medida, sino aplicar una segunda medida y utilizar la media de ambas como dato para aplicar el criterio de selección. |
- Si los participantes son seleccionados porque presentan valores extremos en la medida de una variable, pueden presentar de forma natural puntuaciones menos extremas en una segunda medición, y este cambio puede confundirse con el efecto del tratamiento. Este riesgo se basa en el supuesto de que las puntuaciones extremas pueden deberse a circunstancias excepcionales que se den en el momento de medida. Dado lo improbable de que esas circunstancias se repitan en una segunda medida, los valores podrían dejar de ser tan extremos de forma espontánea y que en las siguientes medidas estos mismos participantes presenten valores más próximos a la media, entendiendo que este sería su lugar natural. De ahí la denominación de esta amenaza como regresión a la media.
- Si se producen cambios en la forma de medir la VD o en la precisión de las medidas, que afecten de manera diferente a las condiciones de tratamiento, estos cambios pueden confundirse con el efecto del tratamiento. Esta amenaza es conocida como instrumentación. Los fallos en la precisión de las medidas, sea por mala calidad métrica de los instrumentos o por fallos en el procedimiento de aplicación, son una fuente de error que puede afectar a los resultados de forma diferente. Si estos fallos de medida afectan a todos los participantes o se producen de forma aleatoria serán una fuente de error aleatorio que dificultará la posibilidad de obtener resultados seguros sobre la existencia o no de covariación entre las variables; esto lo identificaremos como errores de medida y afectarían a la validez de conclusión estadística del estudio. Sin embargo, si los fallos en la forma de aplicación o en la precisión de las medidas afectan de forma diferente a las distintas condiciones experimentales del estudio, su efecto se confundirá con los efectos del tratamiento y puede llevar a extraer conclusiones erróneas sobre la relación entre la variable independiente (VI) y la variable dependiente (VD). Este problema es lo que se identifica como la amenaza a la validez interna denominada instrumentación, y es perfectamente evitable si aseguramos que la medición de la VD se realice de forma sistemática y precisa (con los mismos instrumentos y que sean fiables), en todos los momentos de la investigación y para todos los participantes.
La instrumentación constituye una amenaza a la validez interna. Se da cuando los errores en los instrumentos o procedimientos de medición son diferentes en cada condición experimental (grupo). Cuando esto ocurre, el efecto del fallo en el instrumento se puede confundir con el efecto del tratamiento que se ha aplicado a cada grupo y puede llevar a extraer conclusiones erróneas sobre la relación entre la VI y la variable dependiente VD. Por ejemplo, queremos saber si un fármaco afecta a la temperatura corporal de los participantes y para estudiarlo formamos dos grupos, al grupo A se le suministra el fármaco y al grupo B un placebo. A ambos grupos se le toma la temperatura con el mismo termómetro, pero cuando se le va a tomar al grupo B el termómetro se estropea. Los resultados llevarían a conclusiones erróneas sobre el efecto del fármaco.
Los errores de medida son una amenaza a la validez de conclusión estadística. Los fallos en la precisión de las medidas afectan a todos los participantes o se producen de forma aleatoria. Los efectos de los fallos serán una fuente de error aleatorio que dificultará la posibilidad de obtener resultados seguros sobre la existencia o no de covariación (relación) entre las variables.
Equipo Docente.
- Acontecimientos externos que ocurran de forma simultánea a la aplicación del tratamiento (VI) podrían tener efectos que se confundieran con los efectos del tratamiento. Ciertos acontecimientos, si pueden influir en la variable dependiente, se convierten en variables extrañas cuyo efecto puede contaminar los datos. Esta amenaza es conocida como historia.
- Los cambios psicobiológicos que se producen de forma natural con el paso del tiempo pueden confundirse con los efectos del tratamiento. Esta amenaza, denominada maduración, es más probable en los estudios de larga duración y, en especial, cuando los participantes están en etapas evolutivas de cambios notables (por ejemplo, niños y adolescentes), en los que el mero paso del tiempo provoca cambios biológicos y psicológicos que pueden reflejarse en la VD y confundirse con el efecto de la VI.
- La aplicación de una prueba puede alterar las puntuaciones que se obtengan en administraciones posteriores de esa misma prueba, y este efecto puede confundirse con el efecto del tratamiento. En determinados estudios se realiza la evaluación de la variable dependiente en repetidas ocasiones, y esta repetición de pruebas puede convertirse en una amenaza a la validez interna en la medida en que pueda generar una sensibilización (p. ej., por adivinación de la hipótesis) o familiarización de los participantes con las pruebas (aprendizaje), que afecte a los resultados del tratamiento. Esta amenaza puede estar ligada a la aplicación de medidas pre y postratamiento.
- Conviene tener en cuenta que el impacto de estas amenazas puede ser aditivo o de interacción (que puede producir un efecto distinto a la simple suma de las amenazas) y que su efecto de confusión con la VI puede variar según su combinación.
La maduración es una amenaza debido a cambios psicobiológicos que pueden coincidir con la aplicación del tratamiento y confundir los resultados de este. Si aplicamos el tratamiento a un grupo como, por ejemplo, un programa de entrenamiento para evaluar si favorece la regulación emocional y se toman medidas antes y después de la aplicación del programa, encontrando que en la medida postratamiento hay una mejora; no se puede saber si esta mejora es debida al tratamiento o a un proceso de maduración. Una forma de saberlo es introduciendo un grupo de control, en el que no se aplica el programa, pero se evalúa la regulación emocional al mismo tiempo que el grupo experimental en la medida pre y post. Si el cambio encontrado en el postest del grupo experimental se debiese al programa de entrenamiento, no se observaría cambio en el postest del grupo de control. Pero si se observa que en los dos grupos hay una mejora de la regulación emocional en la medida postest, podría significar que este cambio es debido al proceso madurativo y no al tratamiento
Equipo Docente.
Amenazas | Definiciones |
---|---|
Ambigüedad de la contingencia antecedente-consecuente | Si no hay claridad en qué variable ocurre primero y cuál después, se genera confusión en la identificación de qué variable es la causa y cuál refleja el efecto. |
Selección diferencial | Si existen diferencias sistemáticas en las características de los participantes, previas a la aplicación del tratamiento (VI), estas podrían explicar las diferencias posteriores encontradas y confundirse con el efecto del tratamiento. |
Pérdida de participantes | Si hay pérdida de participantes y esta disminución afecta de manera selectiva a unos grupos o a las distintas condiciones experimentales, esto puede tener efectos que se confundan con el efecto del tratamiento. |
Regresión a la media | Si los participantes son seleccionados por presentar valores extremos en la medida de una variable, pueden presentar de forma natural puntuaciones menos extremas en una segunda medición, y este cambio puede confundirse con el efecto del tratamiento. |
Instrumentación | Si se producen cambios en la forma de medida o en la precisión de las medidas que afecten de manera diferente a las condiciones del tratamiento, estos pueden confundirse con el efecto del tratamiento. |
Historia | Acontecimientos externos que ocurran de forma simultánea a la aplicación del tratamiento (VI) podrían tener efectos que se confundieran con los efectos del tratamiento. |
Maduración | Los cambios psicobiológicos que se producen de forma natural con el paso del tiempo pueden confundirse con los efectos del tratamiento. |
Repetición de pruebas | La aplicación de una prueba puede alterar las puntuaciones que se obtengan en administraciones posteriores de esa misma prueba, y este efecto puede confundirse con el efecto del tratamiento. |
Validez de conclusión estadística
La validez de conclusión estadística se refiere a la seguridad de las inferencias (conclusiones) estadísticas sobre la relación entre las variables. Estas inferencias se realizan a través del análisis estadístico de los datos, y la seguridad de los resultados de esos análisis va a depender de la calidad de las medidas que tengamos y de la adecuación y potencia de las técnicas estadísticas utilizadas. Si las medidas obtenidas no son fiables y las técnicas estadísticas aplicadas no se adecúan a la naturaleza de los datos, los análisis estadísticos pueden concluir incorrectamente que las variables covarían cuando en realidad no lo hacen (Error Tipo I) o que no covarían cuando en realidad sí lo hacen (Error Tipo II); y también pueden valorar incorrectamente la magnitud o fuerza de esa covariación, bien sea porque la sobreestimen o porque la infraestimen.
Amenazas a la validez de conclusión estadística
- Los errores de medida debilitan la capacidad de los análisis para detectar correctamente las covariaciones de las variables. Los fallos en la precisión de las medidas, sea por mala calidad métrica de los instrumentos o por fallos en su aplicación, son una fuente de error que dificultará la posibilidad de obtener resultados seguros sobre la existencia o no de covariación entre las variables. Incluso aunque estos errores se repartan de forma aleatoria y no afecten de forma diferente a unas u otras condiciones (situación que ya hemos tratado como la amenaza a la validez interna denominada instrumentación) introducirán «ruido» en los datos, que dificultará la obtención de resultados significativos. Se recomienda, por tanto, el uso de instrumentos de medida (tests, cuestionarios u otros) con calidad métrica comprobada, que nos garanticen la fiabilidad de los datos; así como, la aplicación de estrategias que aseguren la correcta evaluación, codificación y grabación de los datos.
- Restricción del rango de variabilidad. Si los valores que presentan las variables están restringidos a un rango de variabilidad muy pequeño se puede ver afectada negativamente la potencia estadística de las pruebas, dificultando que se detecten las covariaciones entre las variables. Claros ejemplos de este problema son los denominados efecto suelo y efecto techo de la variable dependiente. Decimos que se produce un efecto suelo cuando todos los participantes del estudio presentan en sus puntuaciones los valores más bajos de la variable dependiente o muy cercanos a ellos. Y, decimos que se produce efecto techo cuando todos los participantes del estudio puntúan en torno a los valores máximos de la variable dependiente.
- Inadecuación de las pruebas estadísticas. Las pruebas estadísticas aplicadas deben ser las adecuadas a la naturaleza de los datos obtenidos. Debemos tener en cuenta para su elección los objetivos y características del estudio, pero también aspectos como el nivel de medida de las variables, que los datos cumplan con determinados supuestos que exigen algunas pruebas y la independencia o dependencia de los datos.
Si tenemos un diseño intragrupo (un solo grupo de sujetos) con dos tratamientos o condiciones experimentales, debemos utilizar una prueba de diferencias de medias para medidas dependientes o relacionadas, ya que son los datos de las dos condiciones proviene de los mismos participantes. Sería inadecuado utilizar analizar esos datos una prueba de diferencias de medias para medidas independientes. Esta técnica para medidas independientes no sería sensible al hecho de que son los mismos participantes y puede arrojar como resultado la ausencia significación estadística de las diferencias (cuando en realidad si la haya) lo que nos llevaría a extraer conclusiones erróneas (falta de validez).
Equipo Docente.
Cohen (1988); Lipsey (1990). La potencia estadística depende de varios factores entre los que se encuentran el tamaño de muestra, la variabilidad de las medidas, la elección de la prueba adecuada, el tamaño del efecto y el nivel de significación estadística asumido en las pruebas. |
- Baja potencia estadística. Un estudio con baja potencia estadística puede llevarnos a concluir erróneamente que no existe relación significativa entre las variables. La potencia estadística se refiere a la capacidad de una prueba estadística para detectar en los datos de un estudio la covariación entre las variables. Si el tamaño de la muestra es pequeño, disminuye la potencia estadística y es mayor la dificultad para que el resultado del análisis estadístico informe de la relación o covariación de las variables de estudio. Es importante prever y contar con una muestra de tamaño suficiente para lograr una buena potencia estadística en los análisis de los resultados del estudio, evitando así el riesgo de extraer posibles conclusiones incorrectas de ausencia de relación entre ellas.
Amenazas | Definiciones |
---|---|
Errores de medida | Si las medidas no son fiables, las conclusiones de covariación entre las variables pueden ser incorrectas. |
Restricción del rango de variabilidad | Si los valores que presentan las variables están restringidos a un rango de variabilidad muy pequeño se puede ver afectada negativamente la potencia estadística de las pruebas e impedir que se detecten covariaciones entre las variables |
Inadecuación de la pruebas estadísticas | La aplicación de pruebas estadísticas no adecuadas a la naturaleza de los datos puede llevar a infraestimar o sobreestimar el efecto del tratamiento o VI. |
Baja potencia estadística | Un estudio con baja potencia estadística puede concluir erróneamente que no existe relación significativa entre las variables. |
Validez externa
Shadish et al. (2002). El muestreo probabilístico no es la única forma de muestreo útil para sustentar la generalización de los resultados y conclusiones. En los estudios manipulativos es frecuente el uso del muestreo de juicio experto, también llamado muestreo teórico o muestreo intencional. |
El análisis de la validez externa de un estudio pretende responder a la pregunta ¿En qué medida se puede generalizar la relación entre las variables (detectada en una muestra concreta de personas, situaciones y medidas) a otras personas, situaciones o medidas distintas? Un estudio tendrá más validez externa en la medida en que la muestra de participantes represente adecuadamente a la población básica a la que queremos generalizar los resultados, y que la situación planteada para evaluar los efectos de la intervención sea también una buena representación de las situaciones reales en las que se produce el fenómeno en estudio.
La estrategia formalmente más adecuada para lograr una muestra representativa, que permita una mayor generalización de los resultados, es utilizar técnicas de muestreo probabilístico, conseguir este muestreo no es sencillo, pues supone tener delimitada la población de interés (disponer de un listado completo) y tener acceso a la información básica de cada uno de sus miembros para seleccionar aleatoriamente a los que participarán en el estudio.
Otra forma de muestreo muy frecuente es el muestreo incidental, por conveniencia o accesibilidad de los participantes, plantea bastantes más limitaciones para la generalización. La escasa representatividad de la muestra respecto a la población afecta negativamente a la validez externa del estudio; pero esto es especialmente dañino cuando la combinación particular de los contenidos del estudio y las características de la muestra utilizada puede generar unos resultados muy particulares, que no se darían con una muestra con otras características.
Los principales riesgos para la validez externa de una investigación están en que la selección de la muestra de participantes, el diseño de la situación de estudio o la forma de medida de las variables tengan unas características de particularidad que puedan generar una interacción específica con la intervención o tratamiento cuyo efecto se quiere evaluar. Si esto se produce, los resultados obtenidos serán también particulares de esa combinación y, en consecuencia, no generalizables a otros participantes o situaciones.
Amenazas a la validez externa
- Interacción del tratamiento con la composición de la muestra. Se considera que las conclusiones de una investigación tienen baja validez externa poblacional cuando falla la representatividad de la muestra respecto a la población, y especialmente cuando (por la combinación del tipo de intervención y las características de la muestra utilizada) los resultados obtenidos reflejan una realidad particular propia de la muestra pero no necesariamente previsible si hubiéramos utilizado otra muestra diferente, por lo que no pueden generalizarse a la población de interés.
- Interacción del tratamiento con la situación de estudio. Configurar el diseño de un estudio que permita manipular la variable independiente y eliminar el riesgo de contaminación de los resultados por la influencia de variables extrañas, nos puede llevar a plantear situaciones «artificiales» que se alejen mucho de las situaciones reales en las que se da el problema o el fenómeno de interés. Esta artificialidad puede ayudar a generar datos seguros en cuanto a la relación entre las variables, pero singulares de esa situación, limitados a ese contexto en el que se han obtenido y con difícil generalización a los contextos reales. Esto limitaría, por tanto, la validez externa ecológica de las conclusiones del estudio. Este riesgo es más probable en estudios experimentales, pero se puede dar también en otras formas de investigación.
Amenazas | Definiciones |
---|---|
Interacción del tratamiento con la composición de la muestra | El resultado del efecto del tratamiento en muestras con determinadas características puede estar reflejando un efecto particular que no aparecería con otra muestra. |
Interacción del tratamiento con la situación de estudio | El efecto del tratamiento encontrado en un determinado contexto puede ser particular a ese contexto y no estar reflejando el que se encontraría en otro. |
Relación entre validez y método
Shadish et al. (2002). La validez es una cualidad de las inferencias. No es una cualidad de los diseños o los métodos… Ningún método garantiza por sí mismo la validez de una inferencia. |
La validez no es cuestión de todo o nada, sino de grados. Además, la validez de las conclusiones de un estudio tiene diversos componentes complementarios, cuya combinación genera un resultado global de certeza o seguridad de las conclusiones del estudio. Estos componentes están muy relacionados entre sí, pero también con ciertas posibilidades de colisión, de forma que resulta difícil de lograr en un mismo estudio un grado máximo en todos los componentes de la validez.
Si bien el análisis de la validez de constructo, de conclusión estadística y de validez externa puede tener sentido en el análisis de las conclusiones de cualquier investigación, el análisis de la validez interna solo tiene verdadero sentido en aquellos estudios que tengan la pretensión y las condiciones de hacer inferencias de relaciones de causalidad entre las variables estudiadas, es decir, en los experimentos
o cuasiexperimentos. En los estudios en los que no se tiene ese propósito ni se dan esas condiciones para el estudio de relaciones de causalidad, las consideraciones en torno a las posibles limitaciones y formas de mejora de la validez interna se alejan del sentido original de ese concepto; son más bien reflexiones sobre el interés de obtener datos lo más limpios e informativos posibles sobre las variables de estudio
y su relación (aunque no pueda concluirse como causal) y de las técnicas aplicables para lograrlo.
Es importante tener en cuenta que la validez no depende solo del tipo de diseño planteado, sino del acierto de las decisiones del investigador
y de la adecuación de los procedimientos. Un mismo tipo de diseño puede aportar resultados y conclusiones más o menos válidas dependiendo de las condiciones y la calidad del estudio realizado.
Referencias
- Quintanilla Cobián, Laura. Fundamentos De Investigación En Psicología. 2ª Ed. [adaptada a 7ª Ed. Normas APA]. ed. Madrid: Universidad Nacional De Educación a Distancia, 2020. Print. Grado (UNED) ; 6201104.