Abrir menú principal

La crisis de replicación (o crisis de replicabilidad) refiere a una crisis metodológica en las ciencias en qué investigadores han encontrado que los resultados de muchos los experimentos científicos son difíciles o imposibles a replicar en investigaciones posteriores por investigadores independientes o por los investigadores originales de estos estudios.[1]​ Mientras la crisis ha estado presente por largo tiempo, la frase fue acuñada a inicios de 2010 como parte de un aumento en la discusión pública del problema.

Considerando que la reproducibilidad de experimentos es una parte esencial del método científico, la incapacidad a replicar los estudios de otros tiene consecuencias potencialmente graves para muchos campos de la ciencia, en que teorías significativas son hundidas o irreproducibles en su trabajo experimental.

La crisis de replicación ha sido particularmente discutida en psicología (y en particular, psicología social) y en medicina, donde un número de esfuerzos ha sido hecho a re-investigar resultados clásicos, con el fin de intentar determinar la validez de los resultados, y, si inválido, las razones para el fracaso de replicación.[2][3]

Índice

GeneralEditar

Según una encuesta realizada en 2016 a 1500 investigadores, por la revista Nature, 70% de ellos han fallado en reproducir los experimentos de otro científico (y 50% no han logrado reproducir sus propios experimentos). Estos números difieren entre disciplinas:[4]

  • Química: 90% (60%),
  • Biología: 80% (60%),
  • Física e ingeniería: 70% (50%),
  • Medicina: 70% (60%),
  • Tierra y ciencia de entorno: 60% (40%).

En 2009, 2% de los científicos admitieron haber falsificado estudios al menos una vez y 14% admitieron saber personalmente de alguien que hubiera falsificado resultados. Estas malas prácticas han sido más frecuentemente informadas por investigadores médicos que otros.[5]

MedicinaEditar

Un análisis sobre 49 estudios médicos realizados entre 1990–2003, con más de 1000 citas, mostró que en 45 de ellos se anuncia que la terapia estudiada era eficaz. Fuera de estos estudios, 16% estuvo contradicho por estudios subsiguientes, 16% presentó resultados aumentados sobre su efectividad y 24% no pudo ser replicado.[6]​ La FDA (Food and Drug Administration) de Estados Unidos ntre 1977–1990 estima errores entre 10 a 20% sobre los estudios médicos.[7]​ En un artículo publicado en 2012, Glenn Begley, un asesor biotecnológico que trabaja en Amgen, y Lee Ellis, de la Universidad de Texas, argumentarón que solo 11% del pre-estudios de cáncer clínico podrían ser replicados.[8][9]

Un artículo de 2016 de John Ioannidis, Profesor de Medicina y de Investigación en Salud y política de la Universidad Stanford, argumenta sobre "Por qué la mayor parte de la investigación clínica no es útil" ("Why Most Clinical Research Is Not Useful").[10]​ En el artículo Ioannidis puso en discusión algunos los problemas y llama a una reforma, relevando argumentos que permitan realizar investigaciones clínicas útiles – un ejemplo era la necesidad para la investigación en medicina centrada en el paciente.  (p. ej. en la forma del Paciente-Centró Instituto de Búsqueda de los Resultados) en vez de la práctica actual a principalmente cuidar de "las necesidades de médicos, investigadores y/o patrocinadores". Ioannidis es conocido por su foco en la ciencia en sí misma, desde su artículo de 2005 "Por qué la mayoría de los resultados publicados son falsos".  ("Why Most Published Research Findings Are False")[11]

PsicologíaEditar

Fracasos de replicación no son únicos a psicología y estos se han encontrado en todos los campos de ciencia.[12]​ Aun así, varios factores han combinado para poner psicología en el centro de controversia, especialmente en el área de psicología social, a pesar de que otras áreas de psicología como la psicología clínica también ha sido implicada.

En primer lugar, prácticas de búsqueda cuestionable (QRPs) han sido identificadas como denominador común en el campo. Tales prácticas, mientras no son intencionadamente fraudulentas, implican caer en un área gris de prácticas científicas aceptables o explotan la flexibilidad en recolección de datos, análisis, e información, a menudo en un esfuerzo para obtener un resultado deseado. Ejemplos de QRPs son incluir selectivo informando o publicación parcial de datos (informando solo algunos de las condiciones de estudio o medidas dependientes recogidas en una publicación), parada opcional (escogiendo cuándo para parar colección de dato, a menudo basado en importancia estadística de pruebas), redondear valores p (redondeando p-valores abajo a .05 para sugerir importancia estadística), efecto de "cajón del archivo"(nonpublication de datos), post-hoc storytelling (enmarcando análisis exploratorios como confirmatory análisis), y manipulación de outliers (sacando datos outliers o dejando outliers en un conjunto de datos para causar una prueba estadística para ser significativa).[13][14][15][16]​ Una encuesta de encima 2,000 psicólogos indicaron que una mayoría de encuestadas admitió a utilizar al menos un QRP. Conclusiones positivas falsas, a menudo resultando de la presión para publicar o el sesgo de confirmación propia del autor, es una amenaza inherente en el campo, requiriendo un grado seguro de escepticismo en la parte de lectores.[17]

En segundo lugar, la psicología y la psicología social en particular, se ha encontrado en el centro de varios escándalos que implican francamente investigación fraudulenta, más notablemente se ha admitido fabrición de datos por Diederik Stapel[18]​ así como alegatos en contra otros. Aun así, la mayoría de los académicos reconocen aquel fraude es, quizás, la contribución menor a crisis de replicación.

Tercero, varios efectos en ciencias psicológicas han sido encontrados para ser difíciles a replicar, incluso antes de la crisis de replicación actual. Por ejemplo, la revista científica Judgment and Decision Making ha publicado varios estudios sobre los años que falla para proporcionar soporte para la teoría del pensamiento inconsciente. Las replicaciones aparecen particularmente difíciles cuándo pruebas de búsqueda son pre-registrados y la investogación conducida por grupos de investigación no involucrados profundamente con la teoría debajo cuestionando.

Estos tres elementos juntos ha resultado en atención renovada para la replicación apoyada por Kahneman.[19]​ El escrutinio de muchos efectos ha mostrado que varias creencias de núcleo son duras a replicate. Una edición especial reciente de la revista la psicología Social centró encima estudios de replicación y un número de anteriormente aguantó las creencias estuvieron encontradas para ser difíciles a replicate.[20]​ Una 2012 edición especial de las Perspectivas de revista en la ciencia Psicológica también centrada en los asuntos que varían de sesgo de publicación a null-aversión que contribuye a las crisis de replicación en psicología En 2015, el primer estudio empírico abierto de la reproducibilidad en Psicología estuvo publicada, llamó el Proyecto de Reproducibilidad.[21]​ Investigadores de alrededor del mundiales colaborados a replicate 100 estudios empíricos de tres Psicología superior revistas. Menos que medio del intentó las replicaciones eran exitosas en producir statistically resultados significativos en el esperó direcciones, aunque la mayoría del intentó las replicaciones produjeron tendencias en el esperó direcciones.[22]

Índices de replicación en psicologíaEditar

Un informe por la Colaboración de Ciencia Abierta en agosto de 2015 aquello estuvo coordinado por Brian Nosek estimó la reproducibilidad de 100 estudios en ciencia psicológica de tres alto-ranking revistas de psicología.[23]​ En general, 36% de las replicaciones cedieron hallazgos significativos (p valor abajo .05) comparó a 97% de los estudios originales que tuvo efectos significativos. La medida de efecto mala en las replicaciones era aproximadamente a medias la magnitud de los efectos informó en los estudios originales.

El mismo papel examinó los índices de reproducibilidad y medidas de efecto por la Revista de Personalidad y Psicología Social (JPSP), La revista de Psicología Experimental: Aprendizaje, Memoria, y Cognición (LMC), Ciencia Psicológica (PSCI) y disciplina (psicología social, psicología cognitiva). Índices de replicación del estudio eran 23% para JPSP, 38% para JEP:LMC, y 38% para PSCI. Estudios en el campo de psicología cognitiva tuvo un índice de replicación más alto (50%) que estudios en el campo de psicología social (25%).

Un análisis de la historia de publicación en la parte superior 100 revistas de psicología entre 1900 y 2012 indicó que aproximadamente 1.6% de todas publicaciones de psicología eran intentos de replicación . Los artículos estuvieron considerados un intento de replicación si la replicación "de plazo" aparecida en el texto. Un subconjunto de aquellos estudios (500 estudios) era aleatoriamente seleccionado para examen más lejano y cedió un índice de replicación más bajo de 1.07% (342 de los 500 estudios [68.4%] era de hecho replicaciones). En el subconjunto de 500 estudios, el análisis indicó que 78.9% de intentos de replicación publicada eran exitosos. El índice de replicación exitosa era significativamente más alto cuándo al menos un autor del estudio original era parte del intento de replicación (91.7% relativo a 64.6%).

Un dilema socialEditar

Destacando la estructura social que desalenta replicación en psicología, Brian D. Earp Y Jim Un. C. Everett enumeraron cinco puntos explicando por qué intentos de replicación son infrecuentes[24][25]

  1. "Replicaciones independientes , directas de otros' los hallazgos pueden ser que consumen tiempo para el replicating investigador
  2. "[Replicaciones] probablemente puede tomar energía y recursos directamente fuera de otros proyectos que refleja uno es pensamiento original propio
  3. "[Replicaciones] es generalmente más duro de publicar (en parte grande porque están vistos cuando siendo unoriginal)
  4. "Incluso si [replicaciones] está publicado, probablemente pueden ser vistos cuando 'bricklaying' ejercicios, más que contribuciones tan importantes al campo
  5. "[Replicaciones] trae menos reconocimiento y recompensa, e incluso seguridad de carrera básica, a sus autores"[26]

Para estas razones los autores defendieron que la psicología es de frente a un dilema social disciplinario, donde los intereses de la disciplina es en odds con el interés del investigador individual.

MarketingEditar

El marketing es otra disciplina con una "necesidad desesperada para replicación".[27]​ Además de argumentos anteriormente mencionados, el estudios de replicaciones en marketing están necesitados para examinar la aplicabilidad de teorías y modelos a través de países y culturas, el cual es especialmente importante debido a influencias posibles de globalización.[28]

Causas de la crisisEditar

En un trabajo publicado en 2015 Glenn Begley y John Ioannidis ofrece cinco ideas fuerza cuando se resume este problemas:[29]

  • Generación de publicaciones y datos a un ritmo sin precedentes
  • Contrastando evidencia que para la mayoría de estos descubrimientos no serán persistentes en el tiempo.
  • Causas: fracaso de adherir a práctica científica buena y el desesperación por "publish or perish" publicar o perecer.
  • Esto es un fenómeno multifacetico y de múltiples partes involucradas. 
  • Ninguna parte por sí sola es responsable, y ninguna solución única bastará.

De hecho algunas predicciones de una crisis posible en el mecanismo de control de la calidad de ciencia puede ser remontado varias décadas, especialmente entre becarios en ciencia y estudios de tecnología (STS). Derek de Solla Precio @– consideró el padre de scientometrics @– pronosticó que la ciencia podría lograr esenility' a raíz de su crecimiento exponencial propio.[30]​ Algunos literatura de día presente parece a vindicate esto 'desbordamiento' prophesy, lamenting en decadencia en ambas atención y calidad.[31][32]

Filósofo e historiador de Ciencia Jerome R. Ravetz Pronosticó en su 1971 libro conocimiento Científico y sus problemas sociales que ciencia @– en emotivo de la poca ciencia hecha de restringió comunidades de científicos a ciencia grande o techno-ciencia @– padecería problemas de primer orden en su sistema interno de control de calidad. Ravetz Anticipó que el sistema de la ciencia moderna del incentivo podría devenir dysfunctional (el presente 'publicar o perecer' reto). Para Ravetz la calidad en ciencia está mantenida cuándo hay una comunidad de los becarios enlazaron por normas y estándares, y una disposición para estar por estos.

Historiador Philip Mirowski ofreció más recientemente una diagnosis similar en su 2011 Ciencia de libro Mart (2011).[33]​ Soyarte' es aquí una referencia al gigante minorista 'Walmart' y una alusión al commodification de ciencia. En el análisis de Mirowski cuándo la ciencia deviene una mercancía siendo comerciado en un mercado sus derrumbamientos de calidad. Mirowski Argumenta su caso por localizar la decadencia de ciencia a la decisión de empresas importantes para cerrar su en laboratorios de casa para outsource su trabajo a universidades, y posteriormente para mover su búsqueda fuera de universidades a incluso organización de búsqueda de contrato más barata (CRO).

La crisis del sistema de control de la calidad de la ciencia está afectando el uso de ciencia para política. Esto es la tesis de un trabajo reciente por un grupo de investigadors STS, quiénes identifican en 'la política basada ( o informada) en evidencia' es un punto de tensión presente.[34][35]

Dirigiendo la crisis de replicaciónEditar

La replicación ha sido referida a como "el piedra angular de ciencia".[36][37]​ Intento de estudios de la replicación para evaluar si publicó los resultados reflejan hallazgos ciertos o falsos positivos. La integridad de reproducibilidad y hallazgos científicos de búsqueda son importantes cuando forman la fundación de conocimiento en qué estudios futuros está construida.

  • Una innovación reciente en científico publicando para dirigir la crisis de replicación es a través del uso de registró informes.[38][39]​ El formato de informe registrado requiere autores para entregar una descripción de los métodos de estudio y análisis con anterioridad a colección de datos. Una vez el método y plan de análisis es vetted a través de peer-revisión, la publicación de los hallazgos es provisionalmente guaranteed, basó encima si los autores siguen el protocolo propuesto. Un objetivo de registró los informes es a circumvent el sesgo de publicación hacia hallazgos significativos que puede dirigir a implementación de QRPs y para animar publicación de estudios con métodos rigurosos.
  • Basado en coursework en métodos experimentales en MIT y Stanford, ha sido sugerido que cursos de métodos en psicología enfatizan intentos de replicación más que estudios originales.[40][41]​ Tal una aproximación ayudaría el alumnado aprende metodología científica y proporcionar replicaciones independientes numerosas de hallazgos científicos significativos que probaría el replicability de hallazgos científicos. Algunos han recomendado que los estudiantes de posgrado tendrían que ser requeridos para publicar un intento de replicación de calidad alta en un tema relacionó a su doctoral búsqueda con anterioridad a graduación.
  • Para mejorar la calidad de replicaciones, medidas de muestra más grande que aquellos utilizados en el estudio original es a menudo necesitó.[42]​ Medidas de muestra más grande están necesitadas porque estimaciones de medidas de efecto en trabajo publicado son a menudo exagerados debido a sesgo de publicación y variabilidad de muestreo grande asociada con medidas de muestra pequeña en un estudio original.[43][44][45]
  • Repositorios on-line donde datos, protocolos, y los hallazgos pueden ser almacenados y evaluados por el público busca para mejorar la integridad y reproducibilidad de búsqueda. Los ejemplos de tales repositorios incluyen el marco de ciencia abierto, http://www.re3data.org/, y www.psychfiledrawer.org. Sitios como oferta de Marco de Ciencia Abierta placas para utilizar prácticas de ciencia abierta en un esfuerzo a incentivize científicos. Aun así, ha habido preocupación que quienes son más probablemente para proporcionar su dato y el código para análisis es los investigadores que probablemente puede el más sofisticado.[46]​ John Ioannidis en Stanford la universidad sugirió que "la paradoja puede surgir que el más meticulous y sofisticado y método-savvy y los investigadores prudentes pueden devenir más susceptibles a crítica y ataques de reputación por reanalyzers quiénes cazan para errores, ningún asunto cómo insignificante estos errores son".
  • La revista la ciencia Psicológica ha animado el preregistration de estudios y el informando de medidas de efecto e intervalos de confianza.[47]​ El editor en el jefe también notó que la redacción será pedir replicación de estudios con hallazgos sorprendentes de los exámenes que utilizan medidas de muestra pequeña antes de dejar los manuscritos para ser publicados.
  • En julio de 2016 el Netherlands la organización para Búsqueda Científica hizo 3 millones de Euros disponibles para estudios de replicación. La financiación es para la replicación basada en reanalysis de existir dato y replicación por recoger y analizando dato nuevo. La financiación es disponible en las áreas de ciencias sociales, búsqueda de salud y healthcare innovación.[48]
  • En 2013 la Laura y Fundación de Arnold del John financiaron el lanzamiento del Centro para Ciencia Abierta con un $5.25 millones de subvención y por 2017 había proporcionado un adicional $10 millones en financiar.[49]​ También financie el lanzamiento del Meta-Centro de Innovación de la Búsqueda en Stanford en Stanford la universidad corrida por John Ioannidis y Steven Goodman para estudiar maneras de mejorar búsqueda científica. Él financiación proporcionada también para el AllTrials la iniciativa dirigida en parte por Ben Goldacre.

Ver tambiénEditar

ReferenciasEditar

  1. Schooler, J. W. (2014). «Metascience could rescue the 'replication crisis'». Nature 515 (7525): 9. doi:10.1038/515009a. 
  2. Gary Marcus (1 de mayo de 2013). «The Crisis in Social Psychology That Isn’t». The New Yorker. 
  3. Jonah Lehrer (13 de diciembre de 2010). «The Truth Wears Off». The New Yorker. 
  4. Baker, Monya (26 de mayo de 2016). «1,500 scientists lift the lid on reproducibility». Nature 533 (7604): 452-454. doi:10.1038/533452a. 
  5. Fanelli, Daniele (29 de mayo de 2009). «How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data». PLOS ONE 4 (5): e5738. PMC 2685008. PMID 19478950. doi:10.1371/journal.pone.0005738 – via PLoS Journals. 
  6. Ioannidis JA (13 de julio de 2005). «COntradicted and initially stronger effects in highly cited clinical research». JAMA 294 (2): 218-228. PMID 16014596. doi:10.1001/jama.294.2.218 – via Silverchair. 
  7. Glick, J. Leslie (1 de enero de 1992). «Scientific data audit—A key management tool». Accountability in Research 2 (3): 153-168. doi:10.1080/08989629208573811 – via Taylor and Francis+NEJM. 
  8. Begley, C. G., and Lee M. E., 2012, Drug Development: Raise Standards for Preclinical Cancer Research, Nature, 483, 531–533.
  9. Begley, C.G., 2013, Reproducibility: Six red flags for suspect work, Nature, 497, 433–434.
  10. Ioannidis, JPA (2016). «Why Most Clinical Research Is Not Useful». PLoS Med 13 (6): e1002049. doi:10.1371/journal.pmed.1002049. 
  11. Ioannidis, John P. A. (1 de agosto de 2005). «Why Most Published Research Findings Are False». PLoS Medicine 2 (8): e124. ISSN 1549-1277. PMC 1182327. PMID 16060722. doi:10.1371/journal.pmed.0020124. 
  12. «No, science’s reproducibility problem is not limited to psychology». The Washington Post. Consultado el 10 de septiembre de 2015. 
  13. John, Leslie K.; Loewenstein, George; Prelec, Drazen (1 de mayo de 2012). «Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling». Psychological Science 23 (5): 524-532. ISSN 0956-7976. PMID 22508865. doi:10.1177/0956797611430953. Archivado desde el original el 30 de diciembre de 2015. 
  14. «The Nine Circles of Scientific Hell». Perspectives on Psychological Science 7 (6): 643-644. 1 de noviembre de 2012. ISSN 1745-6916. PMID 26168124. doi:10.1177/1745691612459519. 
  15. «Research misconduct - The grey area of Questionable Research Practices». www.vib.be. Consultado el 13 de noviembre de 2015. 
  16. «Questionable Research Practices Revisited». Social Psychological and Personality Science 7: 1948550615612150. 19 de octubre de 2015. ISSN 1948-5506. doi:10.1177/1948550615612150. 
  17. Simmons, Joseph; Nelson, Leif; Simonsohn, Uri (November 2011). «False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant». Psychological Science (Washington DC: Association for Psychological Science) 22 (11): 1359-1366. ISSN 0956-7976. PMID 22006061. doi:10.1177/0956797611417632. Consultado el 29 de enero de 2012. 
  18. Shea, Christopher (13 de noviembre de 2011). «Fraud Scandal Fuels Debate Over Practices of Social Psychology». 
  19. Kahneman, Daniel. «A New Etiquette for Replication». 
  20. [1] (enlace roto disponible en Internet Archive; véase el historial y la última versión).
  21. Table of Contents
  22. Open Science Collaboration (2015). «Estimating the reproducibility of Psychological Science». Science 349 (6251): aac4716. PMID 26315443. doi:10.1126/science.aac4716. 
  23. «Estimating the reproducibility of psychological». Science 349 (6251): aac4716. 28 de agosto de 2015. ISSN 0036-8075. PMID 26315443. doi:10.1126/science.aac4716. 
  24. see also Earp and Trafimow, 2015
  25. «A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers». Frontiers in Psychology 6: 1152. 1 de enero de 2015. PMC 4527093. PMID 26300832. doi:10.3389/fpsyg.2015.01152. 
  26. «Resolving the replication crisis in social psychology? A new proposal | SPSP». www.spsp.org. Consultado el 18 de noviembre de 2015. 
  27. «The desperate need for replications». Journal of Consumer Research 28 (1): 149-158. 1 de junio de 2011. doi:10.1086/321953. 
  28. «Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study». Journal of Global Marketing 29 (3): 115-127. 22 de marzo de 2016. doi:10.1080/08911762.2015.1138012. 
  29. «Reproducibility in Science: Improving the Standard for Basic and Preclinical Research». Circulation Research 116 (1): 116-126. 2015. PMID 25552691. doi:10.1161/CIRCRESAHA.114.303819. 
  30. Little science big science. Columbia University Press. 1963. 
  31. «Overflow in science and its implications for trust». eLife 4: e10825. 2015. PMC 4563216. PMID 26365552. doi:10.7554/eLife.10825. 
  32. «Attention decay in science». Journal of Informetrics 9 (4): 734-745. 2015. doi:10.1016/j.joi.2015.07.006. 
  33. Mirowski, P. (2011). Science-Mart: Privatizing American Science. Harvard University Press. 
  34. Benessia, A., Funtowicz, S., Giampietro, M., Guimarães Pereira, A., Ravetz, J., Saltelli, A., Strand, R., van der Sluijs, J., 2016.
  35. Andrea Saltelli; Jerome R. Ravetz & Silvio Funtowicz (25 de junio de 2016). «A new community for science». New Scientist (3079): 52. 
  36. «Most Published Research Findings Are False—But a Little Replication Goes a Long Way». PLoS Med 4 (2): e28. 27 de febrero de 2007. PMC 1808082. PMID 17326704. doi:10.1371/journal.pmed.0040028. 
  37. «The Value of Direct Replication». Perspectives on Psychological Science 9 (1): 76-80. 1 de enero de 2014. ISSN 1745-6916. PMID 26173243. doi:10.1177/1745691613514755. 
  38. «Registered Replication Reports - Association for Psychological Science». www.psychologicalscience.org. Consultado el 13 de noviembre de 2015. 
  39. Chambers, Chris. «Psychology’s ‘registration revolution’ | Chris Chambers». the Guardian. Consultado el 13 de noviembre de 2015. 
  40. «Teaching Replication». Perspectives on Psychological Science 7 (6): 600-604. 1 de noviembre de 2012. ISSN 1745-6916. PMID 26168118. doi:10.1177/1745691612460686. 
  41. «Harnessing the Undiscovered Resource of Student Research Projects». Perspectives on Psychological Science 7 (6): 605-607. 1 de noviembre de 2012. ISSN 1745-6916. PMID 26168119. doi:10.1177/1745691612459057. 
  42. «Is psychology suffering from a replication crisis? What does "failure to replicate" really mean?». American Psychologist 70 (6): 487-498. doi:10.1037/a0039400. 
  43. «Small studies are more heterogeneous than large ones: a meta-meta-analysis». Journal of Clinical Epidemiology 68 (8): 860-869. doi:10.1016/j.jclinepi.2015.03.017. 
  44. Button, Katherine S.; Ioannidis, John P. A.; Mokrysz, Claire; Nosek, Brian A.; Flint, Jonathan; Robinson, Emma S. J.; Munafò, Marcus R. (1 de mayo de 2013). «Power failure: why small sample size undermines the reliability of neuroscience». Nature Reviews Neuroscience 14 (5): 365-376. ISSN 1471-003X. doi:10.1038/nrn3475. 
  45. «Consequences of prejudice against the null hypothesis.». Psychological Bulletin (en inglés estadounidense) 82 (1): 1-20. doi:10.1037/h0076157. 
  46. Ioannidis, John P.A. «Anticipating consequences of sharing raw data and code and of awarding badges for sharing». Journal of Clinical Epidemiology. doi:10.1016/j.jclinepi.2015.04.015. 
  47. «Replication in Psychological Science». Psychological Science 26: 0956797615616374. 9 de noviembre de 2015. ISSN 0956-7976. PMID 26553013. doi:10.1177/0956797615616374. Archivado desde el original el 14 de noviembre de 2015. Consultado el 17 de noviembre de 2015. 
  48. «NWO makes 3 million available for Replication Studies pilot». NWO. Consultado el 2 de agosto de 2016. 
  49. Apple, Sam (22 de enero de 2017). «The Young Billionaire Behind the War on Bad Science». 

Otros recursosEditar