Η επαναληψιμότητα δημιουργεί προβλήματα στις μελέτες της ψυχολογίας
Στις εξετάσεις ψυχολογίας, πολλές μελέτες δεν πιάνουν καν τη βάση
Ουάσινγκτον
Καλό θα ήταν να μην εμπιστεύεστε τυφλά τις έρευνες Ψυχολογίας: Η μεγαλύτερη μελέτη που έχει πραγματοποιηθεί ως σήμερα για το θέμα διαπιστώνει ότι τα δύο τρίτα των δημοσιεύσεων δεν είναι δυνατό να αναπαραχθούν από ανεξάρτητες ερευνητικές ομάδες.
Συνολικά 270 επιστήμονες από πέντε ηπείρους συμμετείχαν στη νέα μελέτη, η οποία επιχειρεί να αναπαράγει τα αποτελέσματα 100 προηγούμενων ερευνών που είχαν δημοσιευτεί σε τρεις από τις πιο έγκριτες επιθεωρήσεις Ψυχολογίας.
Είναι η μεγαλύτερη προσπάθεια μέχρι σήμερα για τη μέτρηση της επαναληψιμότητας σε οποιοδήποτε επιστημονικό πεδίο, καμαρώνει η ερευνητική ομάδα.
Τα ευρήματα δημοσιεύονται στο κορυφαίο περιοδικό Science.
Η επαναληψιμότητα ή αναπαραγωγιμότητα, μια βασική έννοια της επιστήμης, σημαίνει ότι τα ευρήματα μιας οποιασδήποτε μελέτης μένουν τα ίδια όταν τα δεδομένα υφίστανται νέα ανάλυση, ή όταν νέα δεδομένα συλλέγονται με ίδιες μεθόδους.
Η ανεξάρτητη επιβεβαίωση των ερευνητικών αποτελεσμάτων είναι εξάλλου βασικό κριτήριο για την αποδοχή τους.
Ένα σημαντικό έλλειμμα επαναληψιμότητας έχει αναγνωριστεί τα τελευταία χρόνια σε πολλά επιστημονικά πεδία πέρα από την Ψυχολογία: Πρόσφατη ανάλυση που δημοσιεύτηκε στο περιοδικό Nature εξέταζε 53 σημαντικές μελέτες για τη βιολογία του καρκίνου και διαπίστωνε ότι μόνο οι 6 ήταν δυνατό να αναπαραχθούν.
Σε δική της μελέτη, η αμερικανική εταιρεία βιοτεχνολογίας Glenn Begley (πρώην Amgen) έδειχνε ότι μεταξύ 53 «κορυφαίων» μελετών ογκολογίας το διάστημα 2001-2011 μόνο το 11% ήταν δυνατό να αναπαραχθούν στα εργαστήρια της εταιρείας. Αντίστοιχη έρευνα της Bayer Health μπόρεσε να αναπαράγει μόλις το 25% των ακαδημαϊκών δημοσιεύσεων που εξέτασε.
«Εδώ και χρόνια υπάρχει ανησυχία για την επαναληψιμότητα των επιστημονικών ευρημάτων, όμως οι άμεσες, συστηματικές ενδείξεις ήταν περιορισμένες» σχολιάζει ο Μπράιαν Νόζεκ, συνιδρυτής του Center for Open Science και επικεφαλής της νέας ανάλυσης.
«Το ερευνητικό πρόγραμμά μας είναι το πρώτο του είδους του και προσφέρει σημαντικές ενδείξεις ότι οι ανησυχίες είναι πραγματικές και αντιμετωπίσιμες» λέει.
Από τις 100 απόπειρες επιβεβαίωσης προηγούμενων ευρημάτων στο χώρο της Ψυχολογίας, η ανάλυση ήταν επιτυχής μόνο σε 39 περιπτώσεις.
Σύμφωνα με την ερευνητική ομάδα, τρεις είναι οι βασικοί λόγοι για τους οποίους μια μελέτη δεν είναι δυνατό να αναπαραχθεί:
Για παράδειγμα, μελέτες με αναπάντεχα, εντυπωσιακά αποτελέσματα είναι πολύ πιο εύκολο να δημοσιευτούν σε σχέση με αξιόπιστες βαρετές μελέτες.
Όπως σχολιάζει στο δικτυακό τόπο του Nature ο Τζον Ιωαννίδης, επιδημιολόγος του Πανεπιστημίου Στάνφορντ, το πρόβλημα είναι πιθανώς πολύ μεγαλύτερο από ό,τι δείχνει η νέα μελέτη, δεδομένου ότι το δείγμα των 100 δημοσιεύσεων προήλθε από τρεις κορυφαίες εκδόσεις του χώρου και όχι από άλλες, λιγότερο αξιόπιστες.
Σύμφωνα με τους συντάκτες της τελευταίας ανάλυσης, ένας τρόπος αντιμετώπισης αυτού του ελλείμματος αναπαραγωγιμότητας είναι η ελεύθερη πρόσβαση στα δεδομένα των πρωτότυπων επιστημονικών δημοσιεύσεων.
Ένας άλλος τρόπος όμως αφορά τη χρηματοδότηση της ίδιας της έρευνας: όπως εκτιμά ο Νόζεκ, η διάθεση του 3% των ερευνητικών κονδυλίων για βελτίωση της επαναληψιμότητας θα είχε μεγάλη διαφορά.
Σήμερα, λέει, το ποσοστό αυτό είναι σχεδόν μηδέν τοις εκατό.
Βαγγέλης Πρατικάκης
Συνολικά 270 επιστήμονες από πέντε ηπείρους συμμετείχαν στη νέα μελέτη, η οποία επιχειρεί να αναπαράγει τα αποτελέσματα 100 προηγούμενων ερευνών που είχαν δημοσιευτεί σε τρεις από τις πιο έγκριτες επιθεωρήσεις Ψυχολογίας.
Είναι η μεγαλύτερη προσπάθεια μέχρι σήμερα για τη μέτρηση της επαναληψιμότητας σε οποιοδήποτε επιστημονικό πεδίο, καμαρώνει η ερευνητική ομάδα.
Τα ευρήματα δημοσιεύονται στο κορυφαίο περιοδικό Science.
Η επαναληψιμότητα ή αναπαραγωγιμότητα, μια βασική έννοια της επιστήμης, σημαίνει ότι τα ευρήματα μιας οποιασδήποτε μελέτης μένουν τα ίδια όταν τα δεδομένα υφίστανται νέα ανάλυση, ή όταν νέα δεδομένα συλλέγονται με ίδιες μεθόδους.
Η ανεξάρτητη επιβεβαίωση των ερευνητικών αποτελεσμάτων είναι εξάλλου βασικό κριτήριο για την αποδοχή τους.
Ένα σημαντικό έλλειμμα επαναληψιμότητας έχει αναγνωριστεί τα τελευταία χρόνια σε πολλά επιστημονικά πεδία πέρα από την Ψυχολογία: Πρόσφατη ανάλυση που δημοσιεύτηκε στο περιοδικό Nature εξέταζε 53 σημαντικές μελέτες για τη βιολογία του καρκίνου και διαπίστωνε ότι μόνο οι 6 ήταν δυνατό να αναπαραχθούν.
Σε δική της μελέτη, η αμερικανική εταιρεία βιοτεχνολογίας Glenn Begley (πρώην Amgen) έδειχνε ότι μεταξύ 53 «κορυφαίων» μελετών ογκολογίας το διάστημα 2001-2011 μόνο το 11% ήταν δυνατό να αναπαραχθούν στα εργαστήρια της εταιρείας. Αντίστοιχη έρευνα της Bayer Health μπόρεσε να αναπαράγει μόλις το 25% των ακαδημαϊκών δημοσιεύσεων που εξέτασε.
«Εδώ και χρόνια υπάρχει ανησυχία για την επαναληψιμότητα των επιστημονικών ευρημάτων, όμως οι άμεσες, συστηματικές ενδείξεις ήταν περιορισμένες» σχολιάζει ο Μπράιαν Νόζεκ, συνιδρυτής του Center for Open Science και επικεφαλής της νέας ανάλυσης.
«Το ερευνητικό πρόγραμμά μας είναι το πρώτο του είδους του και προσφέρει σημαντικές ενδείξεις ότι οι ανησυχίες είναι πραγματικές και αντιμετωπίσιμες» λέει.
Από τις 100 απόπειρες επιβεβαίωσης προηγούμενων ευρημάτων στο χώρο της Ψυχολογίας, η ανάλυση ήταν επιτυχής μόνο σε 39 περιπτώσεις.
Σύμφωνα με την ερευνητική ομάδα, τρεις είναι οι βασικοί λόγοι για τους οποίους μια μελέτη δεν είναι δυνατό να αναπαραχθεί:
- Το αρχικό αποτέλεσμα ήταν ψευδώς θετικό
- Η απόπειρα αναπαραγωγής της μελέτης χρησιμοποιεί ελαφρώς διαφορετικές μεθόδους και υλικά
- Η απόπειρα αναπαραγωγής αποτυγχάνει κατά τύχη να αναπαράγει το αρχικό αποτέλεσμα
Για παράδειγμα, μελέτες με αναπάντεχα, εντυπωσιακά αποτελέσματα είναι πολύ πιο εύκολο να δημοσιευτούν σε σχέση με αξιόπιστες βαρετές μελέτες.
Όπως σχολιάζει στο δικτυακό τόπο του Nature ο Τζον Ιωαννίδης, επιδημιολόγος του Πανεπιστημίου Στάνφορντ, το πρόβλημα είναι πιθανώς πολύ μεγαλύτερο από ό,τι δείχνει η νέα μελέτη, δεδομένου ότι το δείγμα των 100 δημοσιεύσεων προήλθε από τρεις κορυφαίες εκδόσεις του χώρου και όχι από άλλες, λιγότερο αξιόπιστες.
Σύμφωνα με τους συντάκτες της τελευταίας ανάλυσης, ένας τρόπος αντιμετώπισης αυτού του ελλείμματος αναπαραγωγιμότητας είναι η ελεύθερη πρόσβαση στα δεδομένα των πρωτότυπων επιστημονικών δημοσιεύσεων.
Ένας άλλος τρόπος όμως αφορά τη χρηματοδότηση της ίδιας της έρευνας: όπως εκτιμά ο Νόζεκ, η διάθεση του 3% των ερευνητικών κονδυλίων για βελτίωση της επαναληψιμότητας θα είχε μεγάλη διαφορά.
Σήμερα, λέει, το ποσοστό αυτό είναι σχεδόν μηδέν τοις εκατό.
Βαγγέλης Πρατικάκης
Newsroom ΔΟΛ
Σχόλια
Δημοσίευση σχολίου