פבר' 23 2011
להוציא את השד מהמגירה
נייצ'ר פרסם טור שעוסק ב"בעיית המגירה" במחקר מדעי, ובהמשך צייץ קישורים לשני אתרים שמנסים לפתור את הבעיה הזו. זה הזכיר לי מאמרון שכתבתי פעם עבור ידיעון המחלקה למדע המדינה באונ' העברית, בו תפקדתי כעורך במשך שנתיים. מכיוון שאין גרסא אלקטרונית של הידיעונים, חשבתי שאולי כדאי לפרסם את הטקסט כאן. אז הנה הוא:
שלדים במגירה
מה קורה כשחוקר מצליח להוכיח כלום?
לד"ר קלי קייט, פסיכולוגית מאוניברסיטת ג'ורג'יה, היה רעיון למחקר. היא ניסחה שאלת מחקר והיפותזה, בנתה מערך מתודולוגי, עמלה במשך תקופה ארוכה באיסוף נתונים, וכשהגיעה סוף סוף לשלב הניתוח, היא גילתה שהכל היה לחינם. מסתבר שההיפותזה שלה לא ניתנת להוכחה בכלים בהם השתמשה. כתבי העת דחו את המאמר בזה אחר זה. גורלו של המאמר נגזר להיות זהה לזה של מספר לא ידוע של מחקרים אחרים שלא הצליחו להוכיח דבר, ולכן לא הצליחו למצוא את מקומם בכתבי העת המקובלים. אלו הם מאמרי המגירה.
אך מאמרי המגירה אינם סתם עוד מכשול טורדני בחייו של איש מדעי החברה. מדובר בבעיה אמיתית שמעיקה על חוקרים כמותניים, ומהווה כשל המעיב על תחומי מחקר רבים. הבעיה זכתה לשם "בעיית המגירה" (File Drawer Problem).במדעי החברה מקובל כי הסף הסטטיסטי לאישוש השערה הוא מובהקות של 95 אחוזים, או סיכוי של חמישה אחוזים בלבד כי התוצאה שהתקבלה במחקר היא מקרית, ולכן לא ניתן לשלול את הנחת האפס הקובעת כי אין קשר בין המשתנים הנבדקים. אך חמישה אחוזים עדיין מותירים סבירות סטטיסטית גבוהה לכך שמחקר אחד מכל עשרים יאשש סברה שגויה. כלומר: אחד מכל עשרים מחקרים בעלי מובהקות של 95 אחוז, הוא שגוי. כאשר רק מאמר שמצליח לאשש את ההיפותזה שלו זוכה להתפרסם, לוקה תחום המחקר בהטיה המקשה על קהילת החוקרים להגיע לחקר האמת.
לבעיית המגירה יש גם השלכות אחרות, הקשורות בגורם האנושי. כאשר החוקרים יודעים כי מחקרים שלא יאששו את ההיפותזה שלהם יתקשו להתפרסם, גובר הפיתוי לנסח מחדש את שאלת המחקר, בהתאם לתוצאות שהנתונים סיפקו, ואף יש חשש לשימוש בתעלולים סטטיסטיים כדי להוכיח טענה בניגוד לממצאים המקוריים.
גם זמנם היקר של החוקרים נופל קורבן לשד שבמגירה. בעוד מחקרים כושלים צוברים אבק במגירה, חוקרים אחרים עשויים לנסות ולבחון את אותו כיוון מחקר בדיוק, מבלי לדעת שכבר קיימים נתונים המצביעים על שלילת הסברה.
למזלה של ד"ר קייט, זמן קצר לפני שכתבה את מאמרה עלה לרשת אתר אינטרנט חדש – The Journal of Articles in Support of the Null Hypothesis, כתב העת למאמרים בפסיכולוגיה התומכים בהשערת האפס. כתב עת זה, בעריכת ד"ר סטיבן רייסן מאוניברסיטת המבולדט שבקליפורניה, מוקדש למאמרים בתחום הפסיכולוגיה שלא הצליחו לדחות את השערת האפס, ולא מצאו את דרכם לכתבי העת בתחומם. "כששמעתי לראשונה על בעיית המגירה, חשבתי שהפתרון הוא פשוט," אומר רייסן. "כל מה שצריך לעשות הוא לפתוח מקום שבו אפשר לשים את כל מחקרי האפס הללו." רייסן עדיין מאמין בנכונות הפתרון שלו, אילו רק אנשים היו משתמשים בו. על-פי רייסן, כתבי העת המרכזיים אמנם מקבלים מאמרים שכשלו באישוש ההיפותזה שלהם "אבל הם מקבלים חמישה מאמרי אפס, ו-95 מאמרים מובהקים."
לא כולם מסכימים עם רייסן על חשיבות הבעיה. פרופ' גדי וולפספלד, המשמש כסוקר מאמרים עבור מספר כתבי-עת, טוען כי בדרך-כלל, אין סיבה לפרסם מאמרים שכשלו בדחיית השערת האפס. "המטרה של מחקר היא לגלות איך אפשר להסביר תופעה שלא ידענו להסביר קודם," הוא אומר, "ואם אין קשר, אם לא הצלחנו למצוא הסבר, אז זה לא הישג גדול." לטענת וולפספלד, רק אם מדובר בהשערה שכולם מניחים אותה א-פריורי, וחוקר בודק אותה ומגלה שהיא שגויה, אזי יש מקום לפרסום – "וגם אז צריך לשכנע שהמתודולוגיה טובה."
וולפספלד טוען כי הבעיה עשויה להיות חמורה יותר בתחומי מחקר בהם מתבצעים ניסויים, אז קשה לבדוק יותר מקומץ של משתנים, ולכן ניתן לנסח רק השערה אחת במחקר. במדעי המדינה, לעומת זאת, מחקר אחד יכול לכלול מספר השערות. "לא כל ההשערות הללו חייבות לקבל אישוש מתוצאות המחקר. להפך – זה דווקא נותן יותר אמינות לחוקר אם חלק מהשערותיו התבדו."
סטיבן רייסן אינו מקבל את הדברים הללו. "בעיית המגירה נותנת לנו הרגשה מוטעית שחיפושי המידע שלנו בספרות הם שלמים. חוקרים ניגשים לבעיה עם תפיסה מוטעית של התחום. בסקר שערכתי לאחרונה בנושא, נתקלתי במקרה של חוקר שעסק בכתיבת התזה שלו, עד שבשלב כלשהו אמר לו חוקר מוערך בתחום כי סיכוייו להצליח קלושים. כל המחקר שהתפרסם בנושא בכתבי העת תמך בהשערה שלו, אבל במגירה היו עדויות שליליות יותר." רייסן אף קובל על כך שבימים בהם הכלל באקדמיה הוא "פרסם או העלם", המסר שמתקבל אצל הסטודנטים הוא שכל מחקר חייב להיות מובהק כדי להיות שווה את המאמץ.
פרופ' וולפספלד, לעומתו, מאמין כי לרשות קהילת המחקר עומדים כלים לנטרול הבעיה, למשל מדורי ה-Research Notes הקיימים בכתבי עת רבים. שם, הוא מעריך, תהיה נכונות גבוהה יותר לפרסם תוצאות שליליות של מחקרים, מבלי להזדקק למאמרים שלמים. אך גם כך, מסכים וולפספלד כי יש מידה של אשמה גם בחוקרים עצמם: "פעם, כל חוקר פירט במאמרים שכתב את כל תהליך המחקר, כולל הטעויות שלו. יש מקום להודות יותר בטעויות שלנו, ולא לנסות להראות כאילו כולנו גאונים שידעו מראש את תוצאות המחקר."
אגב, המקום בו קראתי לראשונה על הבעיה היה במאמר "מחקר חדש מגלה כי…" באייל הקורא.



