להוציא את השד מהמגירה

נייצ'ר פרסם טור שעוסק ב"בעיית המגירה" במחקר מדעי, ובהמשך צייץ קישורים לשני אתרים שמנסים לפתור את הבעיה הזו.  זה הזכיר לי מאמרון שכתבתי פעם עבור ידיעון המחלקה למדע המדינה באונ' העברית, בו תפקדתי כעורך במשך שנתיים. מכיוון שאין גרסא אלקטרונית של הידיעונים, חשבתי שאולי כדאי לפרסם את הטקסט כאן. אז הנה הוא:

שלדים במגירה

מה קורה כשחוקר מצליח להוכיח כלום?
לד"ר קלי קייט, פסיכולוגית מאוניברסיטת ג'ורג'יה, היה רעיון למחקר. היא ניסחה שאלת מחקר והיפותזה, בנתה מערך מתודולוגי, עמלה במשך תקופה ארוכה באיסוף נתונים, וכשהגיעה סוף סוף לשלב הניתוח, היא גילתה שהכל היה לחינם. מסתבר שההיפותזה שלה לא ניתנת להוכחה בכלים בהם השתמשה. כתבי העת דחו את המאמר בזה אחר זה. גורלו של המאמר נגזר להיות זהה לזה של מספר לא ידוע של מחקרים אחרים שלא הצליחו להוכיח דבר, ולכן לא הצליחו למצוא את מקומם בכתבי העת המקובלים. אלו הם מאמרי המגירה.
אך מאמרי המגירה אינם סתם עוד מכשול טורדני בחייו של איש מדעי החברה. מדובר בבעיה אמיתית שמעיקה על חוקרים כמותניים, ומהווה כשל המעיב על תחומי מחקר רבים. הבעיה זכתה לשם "בעיית המגירה" (File Drawer Problem).

במדעי החברה מקובל כי הסף הסטטיסטי לאישוש השערה הוא מובהקות של 95 אחוזים, או סיכוי של חמישה אחוזים בלבד כי התוצאה שהתקבלה במחקר היא מקרית, ולכן לא ניתן לשלול את הנחת האפס הקובעת כי אין קשר בין המשתנים הנבדקים. אך חמישה אחוזים עדיין מותירים סבירות סטטיסטית גבוהה לכך שמחקר אחד מכל עשרים יאשש סברה שגויה. כלומר: אחד מכל עשרים מחקרים בעלי מובהקות של 95 אחוז, הוא שגוי. כאשר רק מאמר שמצליח לאשש את ההיפותזה שלו זוכה להתפרסם, לוקה תחום המחקר בהטיה המקשה על קהילת החוקרים להגיע לחקר האמת.

לבעיית המגירה יש גם השלכות אחרות, הקשורות בגורם האנושי. כאשר החוקרים יודעים כי מחקרים שלא יאששו את ההיפותזה שלהם יתקשו להתפרסם, גובר הפיתוי לנסח מחדש את שאלת המחקר, בהתאם לתוצאות שהנתונים סיפקו, ואף יש חשש לשימוש בתעלולים סטטיסטיים כדי להוכיח טענה בניגוד לממצאים המקוריים.

גם זמנם היקר של החוקרים נופל קורבן לשד שבמגירה. בעוד מחקרים כושלים צוברים אבק במגירה, חוקרים אחרים עשויים לנסות ולבחון את אותו כיוון מחקר בדיוק, מבלי לדעת שכבר קיימים נתונים המצביעים על שלילת הסברה.

למזלה של ד"ר קייט, זמן קצר לפני שכתבה את מאמרה עלה לרשת אתר אינטרנט חדש – The Journal of Articles in Support of the Null Hypothesis, כתב העת למאמרים בפסיכולוגיה התומכים בהשערת האפס. כתב עת זה, בעריכת ד"ר סטיבן רייסן מאוניברסיטת המבולדט שבקליפורניה, מוקדש למאמרים בתחום הפסיכולוגיה שלא הצליחו לדחות את השערת האפס, ולא מצאו את דרכם לכתבי העת בתחומם. "כששמעתי לראשונה על בעיית המגירה, חשבתי שהפתרון הוא פשוט," אומר רייסן. "כל מה שצריך לעשות הוא לפתוח מקום שבו אפשר לשים את כל מחקרי האפס הללו." רייסן עדיין מאמין בנכונות הפתרון שלו, אילו רק אנשים היו משתמשים בו. על-פי רייסן, כתבי העת המרכזיים אמנם מקבלים מאמרים שכשלו באישוש ההיפותזה שלהם "אבל הם מקבלים חמישה מאמרי אפס, ו-95 מאמרים מובהקים."

לא כולם מסכימים עם רייסן על חשיבות הבעיה. פרופ' גדי וולפספלד, המשמש כסוקר מאמרים עבור מספר כתבי-עת, טוען כי בדרך-כלל, אין סיבה לפרסם מאמרים שכשלו בדחיית השערת האפס. "המטרה של מחקר היא לגלות איך אפשר להסביר תופעה שלא ידענו להסביר קודם," הוא אומר, "ואם אין קשר, אם לא הצלחנו למצוא הסבר, אז זה לא הישג גדול." לטענת וולפספלד, רק אם מדובר בהשערה שכולם מניחים אותה א-פריורי, וחוקר בודק אותה ומגלה שהיא שגויה, אזי יש מקום לפרסום – "וגם אז צריך לשכנע שהמתודולוגיה טובה."

וולפספלד טוען כי הבעיה עשויה להיות חמורה יותר בתחומי מחקר בהם מתבצעים ניסויים, אז קשה לבדוק יותר מקומץ של משתנים, ולכן ניתן לנסח רק השערה אחת במחקר. במדעי המדינה, לעומת זאת, מחקר אחד יכול לכלול מספר השערות. "לא כל ההשערות הללו חייבות לקבל אישוש מתוצאות המחקר. להפך – זה דווקא נותן יותר אמינות לחוקר אם חלק מהשערותיו התבדו."

סטיבן רייסן אינו מקבל את הדברים הללו. "בעיית המגירה נותנת לנו הרגשה מוטעית שחיפושי המידע שלנו בספרות הם שלמים. חוקרים ניגשים לבעיה עם תפיסה מוטעית של התחום. בסקר שערכתי לאחרונה בנושא, נתקלתי במקרה של חוקר שעסק בכתיבת התזה שלו, עד שבשלב כלשהו אמר לו חוקר מוערך בתחום כי סיכוייו להצליח קלושים. כל המחקר שהתפרסם בנושא בכתבי העת תמך בהשערה שלו, אבל במגירה היו עדויות שליליות יותר." רייסן אף קובל על כך שבימים בהם הכלל באקדמיה הוא "פרסם או העלם", המסר שמתקבל אצל הסטודנטים הוא שכל מחקר חייב להיות מובהק כדי להיות שווה את המאמץ.

פרופ' וולפספלד, לעומתו, מאמין כי לרשות קהילת המחקר עומדים כלים לנטרול הבעיה, למשל מדורי ה-Research Notes הקיימים בכתבי עת רבים. שם, הוא מעריך, תהיה נכונות גבוהה יותר לפרסם תוצאות שליליות של מחקרים, מבלי להזדקק למאמרים שלמים. אך גם כך, מסכים וולפספלד כי יש מידה של אשמה גם בחוקרים עצמם: "פעם, כל חוקר פירט במאמרים שכתב את כל תהליך המחקר, כולל הטעויות שלו. יש מקום להודות יותר בטעויות שלנו, ולא לנסות להראות כאילו כולנו גאונים שידעו מראש את תוצאות המחקר."

אגב, המקום בו קראתי לראשונה על הבעיה היה במאמר "מחקר חדש מגלה כי…" באייל הקורא.

22 תגובות בנושא “להוציא את השד מהמגירה”

  1. @dubikan אין ספק שזו בעיה בתחום, שמחתי לראות שיש מי שמנסה לפתור אותה.

      1. @dubikan נכון, אבל במדעי החברה זה הרבה יותר חד. אולי זה בגלל שהרבה פעם המסגרת התאורטית היא גם מסגרת אידאולוגית.

  2. > כלומר: אחד מכל עשרים מחקרים בעלי מובהקות של 95 אחוז, הוא שגוי.

    לא בדיוק. אחד מכל עשרים מאמרים שגויים יצליח לעבור את הרף למובהקות של %95 (ויפורסם, אם זה הקריטריון היחידי).

    כמה מאמרים שגויים יתפרסמו תלוי בהסתברות אפריורי שמאמר יהיה שגוי.

  3. Other than that, well written. Since there's not much restrictions (space, cost) for on-line publishing, I think it's a very good idea to have negative results published.

  4. גם לי יש בעיה מסויימת עם הסטטיסטיקה כפי שהצגת אותה (וגם עם האפליקציה שלה, כלומר פרסום מאמר הוא לא רק פונקציה של ההצלחה בתוצאות הניסוי והמהמרים לא נדגמים אקראים, מסווגים לפי תוצאות הניסוי ומתפרסמים. חוץ מזה, אני חושב/ש שיש לא מעט פרסומים שגויים בגלל בעיות מתודולוגיות נסתרות יותר או פחות למרות שהסטטיסטיקה נראית נכונה).

    בקיצור, אני כאן רק בשביל להפנות לפוסט דומה משהו שכתבתי פעם באותו עניין ממש ועוסק בג'ורנל בשם journal of interesting negative results:
    http://www.sciencefriction.net/blog/2008/04/28/98/

  5. אגב, אם תחוש נוסטלגיה קלה, ניתן למצוא שני גליונות חדשים יותר של הידיעון (והאחרונים למיטב ידיעתי), שהעלתי כשהייתי אחראי על אתר המחלקה.
    http://politics.huji.ac.il/yedion7.pdf
    http://politics.huji.ac.il/yedion8.pdf
    כמי שערך עלון דומה בפונקציה שלו בב"ג, יש לי ביקורת רבה על האופן בה המחלקה בירושלים התנהלה עם עלון הסטודנטים שלה, עם הדגש שהושם על התבטאות של מרצים ולא במה רעיונית והתנסות לכתיבה פוליטית עבור הסטודנטים, כמו גם עם פיקוח כבד בהרבה על התכנים מאשר הוטל במחלקה לפוליטיקה וממשל בב"ג.

  6. אודי: תודה! משעשע לראות שהפורמט נשמר בדיוק כמו שעוצב מההתחלה.
    הטעות שלך היא לראות בידיעון עלון סטודנטים. הידיעון הוקם ביוזמת המחלקה, ומעולם לא נועד להוות קול עבור סטודנטים, אלא נועד יותר למטרות תדמית של המחלקה – ומכאן הדגש על עבודתם של מרצים ותלמידי התארים המתקדמים במחלקה. יאמר שלפחות בגליונות הראשונים ניסינו לשדל כתיבה מסטודנטים מחוץ למערכת הידיעון, בלי הצלחה יתרה. (למעשה, הפתיע אותי כמה קל לשדל את החוקרים לכתוב טור קצר או להתראיין, בעוד שהסטודנטים באופן כללי לא הביעו שום עניין).
    באשר לפיקוח מבחוץ, אין לי מושג איך היו הדברים תחת פודוקסיק, אבל אני ותמיר שפר פעלנו פחות או יותר כעורכים שווי דרגה (למרות שעקרונית לתמיר הייתה זכות ההכרעה, אני לא זוכר מקרה שבו לא הגענו להסכמה בנושא מסויים, לעיתים לצד שלי ולעיתים לצד שלו). הקמנו את הידיעון ביחד, הן מבחינת עיצוב והן מבחינת סוג התכנים והמדורים הקבועים – כל זה, כמובן, בכפוף למטרות שהוצבו לידיעון, שהן שונות, אם אני מבין נכון, ממטרותיו של העלון שיצא בב"ג.
    במקביל, אגב, ניסיתי לפעול כדי להקים כתב עת מקוון לסטודנטים, שנועד בדיוק להתנסות בכתיבה מדעית "לפרסום", אבל הדבר לא יצא לפועל, לצערי.

  7. דובי: ניתן היה לראות תופעה דומה גם בגיליונות שראו אור בזמני- להשיג כותבים מקרב הסטודנטים היה קשה מאוד. מי שעוסקים במחקר יעדיפו להתמקד בו, מי שעוסקים בחברותא האקדמית יעדיפו… לכתוב לבלוג או להתווכח במסדרון. בעיקר היה בסיס קבוע של כותבים, שלא הצליח להעמיד דור המשך. החוסר הזה התבטא גם בחוסר בכותבים וגם בחוסר העניין בידיעון, שערימותיו נחות בחדר הצילומים המחלקתי כאבן שמומלץ לא להופכה.
    אישית, איני רואה טעם מלא בפלטפורמה מקוונת פנים-מחלקתית להתנסות בכתיבה מדעית: מי שיכתוב בה הוא, סביר להניח, סטודנט ממוקד (אם בראשית דרכו אם מחקרי) שכבר נמצא בקשר עם המרצים המעניינים אותו, דרך הלימודים וחיבורים נוספים. מי שיבקר אותו, סביר שיהיה המרצה שעוסק בתחום בגו המחלקה, שהוא אותו המרצה שדיבר עם התלמיד טרם הפרסום המקוון. אם כבר, הקבוצה היחידה שכדאי לשלב אותה במהלך שכזה הם תלמידי המחקר האחרים (הדוקטורנטים והקבוצה המתמעטת של המסטרנטים), שתאבים להשמעת דעתם, אדרבא בביקורת. את הצורך לדיון הפנימי הזה ממלאת רשימת תפוצה לתלמידי מחקר, שניהל פרופ' דוד לוי פאור. בכל מקרה, התועלת שתופק ממאמץ כזה תהיה מעטה, והמאמץ להתעדכן בכתב העת הזה כאשר ישנם כה רבים אחרים שחובה להתעדכן בהם בעולם יוביל למיעוט משתתפים. זהו רעיון מעניין ליישום באופן פתוח לכלל האינטרנט, או אולי המשותף בין מחלקות (אם קרובות בתוך האוניברסיטה ואם בין האוניברסיטאות), ואדרבה באנגלית (גם אם זה יקטין את הכתיבה של סטודנטים מתחילים).

    ואגב תמיר שפר- הוא זכה לאחרונה לפרופסורה וממשיך ללמד במשותף בתקשורת ומדע המדינה.

  8. לא חשבתי על משהו מחלקתי, אלא כתב עת כללי יותר למדעי החברה.
    אגב, במחלקה שלנו יש כתב עת סטודנטיאלי שיוצא פעמיים בשנה ומפרסם מאמרים כמו-מדעיים של סטודנטים. זו מחלקה מאוד גדולה, אז אני מניח שיש לזה חלק בכך. אני חושב שעיקר התועלת לכותבים תהיה בהתנסות בתהליך העריכה והביקורת, שבד"כ סטודנטים לא מכירים. מצד שני, אני גם לא יודע מי בדיוק קורא את זה אם בכלל.

    אני שומר על קשר עם תמיר (שהיה גם המנחה שלי בתואר השני), אז אני יודע.

  9. ייתכן שהבעייה המדוברת כאן היא פועל יוצא של מחקרים שחייבים להיות כמותניים. כלומר, תופעת המחקרים שנכנסים למגירה היא ספציפית לתחומים מסויימים. שמחה שאני עוסקת במחקר איכותני (עם כל הבעייתיות שיש בו).

  10. אקדמית – מובן שזו בעיה של כמותניים בלבד. מצד שני, יש דבר שרק מחקר כמותני יכול לעשות (כשם שיש דברים שיש רק מחקרים איכותניים יכולים לעשות) והידע שלנו לעולם לא יהיה מלא אם לא נעזר בשתי השיטות.
    למחקר איכותני יש כל כך הרבה בעיות מתודולוגיות שבעיית המגירה פשוט לא נחשפת – זה לא לזכותו של המחקר הזה (ואני אומר את זה כמי שעכשיו עוסק במחקר מסוג זה).

  11. נדמה לי שלטעון שזו בעיה של כמותנים בלבד זה לא ממש רחוק מלטעון שאיכותנים לא באמת עושים מחקר אלא כותבים מה שבא להם.
    נכון, אין קריטריון סטטיסטי מוגדר וקשיח של רמת מובהקות נדרשת, ועדיין מחקר איכותני יכול להיגמר בכלום. נניח, סתם, שהחלטת שדור שני לניצולי שואה בקיבוצים נטו להיות הורים מאוד מתירניים כתגובה לדגם ההורות הבעייתי שהכירו וכפיצוי על ילדותם בבית הילדים. זה נשמע הגיוני לגמרי, ואתה מוצא איזה עשרה כאלה שמסכימים להתראיין ארוכות ולשחזר את ימיהם כהורים צעירים. זה מחקר איכותני, עד כמה שאני מבין, הוא בטח לא כמותני. אלא שאז אתה מגלה שכל אחד מהם מספר משהו אחר לגמרי על ההורות שלו ושרק שניים אולי מתאימים להשערה המקורית שלך. אני לא רואה את ההבדל בין זה לבין כשלון של מבחן סטטיסטי במחקר כמותני.

  12. שחר – ההבדל הוא בכך שבאין דרישות מתודולוגיות סטטיסטיות, אין בעיה עקרונית לקחת את הראיונות ולבנות מתוכן תאוריה חדשה שתתאים לממצאים. כמובן, גם במחקר כמותני אפשר לעשות את זה, אבל אני חושב שבמחקר איכותני יש לכך יותר לגיטימציה מתודולוגית (שאינה מוצדקת, מאותה הסיבה שנכונה למחקר כמותני), בעוד שבמחקר כמותני זה נחשב פחות או יותר לרמות.

  13. דובי –
    גם במחקר כמותי זה לגיטימי אם תראה שההשערה ה'נכונה' הזו מתאימה לעוד דטא אחר וחדש.
    זה אפילו מקובל להשתמש במה שנקרא development set*, כדי לבחון תאוריות ולכייל פרמטרים רק שאחרי זה צריך להראות את התוצאות גם על test set אמיתי.

    לגבי מחקר איכותני – האם אפשר להפריך מחקר כזה? כלומר האם יש דרך מקובלת לטעון שמחקר איכותני הוא מוטה/שגוי וכו'?

    בלי קשר, יצא לי פעם לקרוא ספר של אשר שקדי על מתודולוגיה של מחקר איכותני ואם אני זוכר נכון הוא מציג שם דרישות בלתי מתפשרות לגבי איסוף הנתונים (בהחלט לא מספיק לתפוס עשרה אנשים לשיחה), לגבי החלטות מוקדמות בקשר לאופי הראיונות, לפורמט שמירת הידע שנצבר בראיונות ואופן ניתוח הידע הזה. ממעט העבודות האיכותניות שקראתי נראה שהם לא עומדות באף אחד מהקריטריונים האלו. אולי כי המתודולוגיה הקשיחה שהוא מציע פשוט לא מקובלת ואולי כי היא כמעט ולא אפשרית ואולי כי אני לא נתקלתי בעבודות הנכונות. בכל אופן, כמי שמאמין שמחקר כמותי הוא לא חזות הכל, אני עדיין מתקשה לקבל את המסגרת של מחקר איכותני כתחליף.
    בראיה הנאיבית שלי, מחקר איכותני צריך להיות (לפעמים) השלב המקדים למחקר כמותי כי הוא מאפשר להפעיל את הכלים הסטטיסטיים בכיוונים יותר ממוקדים. פעמים אחרות הוא צריך לבוא כהשלמה לתהליך ניתוח התוצאות של המחקר הכמותי, בעיקר בתופעות מורכבות.

    *אלו מונחים מלמידת מכונה (וסטטיסטיקה) – משתמשים ב training set (גדול מאוד) על מנת ללמוד תופעה סטטיסטית ואז (לפעמים) משתמשים בעוד (יחסית) מעט דטא לכיול פרמטרים ובסוף בודקים הכל שוב על דטא חדש.

  14. שחר: במחקר איכותני, אתה לא תבוא עם שאלה כזו, ולכן קשה להניח ש'המחקר יגמר בכלום'.
    ההבדל בין מחקר איכותני לכמותני הוא עמוק יותר מאשר 'לעשות את אותו הדבר, רק בלי מספרים'. למשל, לא רק שהנחת אפס היא לא מקובלת במחקר איכותני – היא (לפי רוב התיאורטיקנים) ממש אסורה, בגלל האופי של המחקר – אם אתה מגיע עם הנחת מחקר, יש סיכוי לא רע שתאנוס אותה על השדה. הפרקטיקה המקובלת היא להגיע עם שאלת מחקר, בלי הנחות, ולחלץ את ההנחות מהשדה.
    כלומר, במחקר שלך, השאלה תהיה 'איזה דגם הורות נוטים לאמץ ילדי דור שני ללינה המשותפת'. נכון שעדיין יש אפשרות שלא יהיו לך ממצאים בכלל – תגלה שאין שום דפוס משמעותי של הורות בקרבם – אבל הסיכוי הרבה יותר נמוך מהסיכוי שתגלה שאין הבדל מובהק בין H0 ל-H1.

    אורן: אתה שואל ברצינות אם יש דרך לטעון שמחקר איכותני הוא מוטה או שגוי? ברור שכן. בד"כ באותו אופן שבו טוענים שמחקר כמותני הוא שגוי – מביאים דוגמאות נוספות, מהקשרים אחרים, שמראות שהמסקנה של החוקר מוטעית.

  15. נדב –
    שאלתי בחצי רצינות. כלומר נניח ששאלת המחקר היא, כפי שהצעת, איזה דגם הורות נוטים לאמץ ילדי דור שני ללינה המשותפת?'.
    אז מצאתי כמה אנשים וראיינתי אותם ארוכות. כמה אנשים אני צריך? נניח שראיינתי X אנשים (ונניח ש X>30, למרות שאני מבין שבד"כ X דווקא קטן משלושים). האם לא ברור שאוכל למצוא X אנשים אחרים שיציעו דגם אחר? ובכלל – איך נדגמו X האנשים האלו? האם הם מייצגים רק את קיבוצי התק"מ? או אולי רק את קיבוצי הצפון? או אולי רק את הקיבוצניקים שעושים כרגע תואר באוניברסיטה וגרים בעיר?
    ואיך אפשר להימנע מ"הובלת העד"? (הרי גם אם לא ניסחתי במפורש השערת 0, כנראה שיש לי אחת כזו ב[תת] מודע).

    ושוב, חשוב לי להבהיר שאני לא חושב שמחקר כמותי הוא חזות הכל ושבהחלט אפשר לקבל תובנות משמעותיות מראיונות עומק אבל אני חושש שקשה מאוד לתקף אותן, בטח כשהמתודולוגיה מאוד עמומה והמדגם קטנטן (כחלק מהשיטה).

  16. כמו תמיד – הויכוח בין חסידי המחקר האיכותני לבין חסידי המחקר הכמותי לעולם לא יסתיים אלא אם כן נבין שהקונספט של מהו מחקר איכותני ואלו יעדים השיטה האיכותנית מיועדת להשיג יובנו.
    לפי הספרות האחרונה העוסקת ב"ויכוח" – שתי השיטות קיימות זו לצד זו. ולא רק זה, מקובל להשתמש בשילובים מסוגים שונים, או מה שנקרא mixed methods .

    אבל זה כבר סוטה מהנושא דלעיל.

    אם במחקר כמותי אין מקום לתוצאת 0, כי כאן חייבת להיות מובהקות וכן הלאה, הרי שהמחקר האיכותני אינו מניח הנחות מראש ובלבד שיציג שאלה המחדשת משהו לגבי התחום הנחקר.
    לפיכך, תראו במרבית המחקרים האיכותניים סעיף שלם של מגבלות המחקר ובתוכם הקושי לעשות הכללה. האם זה פוסל את המחקר? מנקודת מבט איכותנית, לא !

  17. אורן: כל השאלות האלה, בדיוק כמו במחקר כמותני, הן שאלות שצריך לתת להן דין וחשבון בקטע של המתודולוגיה.

    אם בחרתי אנשים רק מקיבוצי התק,ם (ואם יש סיבה להניח שלהשתייכות התנועתית של הקיבוץ יש השפעה על התוצאות) – ברור שיבואו אלי בטענות, וברור שאפשר לערוך מחקר שיראה שזה נכון רק בתק"ם, ובשוה"צ יש משהו אחר לגמרי.

    ולא, לא 'ברור שתוכל למצוא X אנשים שיגידו משהו אחר". למה זה ברור לך, ולא ברור לך שאם אני אעביר את השאלון ל-500 אנשים אחרים אקבל תוצאה אחרת?
    הנחת היסוד של מחקר איכותני היא שיש משהו משותף לאנשים, ולכן כל הדור השני לקיבוצניקים יעצבו את ההורות שלהם באותה דרך. ואם X אנשים אחרים יגידו משהו אחר, הפרכת את המחקר שלי.
    די דומה, אגב, לפיזיקה. גם בפיזיקה, אם ב-LHC יצליחו לייצר את בוזון היגס, אף אחד לא יגיד להם 'אבל התוצאה לא מובהקת סטטיסטית. נאמין לכם רק אם תייצרו מדגם מייצג של בוזוני היגס'.
    ההנחה – גם כאן – היא שיש משהו משותף לכל בוזוני היגס, כמו לכל ילדי הדור השני לקיבוץ. ולכן לא צריך לחקור כל אחד ואחד מהם, אלא לזהות את 'המשהו המשותף' הזה.

  18. נדב: אוקיי, מקובל עליי, כבור מוחלט בתחום.
    אני עדיין מאמין שאם הבעיה שדובי מצביע עליה בפוסט מוגבלת למקר כמותני בלבד זה פחות או יותר שקול ללהגיד "מחקר איכותני משמעו לכתוב מה שבא לך".
    אנסה להבהיר:על עבודת הדוקטורט שלי אפשר להגיד במידה רבה שהיא מחקר איכותני בפיזיקה – בחרתי מודל אחד, לא מאוד ריאליסטי, אבל כזה שיש לו תכונות חשובות במשותף עם מודלים אחרים, ריאליסטיים ומעניינים יותר.
    את המודל שלי ניתחתי לעומק, אבל התוצאות שקיבלתי לא יכולות (בחלק מן המקרים) להוות בסיס לטענה כוללנית על המודלים הנוספים. כתוצאה מכך שני חלקים מהדוקטורט לא התקבלו לפרסום בכתבי עת והדרך היחידה למצוא אותם היא לקרוא את עבודת הדוקטורט עצמה.
    במלים אחרות, אני חושב שמחקר איכותני הרבה פעמים מסתיים בחוסר תוצאות (או לפחות תוצאות מעניינות). אל מול אינפלציית הפרסומים די ברור שמחקרים כאלה לא יתקבלו לפרסום בשום כתב עת, ולכן בעיית המגירה תקפה לחלוטין גם במחקר איכותני.

  19. שחר: אני נוטה לקבל (אם כי יש לי הסתייגות שמנסה לנסח את עצמה, ולא כל כך מצליחה). בכל אופן, זו בעיה שונה מהותית מהבעיה שדובי מנסח בפוסט, וגם לא ברור שיש צורך במקום לפרסום של דברים כאלו.

    בתיזה שלי יש פרק שיש בו אחלה רעיון, אבל כזה שהוביל אותי לדד-אנד, ושלא פיתחתי אותו הלאה. ללא הפיתוח הזה, הוא לא ממש ראוי לפרסום – לא כי הוא לא טוב מתודולוגית או תיאורטית, אלא כי הוא לא באמת מעניין אף אחד. בניגוד למחקר שהניב תוצאות שליליות, קשה להאמין שמישהו ירוויח מהפרסום של הרעיון הזה.

סגור לתגובות.