להוציא את השד מהמגירהאקדמיהראשי

תגובות

להוציא את השד מהמגירה — 22 תגובות

  1. @dubikan אין ספק שזו בעיה בתחום, שמחתי לראות שיש מי שמנסה לפתור אותה.

      • @dubikan נכון, אבל במדעי החברה זה הרבה יותר חד. אולי זה בגלל שהרבה פעם המסגרת התאורטית היא גם מסגרת אידאולוגית.

  2. > כלומר: אחד מכל עשרים מחקרים בעלי מובהקות של 95 אחוז, הוא שגוי.

    לא בדיוק. אחד מכל עשרים מאמרים שגויים יצליח לעבור את הרף למובהקות של %95 (ויפורסם, אם זה הקריטריון היחידי).

    כמה מאמרים שגויים יתפרסמו תלוי בהסתברות אפריורי שמאמר יהיה שגוי.

  3. Other than that, well written. Since there's not much restrictions (space, cost) for on-line publishing, I think it's a very good idea to have negative results published.

  4. גם לי יש בעיה מסויימת עם הסטטיסטיקה כפי שהצגת אותה (וגם עם האפליקציה שלה, כלומר פרסום מאמר הוא לא רק פונקציה של ההצלחה בתוצאות הניסוי והמהמרים לא נדגמים אקראים, מסווגים לפי תוצאות הניסוי ומתפרסמים. חוץ מזה, אני חושב/ש שיש לא מעט פרסומים שגויים בגלל בעיות מתודולוגיות נסתרות יותר או פחות למרות שהסטטיסטיקה נראית נכונה).

    בקיצור, אני כאן רק בשביל להפנות לפוסט דומה משהו שכתבתי פעם באותו עניין ממש ועוסק בג'ורנל בשם journal of interesting negative results:
    http://www.sciencefriction.net/blog/2008/04/28/98/

  5. אגב, אם תחוש נוסטלגיה קלה, ניתן למצוא שני גליונות חדשים יותר של הידיעון (והאחרונים למיטב ידיעתי), שהעלתי כשהייתי אחראי על אתר המחלקה.
    http://politics.huji.ac.il/yedion7.pdf
    http://politics.huji.ac.il/yedion8.pdf
    כמי שערך עלון דומה בפונקציה שלו בב"ג, יש לי ביקורת רבה על האופן בה המחלקה בירושלים התנהלה עם עלון הסטודנטים שלה, עם הדגש שהושם על התבטאות של מרצים ולא במה רעיונית והתנסות לכתיבה פוליטית עבור הסטודנטים, כמו גם עם פיקוח כבד בהרבה על התכנים מאשר הוטל במחלקה לפוליטיקה וממשל בב"ג.

  6. אודי: תודה! משעשע לראות שהפורמט נשמר בדיוק כמו שעוצב מההתחלה.
    הטעות שלך היא לראות בידיעון עלון סטודנטים. הידיעון הוקם ביוזמת המחלקה, ומעולם לא נועד להוות קול עבור סטודנטים, אלא נועד יותר למטרות תדמית של המחלקה – ומכאן הדגש על עבודתם של מרצים ותלמידי התארים המתקדמים במחלקה. יאמר שלפחות בגליונות הראשונים ניסינו לשדל כתיבה מסטודנטים מחוץ למערכת הידיעון, בלי הצלחה יתרה. (למעשה, הפתיע אותי כמה קל לשדל את החוקרים לכתוב טור קצר או להתראיין, בעוד שהסטודנטים באופן כללי לא הביעו שום עניין).
    באשר לפיקוח מבחוץ, אין לי מושג איך היו הדברים תחת פודוקסיק, אבל אני ותמיר שפר פעלנו פחות או יותר כעורכים שווי דרגה (למרות שעקרונית לתמיר הייתה זכות ההכרעה, אני לא זוכר מקרה שבו לא הגענו להסכמה בנושא מסויים, לעיתים לצד שלי ולעיתים לצד שלו). הקמנו את הידיעון ביחד, הן מבחינת עיצוב והן מבחינת סוג התכנים והמדורים הקבועים – כל זה, כמובן, בכפוף למטרות שהוצבו לידיעון, שהן שונות, אם אני מבין נכון, ממטרותיו של העלון שיצא בב"ג.
    במקביל, אגב, ניסיתי לפעול כדי להקים כתב עת מקוון לסטודנטים, שנועד בדיוק להתנסות בכתיבה מדעית "לפרסום", אבל הדבר לא יצא לפועל, לצערי.

  7. דובי: ניתן היה לראות תופעה דומה גם בגיליונות שראו אור בזמני- להשיג כותבים מקרב הסטודנטים היה קשה מאוד. מי שעוסקים במחקר יעדיפו להתמקד בו, מי שעוסקים בחברותא האקדמית יעדיפו… לכתוב לבלוג או להתווכח במסדרון. בעיקר היה בסיס קבוע של כותבים, שלא הצליח להעמיד דור המשך. החוסר הזה התבטא גם בחוסר בכותבים וגם בחוסר העניין בידיעון, שערימותיו נחות בחדר הצילומים המחלקתי כאבן שמומלץ לא להופכה.
    אישית, איני רואה טעם מלא בפלטפורמה מקוונת פנים-מחלקתית להתנסות בכתיבה מדעית: מי שיכתוב בה הוא, סביר להניח, סטודנט ממוקד (אם בראשית דרכו אם מחקרי) שכבר נמצא בקשר עם המרצים המעניינים אותו, דרך הלימודים וחיבורים נוספים. מי שיבקר אותו, סביר שיהיה המרצה שעוסק בתחום בגו המחלקה, שהוא אותו המרצה שדיבר עם התלמיד טרם הפרסום המקוון. אם כבר, הקבוצה היחידה שכדאי לשלב אותה במהלך שכזה הם תלמידי המחקר האחרים (הדוקטורנטים והקבוצה המתמעטת של המסטרנטים), שתאבים להשמעת דעתם, אדרבא בביקורת. את הצורך לדיון הפנימי הזה ממלאת רשימת תפוצה לתלמידי מחקר, שניהל פרופ' דוד לוי פאור. בכל מקרה, התועלת שתופק ממאמץ כזה תהיה מעטה, והמאמץ להתעדכן בכתב העת הזה כאשר ישנם כה רבים אחרים שחובה להתעדכן בהם בעולם יוביל למיעוט משתתפים. זהו רעיון מעניין ליישום באופן פתוח לכלל האינטרנט, או אולי המשותף בין מחלקות (אם קרובות בתוך האוניברסיטה ואם בין האוניברסיטאות), ואדרבה באנגלית (גם אם זה יקטין את הכתיבה של סטודנטים מתחילים).

    ואגב תמיר שפר- הוא זכה לאחרונה לפרופסורה וממשיך ללמד במשותף בתקשורת ומדע המדינה.

  8. לא חשבתי על משהו מחלקתי, אלא כתב עת כללי יותר למדעי החברה.
    אגב, במחלקה שלנו יש כתב עת סטודנטיאלי שיוצא פעמיים בשנה ומפרסם מאמרים כמו-מדעיים של סטודנטים. זו מחלקה מאוד גדולה, אז אני מניח שיש לזה חלק בכך. אני חושב שעיקר התועלת לכותבים תהיה בהתנסות בתהליך העריכה והביקורת, שבד"כ סטודנטים לא מכירים. מצד שני, אני גם לא יודע מי בדיוק קורא את זה אם בכלל.

    אני שומר על קשר עם תמיר (שהיה גם המנחה שלי בתואר השני), אז אני יודע.

  9. ייתכן שהבעייה המדוברת כאן היא פועל יוצא של מחקרים שחייבים להיות כמותניים. כלומר, תופעת המחקרים שנכנסים למגירה היא ספציפית לתחומים מסויימים. שמחה שאני עוסקת במחקר איכותני (עם כל הבעייתיות שיש בו).

  10. אקדמית – מובן שזו בעיה של כמותניים בלבד. מצד שני, יש דבר שרק מחקר כמותני יכול לעשות (כשם שיש דברים שיש רק מחקרים איכותניים יכולים לעשות) והידע שלנו לעולם לא יהיה מלא אם לא נעזר בשתי השיטות.
    למחקר איכותני יש כל כך הרבה בעיות מתודולוגיות שבעיית המגירה פשוט לא נחשפת – זה לא לזכותו של המחקר הזה (ואני אומר את זה כמי שעכשיו עוסק במחקר מסוג זה).

  11. נדמה לי שלטעון שזו בעיה של כמותנים בלבד זה לא ממש רחוק מלטעון שאיכותנים לא באמת עושים מחקר אלא כותבים מה שבא להם.
    נכון, אין קריטריון סטטיסטי מוגדר וקשיח של רמת מובהקות נדרשת, ועדיין מחקר איכותני יכול להיגמר בכלום. נניח, סתם, שהחלטת שדור שני לניצולי שואה בקיבוצים נטו להיות הורים מאוד מתירניים כתגובה לדגם ההורות הבעייתי שהכירו וכפיצוי על ילדותם בבית הילדים. זה נשמע הגיוני לגמרי, ואתה מוצא איזה עשרה כאלה שמסכימים להתראיין ארוכות ולשחזר את ימיהם כהורים צעירים. זה מחקר איכותני, עד כמה שאני מבין, הוא בטח לא כמותני. אלא שאז אתה מגלה שכל אחד מהם מספר משהו אחר לגמרי על ההורות שלו ושרק שניים אולי מתאימים להשערה המקורית שלך. אני לא רואה את ההבדל בין זה לבין כשלון של מבחן סטטיסטי במחקר כמותני.

  12. שחר – ההבדל הוא בכך שבאין דרישות מתודולוגיות סטטיסטיות, אין בעיה עקרונית לקחת את הראיונות ולבנות מתוכן תאוריה חדשה שתתאים לממצאים. כמובן, גם במחקר כמותני אפשר לעשות את זה, אבל אני חושב שבמחקר איכותני יש לכך יותר לגיטימציה מתודולוגית (שאינה מוצדקת, מאותה הסיבה שנכונה למחקר כמותני), בעוד שבמחקר כמותני זה נחשב פחות או יותר לרמות.

  13. דובי –
    גם במחקר כמותי זה לגיטימי אם תראה שההשערה ה'נכונה' הזו מתאימה לעוד דטא אחר וחדש.
    זה אפילו מקובל להשתמש במה שנקרא development set*, כדי לבחון תאוריות ולכייל פרמטרים רק שאחרי זה צריך להראות את התוצאות גם על test set אמיתי.

    לגבי מחקר איכותני – האם אפשר להפריך מחקר כזה? כלומר האם יש דרך מקובלת לטעון שמחקר איכותני הוא מוטה/שגוי וכו'?

    בלי קשר, יצא לי פעם לקרוא ספר של אשר שקדי על מתודולוגיה של מחקר איכותני ואם אני זוכר נכון הוא מציג שם דרישות בלתי מתפשרות לגבי איסוף הנתונים (בהחלט לא מספיק לתפוס עשרה אנשים לשיחה), לגבי החלטות מוקדמות בקשר לאופי הראיונות, לפורמט שמירת הידע שנצבר בראיונות ואופן ניתוח הידע הזה. ממעט העבודות האיכותניות שקראתי נראה שהם לא עומדות באף אחד מהקריטריונים האלו. אולי כי המתודולוגיה הקשיחה שהוא מציע פשוט לא מקובלת ואולי כי היא כמעט ולא אפשרית ואולי כי אני לא נתקלתי בעבודות הנכונות. בכל אופן, כמי שמאמין שמחקר כמותי הוא לא חזות הכל, אני עדיין מתקשה לקבל את המסגרת של מחקר איכותני כתחליף.
    בראיה הנאיבית שלי, מחקר איכותני צריך להיות (לפעמים) השלב המקדים למחקר כמותי כי הוא מאפשר להפעיל את הכלים הסטטיסטיים בכיוונים יותר ממוקדים. פעמים אחרות הוא צריך לבוא כהשלמה לתהליך ניתוח התוצאות של המחקר הכמותי, בעיקר בתופעות מורכבות.

    *אלו מונחים מלמידת מכונה (וסטטיסטיקה) – משתמשים ב training set (גדול מאוד) על מנת ללמוד תופעה סטטיסטית ואז (לפעמים) משתמשים בעוד (יחסית) מעט דטא לכיול פרמטרים ובסוף בודקים הכל שוב על דטא חדש.

  14. שחר: במחקר איכותני, אתה לא תבוא עם שאלה כזו, ולכן קשה להניח ש'המחקר יגמר בכלום'.
    ההבדל בין מחקר איכותני לכמותני הוא עמוק יותר מאשר 'לעשות את אותו הדבר, רק בלי מספרים'. למשל, לא רק שהנחת אפס היא לא מקובלת במחקר איכותני – היא (לפי רוב התיאורטיקנים) ממש אסורה, בגלל האופי של המחקר – אם אתה מגיע עם הנחת מחקר, יש סיכוי לא רע שתאנוס אותה על השדה. הפרקטיקה המקובלת היא להגיע עם שאלת מחקר, בלי הנחות, ולחלץ את ההנחות מהשדה.
    כלומר, במחקר שלך, השאלה תהיה 'איזה דגם הורות נוטים לאמץ ילדי דור שני ללינה המשותפת'. נכון שעדיין יש אפשרות שלא יהיו לך ממצאים בכלל – תגלה שאין שום דפוס משמעותי של הורות בקרבם – אבל הסיכוי הרבה יותר נמוך מהסיכוי שתגלה שאין הבדל מובהק בין H0 ל-H1.

    אורן: אתה שואל ברצינות אם יש דרך לטעון שמחקר איכותני הוא מוטה או שגוי? ברור שכן. בד"כ באותו אופן שבו טוענים שמחקר כמותני הוא שגוי – מביאים דוגמאות נוספות, מהקשרים אחרים, שמראות שהמסקנה של החוקר מוטעית.

  15. נדב –
    שאלתי בחצי רצינות. כלומר נניח ששאלת המחקר היא, כפי שהצעת, איזה דגם הורות נוטים לאמץ ילדי דור שני ללינה המשותפת?'.
    אז מצאתי כמה אנשים וראיינתי אותם ארוכות. כמה אנשים אני צריך? נניח שראיינתי X אנשים (ונניח ש X>30, למרות שאני מבין שבד"כ X דווקא קטן משלושים). האם לא ברור שאוכל למצוא X אנשים אחרים שיציעו דגם אחר? ובכלל – איך נדגמו X האנשים האלו? האם הם מייצגים רק את קיבוצי התק"מ? או אולי רק את קיבוצי הצפון? או אולי רק את הקיבוצניקים שעושים כרגע תואר באוניברסיטה וגרים בעיר?
    ואיך אפשר להימנע מ"הובלת העד"? (הרי גם אם לא ניסחתי במפורש השערת 0, כנראה שיש לי אחת כזו ב[תת] מודע).

    ושוב, חשוב לי להבהיר שאני לא חושב שמחקר כמותי הוא חזות הכל ושבהחלט אפשר לקבל תובנות משמעותיות מראיונות עומק אבל אני חושש שקשה מאוד לתקף אותן, בטח כשהמתודולוגיה מאוד עמומה והמדגם קטנטן (כחלק מהשיטה).

  16. כמו תמיד – הויכוח בין חסידי המחקר האיכותני לבין חסידי המחקר הכמותי לעולם לא יסתיים אלא אם כן נבין שהקונספט של מהו מחקר איכותני ואלו יעדים השיטה האיכותנית מיועדת להשיג יובנו.
    לפי הספרות האחרונה העוסקת ב"ויכוח" – שתי השיטות קיימות זו לצד זו. ולא רק זה, מקובל להשתמש בשילובים מסוגים שונים, או מה שנקרא mixed methods .

    אבל זה כבר סוטה מהנושא דלעיל.

    אם במחקר כמותי אין מקום לתוצאת 0, כי כאן חייבת להיות מובהקות וכן הלאה, הרי שהמחקר האיכותני אינו מניח הנחות מראש ובלבד שיציג שאלה המחדשת משהו לגבי התחום הנחקר.
    לפיכך, תראו במרבית המחקרים האיכותניים סעיף שלם של מגבלות המחקר ובתוכם הקושי לעשות הכללה. האם זה פוסל את המחקר? מנקודת מבט איכותנית, לא !

  17. אורן: כל השאלות האלה, בדיוק כמו במחקר כמותני, הן שאלות שצריך לתת להן דין וחשבון בקטע של המתודולוגיה.

    אם בחרתי אנשים רק מקיבוצי התק,ם (ואם יש סיבה להניח שלהשתייכות התנועתית של הקיבוץ יש השפעה על התוצאות) – ברור שיבואו אלי בטענות, וברור שאפשר לערוך מחקר שיראה שזה נכון רק בתק"ם, ובשוה"צ יש משהו אחר לגמרי.

    ולא, לא 'ברור שתוכל למצוא X אנשים שיגידו משהו אחר". למה זה ברור לך, ולא ברור לך שאם אני אעביר את השאלון ל-500 אנשים אחרים אקבל תוצאה אחרת?
    הנחת היסוד של מחקר איכותני היא שיש משהו משותף לאנשים, ולכן כל הדור השני לקיבוצניקים יעצבו את ההורות שלהם באותה דרך. ואם X אנשים אחרים יגידו משהו אחר, הפרכת את המחקר שלי.
    די דומה, אגב, לפיזיקה. גם בפיזיקה, אם ב-LHC יצליחו לייצר את בוזון היגס, אף אחד לא יגיד להם 'אבל התוצאה לא מובהקת סטטיסטית. נאמין לכם רק אם תייצרו מדגם מייצג של בוזוני היגס'.
    ההנחה – גם כאן – היא שיש משהו משותף לכל בוזוני היגס, כמו לכל ילדי הדור השני לקיבוץ. ולכן לא צריך לחקור כל אחד ואחד מהם, אלא לזהות את 'המשהו המשותף' הזה.

  18. נדב: אוקיי, מקובל עליי, כבור מוחלט בתחום.
    אני עדיין מאמין שאם הבעיה שדובי מצביע עליה בפוסט מוגבלת למקר כמותני בלבד זה פחות או יותר שקול ללהגיד "מחקר איכותני משמעו לכתוב מה שבא לך".
    אנסה להבהיר:על עבודת הדוקטורט שלי אפשר להגיד במידה רבה שהיא מחקר איכותני בפיזיקה – בחרתי מודל אחד, לא מאוד ריאליסטי, אבל כזה שיש לו תכונות חשובות במשותף עם מודלים אחרים, ריאליסטיים ומעניינים יותר.
    את המודל שלי ניתחתי לעומק, אבל התוצאות שקיבלתי לא יכולות (בחלק מן המקרים) להוות בסיס לטענה כוללנית על המודלים הנוספים. כתוצאה מכך שני חלקים מהדוקטורט לא התקבלו לפרסום בכתבי עת והדרך היחידה למצוא אותם היא לקרוא את עבודת הדוקטורט עצמה.
    במלים אחרות, אני חושב שמחקר איכותני הרבה פעמים מסתיים בחוסר תוצאות (או לפחות תוצאות מעניינות). אל מול אינפלציית הפרסומים די ברור שמחקרים כאלה לא יתקבלו לפרסום בשום כתב עת, ולכן בעיית המגירה תקפה לחלוטין גם במחקר איכותני.

  19. פינגבאק: ומה זה FF#, לעזאזל ?

  20. שחר: אני נוטה לקבל (אם כי יש לי הסתייגות שמנסה לנסח את עצמה, ולא כל כך מצליחה). בכל אופן, זו בעיה שונה מהותית מהבעיה שדובי מנסח בפוסט, וגם לא ברור שיש צורך במקום לפרסום של דברים כאלו.

    בתיזה שלי יש פרק שיש בו אחלה רעיון, אבל כזה שהוביל אותי לדד-אנד, ושלא פיתחתי אותו הלאה. ללא הפיתוח הזה, הוא לא ממש ראוי לפרסום – לא כי הוא לא טוב מתודולוגית או תיאורטית, אלא כי הוא לא באמת מעניין אף אחד. בניגוד למחקר שהניב תוצאות שליליות, קשה להאמין שמישהו ירוויח מהפרסום של הרעיון הזה.