כיצד מודדים הצלחה של מחאה חברתית?

כמה מילים על מדדים ועל הערכה

“מהם המדדים להצלחת המחאה החברתית של 2011?” הייתה השאלה שהוצגה למשתתפי הפנל בכנס “בהערכה רבה 2015” שעסק בהערכת שינוי חברתי.

המושגים מדדים ומדידה נשמעים הרבה בשיח סביב ההערכה, וגם בשיח סביב מינהל תקין. אין כנס או יום עיון שהנושא אינו נדון בו. מדדים הם חשובים. הם מאפשרים לנו לדעת איפה הנושא שעבורו יצרנו מדד נמצא ביחס לקריטריונים שונים. הם מאפשרים בקרה ומעקב, וגם תכנון מושכל.

אני רוצה לטעון א. שהעיסוק במדדים מקטין ומרדד את הכוח של ההערכה, גם הערכה חינוכית וגם הערכת תוכניות, מכיוון שהערכה יכולה וגם צריכה לעשות הרבה יותר מזה. ו-ב. ששימוש לא מושכל במדדים רב נזקו על תועלתו.

נוטים לבלבל בין מדידה לבין מדדים, וחשוב להבחין ביניהם. מטרת המדידה היא למצוא גודל של מאפיין ניתן לתצפית או להתאים ערך מספרי לתכונה. לא כל מדידה עוסקת במדדים או יוצרת מדדים, ולכן חשוב לדעת על מה אנחנו מדברים כשאנחנו אומרים “מדד”.

מדד הוא מספר שמייצג כמות או רמה של מאפיין מסוים לצורך השוואה של אותו מאפיין בזמנים, במקומות או במקרים שונים או כלפי קריטריון.

שתי מילות המפתח כאן הן “מספר” ו”השוואה”. על מנת שלמדד יהיה תוקף והוא אכן ייצג את מה שהוא אמור לייצג, עלינו להיות בטוחים בשלושה דברים.

א. שהמאפיין שעבורו אנחנו יוצרים מדד ניתן לייצוג מספרי,

ב. שהייצוג המספרי לוקח בחשבון ומשקלל בתוכו את כל הגורמים הרלוונטיים (את סוגיית הרלוונטיות אדגים בהמשך),

ג. עלינו להיות בטוחים שמדידות שונות של אותו מדד הן אכן ברות השוואה. למשל, אם אנחנו רוצים להשוות ציוני בחינות לאורך זמן, עלינו להיות בטוחים שהבחינות המושוות אכן בוחנות את אותם ממדים ומרכיבים של ידע ומיומנויות, שאם לא כך הוא – אין בסיס להשוואה. וכאשר ההשוואה היא מטעה, ההסתמכות על ממצאיה עלולה להוביל למסקנות מוטעות ולפעולות לא יעילות או אף מזיקות שנובעות מאותן מסקנות.

אז האם ניתן לבנות מדדים להצלחת המחאה החברתית של 2011?

השאלה הראשונה שחשוב לשאול היא לשם מה? מה יתנו לנו המדדים האלה?

השאלה השנייה היא לאילו מדדים אנחנו רוצים להשוות אותם?

התשובה המיידית לשאלה הראשונה תהיה “בשביל לדעת אם המחאה הצליחה.” מיד נבחן באילו תנאים נוכל לקבל לשאלה זו תשובה, ואם המדדים יעזרו לנו בכך. לצורך כך ננסה לענות לשאלה השנייה, מהם מדדי ההשוואה, ונבחן מהם המדדים הרלוונטיים, אם בכלל.

לשאלה השנייה ישנן שתי תשובות אפשריות. האחת, המתבקשת: השוואה למדדי הצלחה של מחאות אחרות. השנייה: השוואה למדדי קריטריון של הצלחת המחאה.

המילה “הצלחה” מופיעה הרבה גם בכותרת וגם בקטעים האחרונים. ולא בכדי. הרי את ההצלחה אנחנו רוצים לבחון באמצעות מדדי ההצלחה. על מנת לבנות את מדדי ההצלחה אנחנו צריכים לדעת מהי הצלחה. איך נדע מהי הצלחה? באמצעות מדדי ההצלחה? יש חור בדלי. או במילים אחרות טאוטולוגיה ומבוי סתום. לא טוב. אז איך כן? בהמשך.

בואו ננסה דרך אחרת לבנות מדדים להצלחת המחאה. נבנה מדדים למידת השגת מטרותיה. זוהי פרקטיקה מקובלת בהערכה. מנסחים מטרות לפעולה. מה היא רוצה להשיג, לאן היא שואפת להגיע, וברגע שהמטרות ברורות ניתן בדרך כלל לבנות להן מדדים.

כאן יש לנו קושי אחר. הקושי להגדיר למחאה החברתית של 2011 מטרות. מטרות “מחאת הקוטג'” או “מחאת המילקי” הן ברורות יחסית – הורדת מחירים. מה היו מטרות המחאה ב-2011? תלוי את מי שואלים. הביטוי “צדק חברתי” היה באוויר. אבל מהו בדיוק צדק חברתי? לאיזה צדק חברתי התכוונו מיליון איש שהתכנסו בכיכר המדינה? אולי אין לכך מיליון תשובות שונות, אבל כמה עשרות בוודאי שישנן.

יש מצבים ברורים קצת יותר. למשל מטרה כללית של תוכנית התערבות קהילתית: “לשפר את איכות החיים של הקשישים בשכונה.” בדרך כלל מקובל לתת הגדרות אופרטיביות למושגים השונים. למשל מי מוגדרים כקשישים (חשוב מאד. חשוב שהתוכניות יגיעו לאוכלוסיות שאליהן יועדו), וכיצד מוגדרת “איכות חיים.” “איכות חיים” יכולה להיות דברים שונים לאנשים שונים, וההגדרה הרלוונטית למעריכים היא ההגדרה שהתוכנית משתמשת בה. אחד התפקידים הראשונים של המעריך הוא להשוות את ההגדרה של התוכנית להגדרות מקובלות בתחום. במקרה שלנו נניח שהתוכנית מציינת “הקלה על בדידות, והגברת נגישות לשירותים קהילתיים (מרפאה, מכולת) וחברתיים (מועדון לקשיש, ספרייה).” לכל הדברים שצוינו כאן ניתן להגדיר קריטריונים ישימים, ולבנות מדדים אל מול הקריטריונים האלה. זה לגמרי לא פשוט, אבל אפשרי שכן יש לנו מטרות מוגדרות, אמצעים ידועים וקריטריונים רלוונטיים.

כפי שהבטחתי אני רוצה להרחיב כמה מילים על הרלוונטיות של קריטריונים ושל מדדים.

דוגמא נפוצה מאד למדד – ציונים. אקטין קצת את המרחב לציון של בחינה אחת. האם כל ציון הוא מדד? מדובר אמנם בייצוג מספרי. אבל יש לנו עוד שני קריטריונים: א. הציון צריך לשקלל את המשתנים הרלוונטיים, ו-ב. הוא צריך להיות בר השוואה. כלומר על מנת להפוך ציון למדד רלוונטי עלינו לענות על כמה שאלות, כמו למשל מהם המשתנים הרלוונטיים? מה רוצים לבחון? כל נושאי הלימוד בצורה שווה? רק ידע או גם מיומנויות? איזה ידע? אילו מיומנויות? באיזה מינון? איך משקללים את כל אלו למדד אחד? זה בשלב ראשון. ואחרי שבחנו את כל אלה, צריך להקפיד שאותם דברים בדיוק מיושמים גם במבחנים הבאים, כך שהציונים יהיו אכן בני השוואה. הרבה דברים עלינו לבחון. והתשובות אינן פשוטות. וזה כשיש תוכנית לימודים ידועה ומטרות חינוכיות ולימודיות מוגדרות.

ככל שהתופעה הופכת מורכבת יותר. ככל שיש יותר גורמים מתערבים, מתווכים ומשפיעים ומושפעים הדדית, הופכת בניית המדדים להיות יותר ויותר בעייתית. הפתרון שרובנו נוקטים בו הוא להקטין את המורכבות באמצעות מיון הגורמים המשפיעים, המתערבים והמתווכים לקטגוריות ובניית הגדרות אופרציונליות מדויקות. נכון שהורדנו את המורכבות של התופעה, מצד שני איבדנו חלקים מהתמונה. הרבה פעמים החלקים שאיבדנו הם היותר משמעותיים.

כשיש לנו תופעה משתנה, מושפעת ומשפיעה – המדדים מעוורים אותנו. אנחנו רואים רק את המדד ומאבדים את התמונה. למשל אחוז בעלי דירות מקרב יוצאי אתיופיה גבוה – מדד חיובי. המצב המורכב, ההתכנסות של הדירות הזולות באזורים חלשים יוצרת כיסי מצוקה. דווקא הבעלות על דירות מקשה את היציאה מהם. דוגמה אחרת: אחוז המתגייסים מקרב יוצאי אתיופיה גבוה בהשוואה לאוכלוסיות אחרות. מדד חיובי. התמונה המורכבת – אחוז האסירים יוצאי אתיופיה בבתי כלא צבאיים גבוה בהרבה מהאחוז היחסי של יוצאי אתיופיה בקרב החיילים. הסתכלות רק על מדד ההתגייסות מטעה ומעורר אשליה שהכל בסדר. ואז קל להתעלם מהעובדה שדרושה הכנה טובה יותר של המתגייסים, ושאין קליטה נכונה שלהם בצבא.

בקישורים הבאים מאמרים שדנים בסוגיה הזו של הסכנות הטמונות בעבודה לא נכונה עם מדדים.

בקישור הראשון “הכל מדיד?” מראיין יורם הרפז את שמשון שושני בתום הקדנציה השלישית שלו כמנכ”ל משרד החינוך. שושני מביע את דעתו והרפז מתווכח איתה.

http://yoramharpaz.com/interviews/2011_12a.pdf

בקישור השני מאמר ב”הארץ” שכותרתו “הדיקטטורה של האקסל” וטענתו המרכזית היא שההשתעבדות למדדים כמותיים משפיעה על חיי היום-יום לא פחות מפשע ומשחיתות, ובוודאי יותר מטרור, ושבטווח הארוך, זהו איום חמור בהרבה.

http://www.haaretz.co.il/magazine/the-edge/.premium-1.2825789

בקישור השלישי מאמר בניו יורק טיימס שמסביר כיצד מדדים לא טובים הוליכו שולל אנשי חינוך ואנשי בריאות.

<http://www.nytimes.com/2016/01/17/opinion/sunday/how-measurement-fails-doctors-and-teachers.html?src=me

אז איך בכל זאת יודעים אם המחאה החברתית של 2011 הצליחה? כנראה שלא באמצעות מדדים. גודל ההפגנות זה דבר שקל למדוד. האם זה מצביע על הצלחת המחאה? היום ב-2016? כנראה שזה לא מדד מתאים. כאשר אנחנו רוצים לבדוק איכות של יין, אנחנו לא סופרים בקבוקים.

כל קריטריון שנחשוב עליו יהיה מורכב מאד. חברי כנסת שנכנסו לכנסת בעקבות המחאה? האם סדר היום הפוליטי שלהם קשור למחאה? ומה זה נקרא “סדר יום שקשור למחאה?” מהו סדר היום של המחאה שאותו אמורים חברי הכנסת להמשיך?

מילון המושגים השתנה. כולם “חברתיים”. מה המשמעות המעשית של המושג? האם באמת השתנו שיקולי השרים והממשלה? האם השתנתה הדרך שבה מקשיבים אזרחי ישראל לנאומיו של שר האוצר?

לדעתי אפשר לבחון אם המחאה הצליחה ובמה, במה נכשלה, ומה אפשר ללמוד ממנה לקראת המחאה הבאה אם תקום. אבל זה דורש קני מידה חכמים. עמוקים. מרובי פנים. שניתן להשיג למשל באמצעות רב שיח של מומחים (סוציולוגים, היסטוריונים, עיתונאים..) שידונו בסוגיה מהיבטיה הרבים. ובמקרה הזה – שלא יסכימו, שיתדיינו – והדיון יאיר לנו פינות שלא חשבנו עליהן, יעזור לנו להבין את המורכבות, וייצר עבורנו ידע חדש על מחאה חברתית שאיננו רדוד, או מעוות על ידי מספרים חסרי משמעות.

המסקנות שלי הן שתיים. הראשונה – להשתמש במדדים בזהירות. גם משום שלא לכל דבר ניתן להצמיד מדד. וגם משום ששימוש במדדים לא מספיקים, חלקיים או לא רלוונטיים הוא מטעה ועלול להיות מסוכן.

השנייה – ישנם מקרים, והם לא מועטים, שבהם נלמד הרבה יותר, הן כמעריכים והן כמוערכים אם במקום לפשט את המורכבות ולפרק אותה לגורמים, ננסה דווקא להבין אותה על כל צדדיה ופניה.

אבל על כך בפעם הבאה.