כשאנחנו מדברים על הערכה של תכניות ופרויקטים אבל גם על הערכת מיזמים שונים, הערכת עובדים וכל כיוצא באלה, אנחנו מדברים על מוסד חברתי מודרני. ואסביר.

מוסד הוא פתרון מוסדר וידוע שכל חברה מוצאת לעצמה לפתרון של אתגר או סוגיה חברתית. “משפחה” למשל, על מאפייניה השונים בחברות ובתרבויות שונות, באה לפתור בין היתר את בעיית ההתרבות האנושית והדאגה לצאצאים ולגידולם, באופן שיתאים למבנה החברה ולתרבותה. לכל קבוצה תרבותית הגדרה שמתאימה לה של מה נחשב “משפחה”, מה נכון ומה לא נכון לעשות במסגרת משפחתית. מהי הורות נכונה וכדומה.

מוסדות גדולים אחרים הם חינוך. לכל חברה הפתרונות המוסדרים והממוסדים שלה של איך להעביר את הידע והתרבות של אותה חברה לדור הבא. או מוסד ה”דת”, שכולל את מבנה האמונה, אבל גם את ההתארגנות החברתית בהקשר הזה. התארגנות שכוללת ארגונים, תפקידים, טקסים ונוהלים.

באופן דומה, ההערכה היא מוסד חברתי. תפקידה, בהקשר הזה, לתת פתרון לסוגיית הסטנדרטים והקריטריונים של תהליכים ותוצרים בחברה המודרנית. בשונה מיחסים בינאישיים בחברה המסורתית שהם בין אנשים, ברוב המקרים מוכרים, ייחודה של החברה המודרנית בהשוואה לחברות מסורתיות היא ריבוי היחסים בין תפקידים. אנחנו בקשר עם פקיד הבנק, נהגת האוטובוס, המורה, השוטר, הרופאה, מוכר הכרטיסים והזבן בסופרמרקט. אנחנו מסתמכים על מהנדסים שבונים גשרים ובניינים, ועל חוקרים שמייצרים תרופות או שולחים לוויינים לחלל.  כל זה שונה מאד מההיכרות האינטימית עם הנפח של הכפר או הנגר של הכפר, עם הכומר ועם המורה, בחברה המסורתית.

ההערכה היא המוסד החברתי שאמון על בדיקת העמידה בסטנדרטים והקריטריונים של התוצרים והתהליכים, ומידת האפקטיביות של תוכניות ומיזמים. ואכן אופנים שונים של הערכה כתהליך בדיקה פורמאלי, החל מראיית חשבון וכלה בבקרת איכות מצויים בכל תחום של חיינו. הערכת תוכניות ופרויקטים היא חלק מאותו מוסד, כשההתמחות של התחום היא הערכת תוכניות ופרויקטים בתחומים מתחומים שונים החל מחקלאות, דרך חינוך וחברה וכלה ברפואה.

כמוסד חברתי הערכה נמצאת ביחסי גומלין עם ערכים ואמונות חברתיות. עם שינויים חברתיים ותהליכים פוליטיים וכלכליים. והיא משפיעה ומושפעת כל הזמן.

יכולתה של ההערכה להשפיע הופכת את ההערכה למעשה פוליטי. למעשה ההערכה רוויה בפוליטיקה.

היא נובעת ממדיניות;

היא מבטאת מדיניות;

היא מזינה מדיניות;

משחק פוליטי והשפעה על יחסי כוחות בתוך המוערך ומחוצה לו הם חלק בכל פעול הערכה;

לאופן שבו היא נעשית ולקריטריונים שלה יש השפעה גדולה על המוערך. וכפי שכבר אמר מייקל פטון: “הערכה אינה פוליטית כאשר לאף אחד לא אכפת מהתוכנית המוערכת; אף אחד אינו יודע על התוכנית המוערכת; כסף אינו מעורב וגם כוח וסמכות אינם שיקול.”( Patton, 1997)

כדי לחזק טענה זו די אם נתבונן בקורה היום בעולם בתחום ההערכה. גופים פיננסיים גדולים וחזקים וגופים אחרים בעלי השפעה עולמית מעורבים היום באופן משמעותי ביותר בשדה ההערכה. לדוגמה, הבנק העולמי מקים ארגוני הערכה ברחבי אפריקה, הממשל הפדרלי בארצות הברית מכתיב סטנדרטים להערכה ולמחקר, האיחוד האירופי ממנה נציבי הערכה במדינות המצטרפות לאיחוד, ממשלות ברוב מדינות אירופה מפעילות יחידות הערכה, האו”ם וסוכנויות שונות שלו מפעילים הערכה ומקיימים הכשרות למעריכים, ה-OECD שותף לארגוני הערכה בינלאומיים חזקים. קמו גופי הערכה רבי-עצמה (כגון NONIE –  התארגנות שמאחדת בתוכה 70 ארגונים, ביניהם מחלקת ההערכה של האו”ם, הבנק העולמי, ה-OECD-DAC, וארגונים לאומיים במדינות מתפתחות) שמכתיבים במידה רבה את שאלות ההערכה ואת דרכי ההערכה בחלק ניכר מגופים אלה, ומכאן גם בעולם (ראו למשל: (http://www.worldbank.org/ieg/nonie/ או http://www.oecd.org/oecdworldforum).

וכל זה לא בהכרח מכוונות טובות. במקרים רבים משלבים הערכה במקומות שבהם רוצים לשנות דפוסי התנהגות קיימים ולהחדיר דפוסים חדשים. הבנק העולמי שמקים ארגוני הערכה בכל אפריקה ובמדינות מתפתחות, מחפש שליטה ופיקוח על השקעות ומשאבים שלו ושל אחרים באמצעות החדרת נוהלי ניהול וארגון שמתאימים לו.

התפישה בארה”ב היא תפישה של סטנדרטים ופיקוח באמצעותם. גם האו”ם מעוניין לפקח על פעילות הסניפים הרבים שלו, הכספים שמועברים דרכם, על דרכי השקעת הכספים והאפקטיביות שלהם.

והאיחוד האירופאי ממנה נציבי הערכה – evaluation commissioners – על מנת להשתית תרבות שלטונית שהוא יכול לחיות איתה.

הזכרתי שהערכה משפיעה ומושפעת. להשפעות ההדדיות יש כמה רמות. הרמה החמקמקה ביותר, ואולי החשובה ביותר היא הרמה של הערכים והתפישות החברתיות של מה נכון ואיך אנחנו רוצים שהדברים יראו. ערכים ותפישות שעומדים בבסיס הקריטריונים והסטנדרטים שלנו, ועוד קודם בבסיס שאלות ההערכה שאנו שואלים. מהו גשר טוב? מהו תכנון נכון של שירותים רפואיים? קליטה טובה של עולים? מאחורי השאלות האלה והתשובות להן עומדת השקפת עולם חברתית.

דוגמה טובה להזנה ההדדית שבין ההערכה לתפישות חברתיות הם המבחנים הבינלאומיים במערכת החינוך. מאיזו נקודה שלא נתחיל במעגל ההשפעות ההדדיות, אם מתבוננים – הן ברורות לעין. הבחינות סימנו למערכת החינוך נקודת תורפה, מערכת החינוך התגייסה בדרכים שונות להתגבר עליהן. תוך כדי כך נפתח דיון ציבורי על מטרות החינוך, שבעקבותיו חלו שינויים בתפישה הציבורית לגבי חשיבותן של מטרות מסוימות. המטרות האלה נבדקו על ידי גורמי הערכה שונים וחוזר חלילה. בפיזה האחרון שמה ההערכה על השולחן את סוגית צמצום הפערים בחברה. בפעמים קודמות נסב השיח על חשיבות החינוך המדעי. כמובן שעצם ההשתתפות של ישראל במבחנים הבינלאומיים נובעת מהשקפת עולם חינוכית ופוליטית שגם סביבה מתנהל שיח ציבורי. ויש אנשי חינוך בולטים שמתנגדים להם, או ממעיטים בחשיבותם. בולטת בהם היא שרת החינוך לשעבר, הפרופסור יולי תמיר.

קל להביא דוגמאות מתחום החינוך, מכיוון שזהו התחום המוערך ביותר בישראל, ובאופן שיטתי וגורף. וגם זו כמובן אמירה חברתית וערכית. (גם העובדה שהחינוך מוערך וגם שבתחומים אחרים אין בכלל הערכה).

ברמה  פחות חמקמקה לעצם העובדה שנעשית הערכה יש השלכות לא מועטות, עוד טרם שנגענו  בתוצאותיה, ומשתי סיבות. הראשונה נעוצה בטבע האנושי שלנו. אנחנו מקפידים במיוחד באותם עניינים שעליהם יבדקו אותנו. כל התייחסות חיובית או שלילית מחזקת למידה. באופן קונקרטי יותר להערכה אנחנו מכירים את האמירה של מייקל פטון “What gets measured gets done” (Patton 1997). וזה נכון לאנשים וגם לארגונים. ההערכה מסמנת לנו שהנושאים שהיא מעריכה הם הנושאים שחשוב להתמקד בהם. יש לכך השלכות חיוביות – תשומת לב לדברים שמישהו חשב שהם חשובים (הערכה היא מעשה פוליטי כבר אמרנו). הצד השני של אותה מטבע עלול להיות הזנחה של תחומים אחרים (בגלל התמקדות יתר בתחומים המוערכים).

הזכרתי ברמז את הסיבות לביצוע הערכה. הערכה יכולה להיעשות לצורכי למידה ושיפור, או לצורכי בקרה ומיון, בגלל צרכים פוליטיים שונים, דרישות חיצוניות, צרכים מינהליים וכן הלאה. כל אלה משפיעים קודם כל על שאלות ההערכה. וגם על האופן שבו תתבצע ההערכה, ועל אופן השימוש בממצאים שלה. לממצאים ולאופן השימוש בהם יש כמובן השפעה כזו או אחרת גם על המוערך וגם על מזמיני ההערכה.

אופן ההערכה – מושפע מאד מתפישות מקצועיות אבל גם מאידיאולוגיות ומפוליטיקה. דוגמה בולטת מאד היא ההחלטה בחוק של ממשל בוש הבן לקבל כממצאים ראויים רק ממצאים של הערכה ומחקר במערכים ניסויים – RCT – Randomized Controlled Trials (קבוצה מטופלת וקבוצת ביקורת שחולקו באופן אקראי). ברמה המקצועית ישנם ויכוחים רבים בין גישות הערכה שונות והמתודולוגיות הנובעות מהן (מעצבת או מסכמת? תוצר או תהליך? כמותי או איכותני? הוליסטי או אנליטי? הערכת מטרות או הערכה בגישת המערכות? וצירופים שונים של כל אלה. אם למנות רק כמה מוקדי ויכוח). גם בציבור ואצל מקבלי ההחלטות ישנן תפישות, לא תמיד מבוססות על איך צריכה להתבצע ההערכה.

אלא שמעבר לכל אלה, פעולת הערכה מייצרת ידע. הערכה לא רק אוספת נתונים. היא גם מעבדת אותם, מנתחת אותם ונותנת להם משמעות. מול תחושות, אינטואיציות, ניחושים ודעות – ההערכה באה עם מידע ועם ידע. גם אם מקבלי החלטות ובעלי עניין לא מסכימים עם מה שההערכה מציגה בנושא המוערך – הדברים על השולחן. בכך היא יוצרת שיח, מציבה אלטרנטיבות ומראה פנים נוספות לנושא המוערך.

אם נסכם – ההערכה מקיימת מערכות רבות של השפעות הדדיות בכל הרמות והממדים החברתיים, הערכיים והפוליטיים  שבתוכם היא שרויה. משמעות הדבר, לדעתי, שלמבצעי ההערכה אחריות לא מועטה באשר להשפעות שהם יוצרים. אחריות שהיא לא רק מקצועית אלא גם חברתית ובעיקר מוסרית.

מה, לדעתי, כדאי שנעשה כמעריכים?

במישור המקצועי אין צורך להכביר מילים. פעולת ההערכה צריכה להיעשות באופן המקצועי ביותר שניתן. הערכה זה לא “בערך”. אנחנו, המעריכים חייבים לכבד את עצמנו כבעלי מקצוע ולנהוג בהתאם. לעבודה מקצועית וטובה חשיבות בפני עצמה. חשיבותה מתעצמת בגלל השפעת ההערכה בתחום החברתי ומכאן לאחריותה המוסרית.

המישור החברתי והמישור המקצועי קשורים מאד ביניהם, מכיוון שחלק גדול מתפקידיה החברתיים ואחריותה החברתית של פעולת ההערכה קשורים לאופן פעולתה המקצועי. תפקיד חברתי חשוב ביותר הוא לצבור, לארגן, להמשיג ידע ולהפיצו. דוגמה מצוינת לפעולה כזו בישראל ניתן לראות בסוגית קליטת העליה בכלל, וקליטת יוצאי אתיופיה בפרט. לפחות לאורך העשור הראשון לקליטת יהודי אתיופיה, היה תפקיד ההערכה בבניית הידע התרבותי, חברתי והכלכלי לגבי יוצאי אתיופיה, כמו גם ההיסטוריה שלהם ותהליך העליה, גדול משל האנתרופולוגים והחוקרים האחרים. יותר מזה, הידע שיצרו המעריכים שימש חזרה את המתערבים למיניהם בקרב הקהילה, בין אם סוכנויות ממשלתיות ובין אם פרויקטים של עמותות וגופים חוץ ממשלתיים או קרנות. אפשר כמובן להתווכח עד כמה חלחל הידע הזה מעבר לאותם גופים מטפלים, וציניקנים אולי יאמרו שכלום לא השתנה. מניסיוני אני יודעת שלהערכה היה תפקיד משמעותי וחיובי.

במקביל לתפקיד הקודם יש להערכה תפקיד מחנך באמצעות דחיפה לנורמות עבודה מושכלות ומבוססות נתונים, ובשני מישורים. האחד – הטמעת חשיבות המידע והנתונים לקבלת החלטות מושכלות לעבודה של ארגונים, סוכנויות ומקבלי החלטות למיניהם, ודרכי השימוש בהם.

השני – ביקורתיות ויכולת הבחנה לגבי איכותם של נתונם ושל מידע. שאלת השאלות החשובות. שימוש במתודולוגיות נכונות. ובעיקר החשיבות של מבט על תהליכים ולא רק על תוצרים, והבנה של הקשר בין שניהם.

תפקיד חשוב לא פחות שלנו כמעריכים הוא מתן קול לקבוצות שונות, ובעיקר מתן קול למוטבים.

המיקום של ההערכה הוא בין המממנים והמתערבים מצד אחד, לבין האוכלוסייה המטופלת. מיקום אידיאלי לתווך ולגשר בין כל הקולות ולתזמר אותם.

חשוב שההערכה תביא את קולות המוערכים ולא רק תבצע את בקשות המממנים והמתערבים. בכך תורמת ההערכה פעמיים. פעם אחת ביצירת תבונה קולקטיבית. תבונה קולקטיבית נוצרת מתוך התייחסות לכל סוגי הידע, ומתן קול לכל השותפים. כך נוצר ידע חדש: מקיף יותר, רלוונטי יותר, שהוא נחלת כל השחקנים.

פעם שנייה במתן במה לקולות שלא תמיד נשמעים. בוודאי לא כקול שווה.

כאן נכנס גם ההיבט המוסרי של ההערכה. אנחנו המעריכים צריכים לזכור את התביעה המוסרית של “האדם כתכלית” בציווי המוחלט של קאנט, לפיה על האדם לעשות כל מעשה כלפי האחר אך ורק אם במעשה זה הוא רואה באחר תכלית לשמה ולא אמצעי בלבד.

כמעריכים אנחנו יכולים בקלות רבה לעבור על הציווי הזה. להשתמש באחרים, בעיקר במושאי ההערכה כאמצעי לקבלת מידע, כמקור לנתונים, עבורנו ועבור מקבלי ההחלטות.

גם המתערבים, מפעילי התוכניות שהן לכאורה למען האוכלוסייה, לא תמיד שואלים את האוכלוסייה לצרכיה, ומאמינים, מתוך הכוונות הכי טובות, שהם יודעים יותר טוב.

תפקידנו כמעריכים במתן קול למוטבי ההערכה הוא חשוב ונכון גם מבחינה מקצועית – הנתונים שנקבל יהיו אמינים יותר ומועילים יותר – אבל גם ואולי בעיקר, מבחינה מוסרית.

פעולת ההערכה היא לא פעולה נייטרלית. היא פעולה לקראת תכלית. יש לה השפעה בעולם. יש לה אמירה. חשוב שלא נמעיט בערך התפקיד החברתי שלנו וההשפעה שלנו, כי יש לנו השפעה גם בסביבה הקרובה וגם הרחוקה.

מירי לוין-רוזליס                                                                                                 מאי 2016

יותר ויותר מתפתחת ההבנה של מעריכים, מוערכים וצרכני הערכה שעל מנת שניתן יהיה להעריך תוכנית התערבות, ארגון או מדיניות (להלן: המוערך) באופן שגם ניתן ללמוד ממנו משהו, חשוב לנו לדעת לא רק מה התוצאות בסוף התהליך אלא גם מה התהליך אל אותן התוצאות, ולמה נעשים הדברים כפי שנעשים.

בדיקות פרה ופוסט של תוצרים לא מסבירות את הסיבה לתוצרים כפי שהם או להיעדרם. שתי הטעויות הסטטיסטיות אפשריות כאן. הטעות מסוג ראשון שתשייך למוערך (תוכנית, ארגון, מדיניות, או התערבות) השפעות שאינן שלו, והטעות מסוג שני שתבטל תוכנית טובה בגלל תוצאות נמוכות או חסרות שאינן קשורות לטיב התוכנית.

על מנת לקשור תוצאות או היעדר תוצאות לעשייה של המוערך חשוב להבין את הקשר ההכרחי (עד כמה שניתן לדעת) בין שתיהן (העשייה והתוצאות).

אני מאמינה שמוסכם על רוב העוסקים בהערכה היום (פרט לחסידים המושבעים של RCT (מערכים ניסויים בהקצאה אקראית) שיש חשיבות רבה לניסוח “תיאוריית הפעולה לקראת שינוי” מגובשת וניתנת לבדיקה שמסבירה:

א. מהו ההיגיון או הרציונל שמוביל את ההתערבות. איזו הנמקה תיאורטית או אחרת ניתנת לאופי הפעולות שנעשות.

ב. מה טיב הקשר בין העשייה (בפועל או המתוכננת) לרציונל ההתערבות (והאם הם אכן קשורים ביניהם).

ג. מה טיב הקשר בין הנ”ל (העשייה המתוכננת/בפועל ורציונל ההתערבות) לתוצאות המצופות או הנצפות.

שלושת החוליות האלו חשובות. בלעדיהן אין לנו יכולת לטעון לקשר סיבתי בין המוערך לתוצאות.

הקשר המשולש שבין תאוריית השינוי, העשייה והתוצאות נמצא בתוך הֶקְשר תרבותי, חברתי ופוליטי מורכב, וכמובן הֶקְשר של סביבה, ושל היסטוריה. בין כל הגורמים האלה מתקיימת דינמיקה. דינמיקה משמעה השפעות הדדיות, שלא כולן צפויות, משתנים מתערבים ומשתנים מתווכים שרק המחשבה על כל אלה יוצרת הצפה וקושי.

הרצון המיידי והטבעי של כולנו במפגש עם מורכבות כזו הוא להפחית אותה. לשם כך, וכבר מראשית ימיה של ההערכה פותחו מודלים שונים שמהווים התוויית דרך כזו או אחרת שמנסה להוביל אותנו בנבכי מה שנחווה ככאוס (למשל ה-CIPP).

בין המודלים הרבים בולטת מעל כולם משפחת המודלים שנקראת “מודלים לוגיים”. למודלים הלוגיים כולם משותפת ההתייחסות למספר קטגוריות: תשומות (Inputs); פעילות או עשייה בפועל (activities); תוצרים (output) שכוללים את מה התוכנית ייצרה בפועל; ותוצאות (outcome / impact) שבוחנים מה השינויים שחלו אצל מוטבי ההתערבות.

במשך השנים חלו הרחבות ועידונים של המודל, לכיוונים שונים ובהדגשים שונים. נוספו קטגוריות, והוגדרו מחדש קטגוריות קיימות. נוצרו דרכים שונות לצייר את המודלים הלוגיים. לחלק מהציורים והמודלים שהתפתחו ניתנו שמות שונים במקצת, לעיתים משתמשים באותו שם לגרפיקה אחרת. חלק מהמעריכים בונים את המודלים הלוגים בעצמם, אחרים מבקשים מאנשי התוכנית לבנות אותם או בונים אותם בשיתוף פעולה עם בעלי עניין שונים. אבל בעיקרו של דבר אנחנו מדברים על אותו תהליך שמנסה לקשור עשייה לתוצאות.

איור מס’ 1 מתאר מודל לוגי מורחב שמנסה לכלול בתוכו גם את הסיטואציה, גם את המשתתפים וגם גורמים חיצוניים לתהליך.

איור מס’ 1: מודל לוגי מורחב

אין ויכוח על כך שניסוח מוקפד ומושכל של הקשר בין העשייה לתוצאות, ובהֶקְשר הנתון, חשוב לכל בעלי העניין. השאלה היא האם, ועד כמה, מספק המודל הלוגי את התשובה לשאלה הזו, והאם הוא בכלל יכול לספק את התשובה. אני מאמינה שלא, ואסביר מדוע.

ניקח לדוגמה תוכנית יישובית שמנסה לטפל בדימוי עצמי נמוך של נוער שוליים באמצעות חוויית הצלחה בבחינות בבית הספר. המודל הלוגי שמוצג לעיל יוביל אותנו להציג את הדברים בתאים המתבקשים:

סיטואציה: קבוצת ילדים בישוב שמסובכת בעבריינות קטנה, אלימות והטרדות יחד עם כישלון לימודי מתמשך.

ההנחה: הכישלון בבית הספר גורם לדימוי עצמי נמוך  שמצדו גורם לשוליות.

ומכאן בתכנון לאחור:

מטרה סופית: אזרח מועיל ומשולב

מטרת ביניים: סיום בית ספר בהצלחה

מטרה לטווח קצר: הצלחה בבחינות

ובהמשך התכנון לאחור מוגדרות הפעולות, אוכלוסיית היעד והתוצרים.

אז איפה כאן הבעיה?

שתי בעיות ישנן. האחת מהותית והשנייה טכנית.

א. מהותית: הפילוסופיה של המדעים מכירה בשתי דרכים אפשריות לקשירת התערבות לתוצאה האחת באמצעות תיאוריה מדעית, השנייה באמצעות לוגיקה. המודל הלוגי נכשל בשתיהן.

ב. טכנית: המודל הלוגי קורס כשהוא בא להתמודד עם מורכבות.

מהותית:

הבעיה המהותית הראשונה, והמרכזית היא שתחום ההתבוננות של המודל הלוגי איננו מכסה את כל שלושת מרכיבי תיאוריית הפעולה לקראת שינוי. המרכיב העיקרי בה – חסר. ואסביר:

בכל פעולה לקראת שינוי מבחינים בשני תחומים: 1. תחום הניהול: תכנון העשייה, תקציבים, לו”ז, גיוס כוח אדם ודרכי הפעלתו וכדומה. 2. תחום הפעילות המקצועית.

בתחום הפעילות המקצועית יש לנו שוב שני חלקים שונים מהותית: 2.א. העבודה המקצועית הארגונית: מקצועיות כוח האדם, דרכי גיוס (reaching out) והפעלת המוטבים, מקצועיות הפעילות, קצבה ומשכה, כלי העבודה וכל מה שמכוון להוציא לפועל את החלק המקצועי. במודל הלוגי אלו ימצאו ב”פעילות” (activity) ובתוצרים (outputs).

2.ב. מבני העומק התוכניים, התיאורטיים והפדגוגיים (גם לפעילות חברתית וקהילתית יש פדגוגיה). כל מה שעונה לשאלה: “למה לעבוד כך ולא אחרת?” למה לסוג העץ המסוים הזה צריך להשתמש במקדח פרפר ולא במקדח ספיראלי? למה במקרה א’ חשוב לעזור למוטבים לשיים רגשות ובמקרה ב’ זה לא רלוונטי? למה במקרה ג’ חשוב לעבוד בקבוצה ובמקרה ד’ דווקא בזוגות? כיצד יוצרים את החיבור הסיבתי בין חוסר הצלחה לשוליות? בין הצלחה בבחינה לשיפור דימוי עצמי? ושיפור הדימוי העצמי, האם הוא קורה מאליו או שצריך תיווך? איזה סוג של תיווך? בקיצור, מהן ההנמקות או ההסברים המקצועיים, תיאורטיים או אחרים לאופי הפעילות המקצועית של המוערך כפי שהיא נעשית? לנקיטת הפעולות כפי שהן ננקטות?

הדברים אינם יכולים להיות מקריים. חייב להיות להם רציונל מקצועי. ללא הרציונל הזה, ללא הבנת ההיגיון שמפעיל את התוכנית אין לנו דרך לקשור את הפעולות לממצאים אלא באופן נסיבתי. אין לנו את הדבק הסיבתי המקשר ביניהם.

הפעלה נכונה של התחומים 1. ו-2.א. היא תנאי הכרחי להצלחה. תנאי הכרחי אבל לא מספיק. התנאי המספיק הוא 2.ב. בלעדיו,

אלא שהמודל הלוגי משאיר את 2.ב. מחוץ לתמונה. הרציונל או ההיגיון של התוכנית, ההסבר העמוק להצלחה או אי הצלחה שלה אינם נבדקים. לפעמים, כמו במודל דלעיל הם נמצאים במעטפת תחת הכותרת “הנחות” (וזאת אם בעת כתיבת המודל טורחים בכלל להכניס אותם לשם), ולפעמים אינם קיימים כלל.

במודל הלוגי ה”הנחות” בדיוק כמו “סיטואציה” או “גורמים חיצוניים” הם במעטפת. הם גורמי הֶקְשר, קונטקסט שאיננו בשליטה. שלכל היותר צריך לקחת אותו בחשבון. החלק המסביר החשוב ביותר להערכה של מוערך באופן שקושר בין העשייה לתוצאות – איננו בתחום המודל.

כמעריכים, משמעות הדבר שנוכל להישאר ברמה התיאורית בלבד. הרמה החשובה – ההסבר, תהיה חסרה. היא תהיה חסרה מכיוון שהיא חסרה אצל המוערך. כמובן שאנחנו יכולים להחליט לבדוק אותו, או לעזור לבנות אותו. אלא שהמודל הלוגי איננו מוביל אותנו לשם.

הבעיה המהותית השנייה היא הכשל הלוגי המובנה במודל. המבנה הלוגי שלו בנוי להובלת שרשרת לוגית אחת. הוא מנסה לפשט את המורכבות באמצעות לוגיקה פשוטה של “אם – אז”. היקש מודס טולנס שצורתו הפשוטה “אםA  אז B; לא A  אז לא B” אם הבעיה היאA  הפתרון לכך הוא B; אם הפעילות היא אכןB  (כלומר הפתרון לבעיה A) התוצאה המתחייבת היא לא A. בלוגיקה זה נראה ככה:

“אם היו נערי השוליים מצליחים בבחינות היו בעלי דימוי עצמי גבוה

אינם מצליחים בבחינות___________________

הם בעלי דימוי עצמי נמוך”

הפשטות של ההיקש הזה מטעה. קל מאד ללכת שבי אחריה. אבל היא טומנת בחובה מכשלה גדולה מאד. מכשלה שנקראת בלוגיקה “כשל חיוב המסקנה”. כלומר המסקנה לא הכרחית. היא לא מתחייבת, בעיקר משום שתתכנה סיבות אחרות לבעיה. למשל בדוגמה שלנו דימוי עצמי נמוך איננו הסיבה היחידה לשוליות, וחוסר ההצלחה בבחינות אינו הגורם הבלעדי לדימוי עצמי נמוך. הנה דוגמה שממחישה:

“אם הייתי בעליהם של כל יהלומי הבורסה הייתי עשירה

אינני בעליהם של היהלומים__________________

לכן אינני עשירה”

הבעיה הטכנית:

המודל הלוגי מתקשה מאד להתמודד עם מורכבות. קשה מאד להכניס למודל כזה משתנים מתערבים, משתנים מתווכים, יחסים הדדיים שמשפיעים ומושפעים הדדית ולכן משתנים כל הזמן, היסטוריה על השינויים שהיא יוצרת, ונקודות ראות שונות.

ניקח לדוגמה את סוגית נקודות הראות השונות.

כאשר בונים מודל לוגי עם בעלי עניין שונים, המעבר מבעל עניין אחד לאחר משנה את נקודת המבט. מה שהיה “פעילות” אצל בעל עניין אחד, נניח המפעילים, יכול להיות “תשומה” כשמשנים את נקודת המבט, נניח אל המוטבים. או לאחר זמן.

כאשר מדובר בתוכנית מרובת חלקים, מרובת קהלי יעד ומרובת מטרות, מביא הניסיון להתמודד עם כולן לגודל לא סביר ולעומס פרטים בלתי אפשרי של המודל. דווקא הניסיון לברוח מהמורכבות, יוצר מורכבות בלתי ניתנת להכלה. וזה רק מבחינת הגודל ועומס המודלים שמקננים אחד בתוך השני.

המודל הלוגי נכשל לחלוטין כאשר מדובר בהשפעות הדדיות בתוך המוערך, כאלו שמשנות את הרכיבים בתוכו או את מהותם.

***

לכולנו קיימת האשליה שאם רק היה לנו את הכלי הנכון – המיקסר הנכון במטבח, מכסחת הדשא הנכונה למדשאה, האפליקציה הסטטיסטית הנכונה במחשב, המקדחה הנכונה במחסן – היינו עושים דברים הרבה יותר טוב. אלא ששום כלי, מוצלח ככל שיהיה לא יכול להחליף ידע מקצועי. לפעמים ההפך הוא הנכון. לבן זוגי שעוסק באופן מקצועי בבישול יש עשרות סכינים, ולמעלה מעשרה בשימוש שוטף. ישנה סכין לחיתוך ירקות, וסכין לפלט דגים, וסכין לבשר, וסכין לעוף, וסכינים לעוד מיני פעולות שאין לי מושג לגביהן. חלקן גדולות וחלקן קטנות, חלקן רחבות וחלקן צרות, חלקן משוננות וחלקן חלקות. כל אחת מתאימה למטרתה. עבור בעל המקצוע אין סכין אולטימטיבית, כזו שטובה להכל (למרות שבתוכניות הבישול בטלוויזיה מנסים לשכנע אותנו שיש סכין כזו, או מיקסר כזה. הם בונים על האשליה הזו).

המקדחה הכי טובה בעולם לא תהפוך אותי לנגר טוב יותר. ולו הייתי נגר טוב הייתי שואלת: “המקדחה הכי טובה בעולם – לאיזה צורך?”

אז מה – לשכוח את המודל הלוגי? לא, לא לשכוח.

המודל הלוגי הוא כלי. הוא לא פתרון לכל. אנחנו יכולים להשתמש במסמר כאשר אין לנו דיבל. אבל עלינו לזכור שמסמר מחזיק רק תמונה בגודל בינוני. אם אנחנו רוצים לתלות מדף – המסמר לא יספיק. כך גם לגבי המודל הלוגי. יתרונותיו רבים, וניתן להשתמש בו לצרכים מגוונים. ואין צורך בי כמליץ יושר. ישנם רבים שיעשו זאת טוב ממני. הבעיה שישנם רבים עוד יותר שרואים במודל הלוגי את הפתרון לכל דבר ועניין. זו אשליה מסוכנת. כפי שאין מתודולוגיה אולטימטיבית, אין מודל או מערך הערכה אולטימטיבי. אפשר וגם רצוי להשתמש במודלים בכלל ובמודל הלוגי כאחד מהם. אבל צריך לזכור את המגבלות. לא לחיות באשליה המסוכנת שאם נמלא נכון את תיבות המודל – יש בידינו תכנון או מבנה טוב להערכה של תוכנית. אין לנו. ולזכור תמיד את הדברים המהותיים שהמודל איננו מכסה.

מירי לוין-רוזליס                                                                                     מרץ 2016

פרופסיה[1] מוגדרת כסוג מיוחד של עיסוק שיש לו יוקרה וכוח ייחודיים לו, אוטונומיה מקצועית, וגם הסדרה חוקית. דוגמאות טובות הן לשכת עורכי הדין, לשכת רואי החשבון, הסתדרות הפסיכולוגיים, וגם כמובן רפואה ומקצועות הסיעוד או הוראה, וכדומה. תחומי עיסוק רבים שואפים להכרה בהם כפרופסיה, והתחום של הערכת תוכניות אינו יוצא דופן. הדיונים והוויכוחים על ההערכה כפרופסיה ובעיקר על הסמכת מעריכים, התחילו בארצות הברית בסוף שנות ה-60, והם מתלקחים מדי פעם מחדש. גם בארץ עולה הדיון פעמים קרובות.

אציג תחילה את המושג של “פרופסיה”, את המצב בארץ וקצת בעולם, ואסיים בעיקרי הדיון המתמשך בנושא, וגם קצת אופטימיות.

פרופסיה:

לפרופסיה ישנם חמישה מאפיינים עיקריים:

1. העיסוק בתחום הוא עיסוק מלא ובתשלום (full-time ולא השלמת הכנסה)
2. קיום הכשרה ייעודית, בדרך כלל אקדמאית
3. ייסוד של אגודה מקצועית, (רצוי לאומית ולא מקומית)
4. ניסוח קוד אתי
5. קיום הסמכה מוכרת על ידי החוק (כולל הסדרה ופיקוח)

כלומר מדובר בתחום עיסוק שאוחז בתחום ידע מוגדר, שמוכר כתחום מובחן על ידי העוסקים עצמם, על ידי הציבור ועל ידי החוק.

במצב הזה כולם מרוויחים. הציבור מרוויח מכיוון שהוא מובטח (יחסית) שבעל המקצוע, הפרופסיונלי, עבר הכשרה, קיבל רישיון, הוא כפוף לקוד אתי וניתן לסמוך עליו, או מצד שני להתלונן. אנשי הפרופסיה מרוויחים מכיוון שהתחום סגור בפני חדירה של אנשים חסרי הכשרה שפוגעים ביוקרה ומורידים מחירים. לאנשי המקצוע הפרופסיונליים יש אינטרס לשמור על שמם הטוב, ועל יוקרת המקצוע, מה שמבטיח פיקוח עצמי על הרמה המקצועית של העוסקים בתחום, שגם הוא תורם לשני הצדדים, לפרופסיונלים וללקוחות.

בתהליך ההסדרה של פרופסיה מבחינים בין שלושה מושגים עיקריים. הסמכה מקצועית (Certification); הכרה בתוכניות הכשרה שקיימות (accreditation) ומתן רישיון עיסוק (licensure) שזה מסמך לגלי והליך שמעוגן בחוק.

מתן רישיון עיסוק (רישיון הוראה, רישיון עיסוק ברפואה או עריכת דין) הוא המשמעותי ביותר מבין השלושה, מכיוון שיש לו משמעות חוקית.

הערכה איננה פרופסיה. כל אחד יכול להיות מעריך. אין חסמי כניסה. אין גוף רשמי שנותן תעודה ועושה רגולציה.

אם בודקים את נושא ההערכה בישראל כלפי חמשת המאפיינים התמונה איננה אחידה.

1. משרה מלאה רוב המעריכים בישראל אינם עובדים בהערכה כמשרה מלאה. יתרה מזו, רובם אינם מגדירים עצמם כמעריכים, אלא חשים שייכות רבה יותר לתחום המקצועי שממנו באו (עו”סים, סוציולוגים…). בשנים האחרונות יש שיפור מסוים בנטייה הזו, בעיקר מכיוון שגופים רבים הקימו יחידות הערכה פנימיות. אבל גם העובדים ביחידות האלה, בחלקם הגדול אינם עובדים במשרה מלאה.

דבר זה נכון גם בארצות הברית וברוב מדינות העולם.

2. הכשרה ייעודית אקדמאית – כל התוכניות האוניברסיטאיות לקראת תואר להכשרת מעריכים נסגרו. קורסים יחידים בהערכת תוכניות מצויים בהרבה מחלקות באוניברסיטאות (גיאוגרפיה, כלכלה, סוציולוגיה, חינוך). במקביל ישנן באוניברסיטאות תוכניות להסבת מורים אקדמאיים לרכזי הערכה בית ספריים, שזוכות להכרה של הראמ”ה.

במספר מכללות (סכנין, בית ברל וסמינר הקיבוצים) מתקיימות תוכניות לתואר שני בהערכה בחינוך. במכללות אחרות מתקיימת תוכנית להסבת אקדמאים לרכזי הערכה בית ספריים (למשל דוד ילין ואורנים).

ההתעקשות של גף הערכה ואחר כך של הראמ”ה שרכזי הערכה בית ספריים יהיו בעלי תואר שני ייעודי בתחום, נובעת מהבנת החשיבות של הכשרה אקדמאית ייעודית למיצוב של עיסוק כתחום מקצועי יוקרתי.

נכון להיום אין שום תוכנית אקדמאית להכשרת מעריכי תוכניות. מצד שני ההשכלה האקדמאית של אנשי ההערכה היא גבוהה, כמעט לכולם תואר שני, ולחלק גדול מאד גם תואר שלישי.

המצב דומה ברוב מדינות העולם. יש מעט תוכניות לתואר בהערכת תוכניות. עשרות בודדות בארה”ב (שיש בה אלפי קולג’ים ואוניברסיטאות). בחלק גדול מהתוכניות האלה הערכה באה עם עוד משהו (תכנון והערכה, ייעוץ ארגוני והערכה וכדומה).

הכשרה מקצועית שלמה או חלקית, עם ובלי הסמכה נעשית בארץ על ידי גופים רבים: עמותות למיניהן (מתן, שתיל, מידות ואחרות), מכללות, אוניברסיטאות ומרכזי פסג”ה. הסמכה מדברת על הכשרה שיש בסופה תעודה. הבעיה איננה במתן תעודה, אלא בהכרה (accreditation) באותה תעודה. וכאן השאלה היא כמובן מי מכיר בתעודה. הגוף היחיד בארץ שנותן הכרה רשמית לתעודה הוא הראמ”ה שנותנת (או לא) הכרה בתוכניות להכשרת רכזי הערכה בית ספריים. אלא שרכזי ההערכה בית ספריים הוא תחום נישה, צר וייעודי.

3. אגודה מקצועית לאומית – איל”ת[2], האגודה הישראלית להערכת תוכניות נוסדה כבר ב-1998. מאז קיימה 14 כנסים, עשרות סדנאות וימי עיון, אירחה אורחים רבים מחו”ל, ניסחה קוד אתי, יצרה שותפויות עם אגודות בחו”ל ופרויקטים משותפים, בנתה ומתחזקת אתר בשלוש שפות, ועשתה פעולות נוספות לקידום המקצוע והמקצועיות. איל”ת מופעלת על ידי מתנדבים וסובלת ממחסור חמור במשאבים מה שמונע ממנה לעשות פעולות שיווק ומיתוג ולחזק את כוחה בקרב המעריכים.

נכון להיום ברוב מדינות העולם יש אגודות לאומיות להערכה. חלקן, בעיקר במדינות מתפתחות, יוסדו על ידי הבנק העולמי או גופים מתערבים אחרים.

4. ניסוח קוד אתי – בפעולה משותפת של חלק גדל מחבריה, ניסחה איל”ת לפני כמה שנים קוד אתי שמשמש רבים מחבריה בעבודתם השוטפת.

לרוב האגודות הלאומיות והבינלאומיות יש קוד אתי.

5. הסמכה מוכרת – כפי שכבר ציינתי אין בישראל הסמכה מוכרת על ידי החוק. יש הכרה של הראמ”ה בתוכניות להכשרת רכזי הערכה בית ספריים.

האם יש סיכוי שההערכה תהפוך לפרופסיה? מה נחוץ לשם כך, ומה מפריע?

במדינת ישראל, וגם במדינות אחרות בעולם אין הכרה של החוק (רישיון בעקבות הסמכה) בעבודתם של מעריכים. אם מוותרים על הסדרה חוקית, נשאר תהליך הסמכה של גוף מרכזי. גם זה כמעט ולא קיים. למיטב ידיעתי, המדינה היחידה שבה יש ניסיון להסמכה מרוכזת של מעריכים היא קנדה, וגם זה חלקי, וולונטרי וקטן (סדנה בת ארבעה ימים).

מטרת ההסמכה היא להגביל את העיסוק בהערכה לאלו שעומדים בדרישות מסוימות, שיש להם יכולת מקצועית מוכחת. הלקוחות הם לכאורה המרוויחים הגדולים של עניין ההסמכה אלא שסביר שהם אינם מודעים לשאלה מה זו בכלל הערכה איכותית, אין להם בסיסי השוואה לאיכות או לאלטרנטיבות. בוודאי בהערכה שיש בה כל כך הרבה גישות ואופני פעולה.

בנוסף, הערכה היא שירות. על מנת להעריך שירות יש לבחון את מקבל השירות, וגם לקחת בחשבון את האינטראקציה ואת התרומה הישירה או העקיפה שיש למקבל השירות מעבודת ההערכה.

להערכת תוכניות (עוד יותר מאשר להערכה חינוכית) יש בעיה נוספת. היא נתפשת כמשהו שכולם, ובעיקר אנשי מקצוע עושים ממילא. שכל אחד עם ידע בתחום תוכן (בשונה מידע בהערכה) יכול לבצע.

על מנת למנוע את המצב הפרוץ הזה, יש צורך להגדיר לפרופסיה גבולות. להגדיר מה בפנים ומה בחוץ. האגודה האמריקאית להערכה (AEA – American Evaluation Association) ניסחה מסמך עקרונות למעריכים (AEA’s Guidelines Principles for Evaluators), אלא שהם לא הצליחו להגדיר הערכה. הקווים המנחים של ה-AEA אינם כוללים הגדרה כזו. בתהליך הניסיון לנסח, הסתבר להם ש”הערכה” פרושה דברים שונים לאנשים או גופים שונים, וכל פירוש משמעותו פרקטיקה שונה, דיסציפלינה שונה, מתודולוגיות שונות והשקפות עולם שונות.

ללא הגדרה כזו לא ניתן יהיה להגן על הסמכה או על אי מתן הסמכה. כל עו”ד טוב יוכל לטעון שמדובר באי הסכמה ולא בחוסר יכולת מקצועית.

אפשרות אחת היא צמצום ובחינה של מעריכים רק על מתודולוגיות מסוימות. אבל אילו? על מנת לענות לשאלה אנחנו חייבים לדעת מה אנחנו מצפים ממעריך. אלא שהסיכוי להשיג הסכמה רחבה כלשהי מה הכרחי למעריך לדעת הוא לא גבוה. ומיד עולה השאלה מה זו עבודת הערכה טובה? מה שאיכותי לאחד אינו איכותי למי שהתחנך בדיסציפלינה אחרת, או מחזיק בהשקפה שונה.

בהתייחס לכל אלה, איך יוצרים מערכת ציינון שהיא מדויקת מספיק ואמינה מספיק כך שתבחין היטב באנשים שמעל או מתחת לקו החיתוך של עובר/לא עובר? קו חיתוך שאפשר להגן עליו גם מצד התוכן וגם מבחינה משפטית. עם התאמה של בחינה לקהלי יעד שונים (מעריך שעובד כמותית לעומת איכותנית. חיצוני לעומת פנימי), והשוואת סטנדרט הבחינות ביניהן (גם בין מועדים וגם בין סוגים). שלא להזכיר את ההחלטה על סוג משוב. האם עבר לא עבר או מדורג? האם התוצאות תהיינה גלויות לציבור או חסויות (שיש לזה משמעות כלכלית גדולה)?

כל זה מוביל אותנו לדיון הבא ששואל מה הוא גוף הידע של ההערכה?

האם יש להערכה גוף ידע ייחודי?

כותבים שונים כולל אני התייחסו באופן כזה או אחר לסוגיה.

מייקל פטון טוען שלהערכה יש ידע טכני ספציפי; מחויבות לייעול ידע; כישורים ייחודיים: תקשורת; המשגה; ייעוץ; מתוחכמות פוליטית וארגונית; יכולת הצגה בכתב ובע”פ.

דונה מרטנס מדברת על שלושה גופי ידע: 1. ידע ספציפי להערכה: תיאוריות ומודלים של הערכה, הנחות פילוסופיות, וידע איך מבצעים הערכה. 2. שיטות מחקר. 3. ידע שבא מתחומים אחרים כמו: מינהל, עסקים, תקשורת, פסיכולוגיה, פילוסופיה, מדע המדינה, כלכלה, אנתרופולוגיה.

מרטנס טוענת עוד שמכיוון שמעריכים מגיעים ממקצועות שונים גם הסוציאליזציה שלהם למקצוע היא שונה, גם תוכניות ההכשרה המעטות שישנן שונות זו מזו. ולכן גם הזהות המקצועית איננה אחידה.

בפרק 2 בספרי “הערכה? בואו נדבר על זה: התיאוריה והפרקטיקה של הערכת תוכניות”[3]. אני טוענת שהוויכוח אם הגישה ההומניסטית או הגישה המערכתית הן הגישה הנכונה, או אם צריך רק הערכה במערך ניסויי או שצריך עירוב שיטות, אלו וויכוחי סרק. כל אלו ועוד הם חלק מליבת הידע של ההערכה. אם נבחן מה עושה ההערכה נראה שבכל השיטות, הגישות, הדיסציפלינות והמתודולוגיות, עושים המעריכים דבר אחד – מטפלים במידע, מתוך כוונה להפוך אותו לידע. המעריכים אוספים נתונים, מעבדים נתונים, מנתחים נתונים ומפרשים נתונים, ומעבירים אותם הלאה כמשוב או כדו”ח כדי לעזור למוערכים לעדן, לעדכן ולהעשיר את הידע שלהם. ליבת הידע של ההערכה זה לייצר ידע. בשונה ממחקר מדעי לא מדובר בידע לשמו. כשמדובר בהערכה הידע שהיא מייצרת הוא אמצעי שעוזר לפעול בעולם האמיתי. השילוב הזה של ייצור ידע שמכוון לפעולה מעשית מידית, בתנאי אמת הוא ייחודי להערכה.

מי יסדיר את התהליך? מי יגן עליו? מי יממן אותו? מי יקבע את הסטנדרטים?

גם אם נניח שהנושא פתור והסכמנו על ליבת הידע, והסכמנו על דרכים לבדוק את מיומנותם של המעריכים, יש עוד היבט שחשוב לזכור. הסמכה משפיעה על יכולת ההשתכרות של המעריכים. הנכשלים עלולים לצאת נגד וגם אפילו לתבוע בבית דין. כשאין למסמיכים סמכות חוקית, מה יגן עליהם בפני הכפשות ותביעות?

בעיה תקציבית ענקית היא בכלל להפעיל מנגנון הסמכה (לחבר בחינות, להפעיל אותן, לבדוק אותן). במצב היום יעשה הדבר כנראה על ידי מתנדבים, איך נמיין את הבוחנים שיהיו די מקצועיים? מי ימיין את הבוחנים?

מי ישגיח שתהליך ההסמכה אכן מתקיים. שאנשים לא מוסמכים לא נכנסים לתחום? איך יוצרים מנגנון אכיפה? בפרופסיות אחרות זהו עקב אכילס.

ובכל זאת, נניח שנרצה ללכת לתהליך כזה בארץ, עולות סוגיות נוספות: הסמכה היא תהליך מורכב מכל זווית: ארגונית, כלכלית וקונספטואלית. צריך לבחון את ההכשרות, את התהליכים בשדה, וזה גם לא תהליך חד פעמי שמתגייסים ודי, אלא המשכי ומשתנה. מי יהיה זה שייתן את ההסמכה? מי יממן? מה העלויות? והבעיה החמורה מכל, מה המשמעות המעשית של הסמכה כזו? איך גורמים לכך שהציבור יכבד את ההסמכה הזו ללא הסדרה חוקית?

ויש גם טענה של כמה סוציולוגים שהתקופה הפוסט-מודרנית היא תקופה של דה-פרופסיונליזציה. הפרופסיות נחלשות ומתפרקות. מקצועות מסורתיים נעלמים, משתנים, מתפצלים או מתאחדים בתהליכים מואצים. דוגמה טובה היא רפואה. עדיין פרופסיה ממוסדת, שהולכת ומשנה את פניה, מתפצלת למיומנויות משנה שהולכות ומתרבות, מכניסה תחת כנפיה טכנולוגיה, מחשוב ומקצועות אחרים, ומצמיחה לידה תחומים כמו רפואה אלטרנטיבית ורפואה משלימה בתחומים שלפני עשור לא היו נקראים “רפואה”. כל זה מביא לכך שהמשמעות המוסדית והציבורית הממוסדת של “פרופסיה” הולכת ונעלמת. אז למה לטרוח?

כל השאלות האלה אינן ייחודיות לישראל. הן נשאלות בכל העולם.

בקיצור – הרבה מאד בעיות טכניות ומהותיות שלא מאפשרות את התהליך, מכיוון שהן כרגע לא פתירות.

אז מה? מתייאשים?

אישית אני מאמינה שאסור לנו להתייאש.

כאשר מדובר בהסמכה ישנן שתי גישות עיקריות:

1. גישת ההתפתחות המקצועית – לפיה המטרה העיקרית היא פיתוח מקצועי ואבטחת הרמה המקצועית של העוסקים בתחום.
2. רישוי – גישה רגולטורית שמענישה מי שעוסק בתחום ללא היתר חוקי.

כאשר מדובר בישראל הגישה הראשונה היא השולטת בכיפה. האתוס של הערכת התוכניות בישראל, באופן שהוא קצת שונה מחלקים רבים בעולם, וגם שונה מהערכה חינוכית ברובה, היה תמיד מכוון ללמידה וקידום ולא לפיקוח ובקרה.

איל”ת, האגודה הישראלית להערכת תוכניות, הגדירה מלכתחילה את החזון שלה כאגודה מקצועית שעוסקת בפיתוח מקצועי של העוסקים בתחום. גם גופים אחרים בארץ שעוסקים בהכשרת מעריכי תוכניות מכוונים לשם.

האם ניתן למנף את הגישה הזו להסמכה בגישת ההתפתחות המקצועית?

אני מאמינה שחשוב לנסות.

אז מה כן אפשרי? התמקצעות ומיתוג.

אילו משאבים יש לנו?

• אגוד מקצועי – איל”ת
• ציבור של מעריכים טובים ואכפתיים בעלי השכלה גבוהה ומגוונת (לאו דווקא בהערכה)
• יצירתיות רבה בתחום הערכה
• גופים חזקים שתומכים בהערכה באופנים שונים (ביטוח לאומי – מפעלים מיוחדים, ברוקדייל, הראמ”ה מטח, עמותות וקרנות וגופים מתערבים)
• יוזמות וכנסים של איל”ת ושל גופים אחרים

מה מתחייב מכך?

• התגייסות. החלטה אישית (וארגונית) שזה חשוב
• חיזוק איל”ת. חברות. השתתפות. פנייה אל וגיוס של אנשי הערכה שלא במעגל. יש חשיבות מאד גדולה לארגון מקצועי בלתי תלוי.
• איגום העשייה לכיוון של התמקצעות:
  • בניית מערכת חניכה mentoring (בתחילה וולונטרית בהמשך בתשלום)
  • בניית מערכת ייעוץ ו-supervision
  • עידוד ועדות היגוי להערכה ופורומים ייעודיים להרחבת מעגל האנשים שיש להם נגיעה לנושא (למשל פורום “בהערכה רבה”[4]).
  • קשר עם קהלים מקצועיים אחרים
  • איחוד כוחות ביוזמות לימי עיון, פורומים, קבוצות עניין
  • יצירת במה כתובה בצורת newsletter ודיאלוגים באתר[5] ובפייסבוק
  • בהמשך תהליך הסמכה וולונטרי באמצעות כלים שונים: בחינה, דרישות קדם השכלתיות, שיפוט (review) של הצעות ההערכה, ובאמצעות חניכה (סטאז’ פרקטיקום), שיופעלו ביחד או בנפרד בהתאם לסיטואציה.

ויפה שעה אחת קודם J

[1] אין לפרופסיה מילה טובה בעברית. מדברים על מקצוע לעומת עיסוק או פרנסה, אבל ההבדל לא ברור ולכן אדבק בפרופסיה.

[2] http://www.iape.org.il/

[3] בכותר: http://www.kotar.co.il/KotarApp/Viewer.aspx?nBookID=101824739

במנדלי: http://mendele.co.il/?wpsc-product=haarahabou

[4] http://www.evalue.org.il/

[5] http://www.iape.org.il/

סוגיות בהוראה של הערכת תוכניות[1]

מירי לוין רוזליס                                                                                      פברואר 2016

התחום של הערכת תוכניות ופרויקטים הוא תחום שקשה מאד להוראה. בעיקר גדול הקושי כשמדובר בקורס יחיד שאמור להקנות מיומנויות לעבודה בשדה בתנאי אמת.

למאמר שני חלקים. בחלק הראשון אציג את המורכבות של תחום ההערכה, מורכבות שיוצרת קושי למורה ולתלמיד. בחלק השני אנסה לאפיין את סוגי הידע שיש בהם צורך בשביל להתמודד עם המורכבות הזו. בחלק השלישי אנסה להציע כמה פתרונות.

א. הצגת התחום

למה קשה ללמד הערכה? מכמה סיבות שהעיקריות שבהן:

• תחום מורכב ורחב
• מושאי הערכה שונים ומגוונים ובתחומים שאינם דומים זה לזה.
• נושא טעון ומעורר חששות והתנגדויות
• התחום עתיר ויכוחים פנימיים ואי הסכמות
• דורש ידע תיאורטי, מתודולוגי ופרקטי – בו זמנית

בהמשך אפרט על כל אחד מהנושאים האלה ואנסה להציע מספר פתרונות.

• תחום מורכב ורחב

תתי תחומים: תחת המִטריה של הערכת תוכניות יש לנו מגוון גדול של תתי תחומים שרובם דורשים התמחות נוספת וייחודית. דוגמאות לתתי תחומים כאלה בנוסף על תוכניות ופרויקטים הם למשל: הערכת מוסד; הערכת עובדים; הערכת מדיניות; הערכת תוכניות לימודים; הערכת איכות;

קהלי יעד מגוונים: בכל אחד מתת התחומים האלה יכולים להיות קהלי יעד שונים, שגם הם בחלקם דורשים ידע ייחודי בנוסף על הידע בהערכת תוכניות. למשל אוכלוסיות ייחודיות שתוכניות התערבות פועלות בתוכן, או בטיפוסים שונים של ארגונים שבהם פועלת ההערכה. למשל בנק לעומת בית ספר, לעומת עמותה. מיומנויות שונות של עובדים מוערכים וכדומה.

גישות שונות להערכה: כל אחד מתתי התחומים והמושאים ניתן להעריך בגישה שונה. בין הגישות הנפוצות אפשר לפגוש: הערכה מעצבת; הערכה מסכמת; הערכת תהליך; הערכת תוצר; הערכה כלפי מטרות או הערכה משוחררת ממטרות; הערכה משתפת; הערכה מפקחת; הערכה מעצימה; הערכה ממוקדת תיאוריה; הערכה קונסטרוקטיביסטית; הערכה ריאליסטית; הערכה דמוקרטית ועוד ועוד.

מבנים שונים של הערכה: פעולת ההערכה עצמה יכולה להיבנות באופנים שונים. אפילו יחידות הערכה בתוך ארגונים אינן דומות זו לזו במבנה הארגוני שלהן או במבנה העבודה. ויש דילמות שמכתיבות מבנים שונים. למשל: מעריך חיצוני מול מעריך פנימי; מומחה מתחום תוכן מול מומחה בהערכה; הערכה עצמית, הערכה בדיאלוג, קיברנטיקה, רשת. מיצוב ותפקיד של המעריך בתוך הארגון או בית-הספר.

השקפות עולם: פעולת ההערכה מושפעת גם מהשקפות עולם של המעריכים אבל גם של צרכני ההערכה ומממניה. והשקפות העולם יכולות להביא לגישות כמעט דיכוטומיות. להלן מספר דוגמאות: פיקוח מול למידה; ידע מול מיומנויות; מיון מול טיפוח; אנליטית מול הוליסטית; ממוקדת מנהלים (יזמים, מתערבים, מממנים) מול הערכה שמשרתת את קהל היעד.

הגבולות בין הערכה לתחומים דומים: הגבולות שאינם תמיד ברורים, כמו למשל בין הערכה לבין ייעוץ ארגוני או הערכה ולמידה ארגונית, עוד מוסיפים למורכבות.

• מושאי הערכה שונים ומגוונים ובתחומים שאינם דומים זה לזה.

מיזמים – הנדסיים, חקלאיים, חברתיים, חוקתיים, רפואיים, פיננסיים

ארגונים – מסוגים שונים, מערכות פורמאליות

מדיניות – של מדינות, ארגונים, תוכניות, מממנים, קרנות …

שירותים – בריאות, חינוך, רווחה, מזון, שירותים פיננסיים…

מוצרים – מחשבים, ספרים, חוברות הדרכה…

קהילות – תושבים, מקבלי שירותים, אוכלוסיות מוגדרות

אנשים – ביצועי יחידים: עובדים, תלמידים, חיילים, קהל יעד.

• נושא טעון ומעורר חששות והתנגדויות

אנשים אינם אוהבים להיות מוערכים. ישנם חששות גדולים מהערכה. וגם כאשר איננה נתפשת כביקורת היא מעוררת אצל אנשים מתח וחוסר נוחות.

גם בין בעלי המקצוע בתחום ישנם חששות דומים והמחקר הנרחב על התוקף ההשלכתי (consequential validity) שעוסק בהשפעות החברתיות של עצם העובדה שנעשית הערכה (בלי קשר לדרך שבה היא נעשית או תוצאותיה) הוא רק דוגמה אחת.

• התחום עתיר ויכוחים פנימיים ואי הסכמות

חלק מאי ההסכמות נובעות ממאבק המתודולוגיות, גישות איכותניות וקונסטרוקטיביסטיות מול כמותיות ופוזיטיביסטיות. חלק אחר מפילוסופיות מחקריות שונות כמו אובייקטיביזם שמחייב מעריך חיצוני מקצועי או אפילו RCT (Randomized Controlled Trials – הערכה במערכים ניסויים של קבוצה מטופלת וקבוצת ביקורת עם הקצאה אקראית), לבין התפישות הפנומנולוגיות של יציאה מהחוויה של המוערך.

מרחב ויכוח אחר הוא במאבק בין הגישה המוסדית לבין הגישה האנושית, ויכוח שמיצר את הדיכוטומיות שכבר נגעתי בהן: הערכה לצורך פיקוח לעומת הערכה לצורך למידה; סטנדרטיזציה לעומת הכרה בשונות ולמידתה; מבט מערכתי לעומת דיאגנוזה של בי”ס, כתה, מורה, תלמיד; הערכה של תהליך לעומת הערכה של תוצר; הערכה פנימית לעומת עצמית לעומת חיצונית; הערכה של ידע לעומת הערכת מיומנויות; הערכה לצורך מיון לעומת הערכה לצורך פיתוח וקידום; מודל הערכה ניסויי מול מודל מגיב.

ב. גופי הידע הנדרשים

שלושה גופי ידע מרכזיים נדרשים למעריך: ידע תיאורטי, ידע מתודולוגי וידע פרקטי.

הידע התיאורטי כולל היסטוריה של הערכה, מודלים שונים של הערכה, גישות מרכזיות להערכה וההבדלים המהותיים ביניהן, ורקע פילוסופי וחברתי של התחום. חשוב להכיר את הכותבים מרכזיים בתחום של הערכה ותפישותיהם. להכיר דוחות הערכה ולהיות מסוגלים לקריאה ביקורתית שלהם.

בנוסף לידע ממוקד בהערכה חשוב גם ידע היקפי. למשל ידע סוציולוגי וארגוני. להכיר את הסביבה החברתית תרבותית שבה פועל המעריך. ולדעת להבין תהליכים חברתיים וארגוניים. הבנה פוליטית והיכרות עם מבנים ותהליכים פוליטיים חשובות גם כן. ידע באנתרופולוגיה ובפסיכולוגיה לא מזיק אף הוא.

הידע המתודולוגי כולל היכרות עם גישות שונות ושיטות שונות לעיבוד נתונים, כמותיות, איכותניות ומעורבות, יתרונותיהן וחסרונותיהן. ידע בעבודה מעשית עם כלים לאיסוף נתונים, בניתוח ועיבוד נתונים, ובהצגתם.

מכיוון שהמעריך נדרש לתת מענה במצבים משתנים, יש חשיבות להבנת המהות והעקרונות של השיטות השונות, על מנת שתהיה יכולת לתפור כלים ושיטות “לפי מידה”. אי אפשר להסתפק רק ב-know how. ידע טכני בלבד איננו מספיק.

הידע הפרקטי כולל מגוון מיומנויות כמו: איך נכנסים לתוכנית, איך מזהים את האינפורמנטים המרכזיים, איך מראיינים, איך בונים שאלון, איך נותנים משוב, איך מגלים זרמים סמויים, מתי ואיך יודעים שלא יודעים, או לא מבינים, איך מפרקים התנגדויות, איך יוצרים אמון ואיך שומרים עליו, איך מתמודדים עם בעיות אתיות מסוגים שונים, איך נזהרים מפרה-קונספציות מטעות, איך ואיך ואיך…

אופנויות ידע

שלושת גופי הידע האלה מופיעים בשלוש אופנויות עיקריות: ידע גלוי ומוצהר, ידע חבוי וידע בפעולה (know how).

ידע גלוי ומוצהר הוא הידע שמנוסח לנו במושגים יחסית ברורים. שהוא מומלל (ורבלי) ואפילו כתוב. ידע מוצהר יכול להיות פורמלי כמו תיאוריות או הגדרות ויכול להיות לא פורמלי כמו דעה שלנו על משהו. אבל הוא נגיש לנו וניתן בקלות להעברה הלאה באמצעות מילים או מסמכים.

ידע חבוי (tacit knowledge) הוא ידע שיש לנו שהוא לא מומלל ולא ממש פורמלי. דוגמה מקובלת היא רכיבה על אופניים. אנחנו פשוט רוכבים. (אלא אם אנחנו רוכבים מקצועיים ואז יש צורך בהרבה ידע פורמלי). בתהליך הערכה (ובכלל באינטראקציות יומיומיות) אנחנו פשוט מגיבים, ובדרך כלל באופן סביר, באופן ספונטני ואינטואיטיבי. בהרבה מקרים לא תהיה לנו תשובה לשאלה למה פעלנו כפי שפעלנו. התגובה באה מידע שיש לנו, שהוא חבוי, ולעיתים ממש לא נגיש, ובכל זאת מכוון אותנו במידה רבה מאד גם בעבודתנו המקצועית.

ידע בפעולה מופיע כאשר אנחנו יודעים לעשות משהו. ידע כזה בדרך כלל מורכב משני סוגי הידע דלעיל. למשל בחירה בפרוצדורה סטטיסטית מתאימה. ההחלטה באה בהרבה מקרים לפני ההנמקה התיאורטית. כנ”ל למשל לגבי שאלה בשאלון שאני יודעת שאיננה טובה, או שכדאי לנסח כך או אחרת. התגובה הראשונית באה מידע חבוי, שמגובה בידע גלוי ומוצהר.

ג. אז איך מתמודדים?

בעיה אחת היא הרלוונטיות של הנושאים ללומדים. הקשר בין תפישות תיאורטיות לעבודה המיידית בשדה בדרך כלל לא ברור. אפילו את הקשר בין מתודולוגיות לעבודה בשדה מתקשים לפעמים הלומדים לראות.

בעיה לא פשוטה אחרת היא המעבר בין האופנויות השונות של הידע. ובעיקר בשני צמתים. האחד, העברת הידע חבוי של המלמד אל הלומד. והשני, הפנמה של הלומד את הידע המוצהר והגלוי שנלמד. לעיתים קרובות ידע חבוי של המורה עובר כידע חבוי ללומדים ללא התיווך של תהליך ההמרה לידע גלוי.

שתי הבעיות האלה נפתרות באמצעות תהליך של מנטורינג (mentoring) – הנחייה. המשמעות היא שמהלך ההוראה נתפר סביב עבודה מעשית של הלומדים ומגיב אליה, ושהוא כולל מעט הרצאות והרבה שיח ממוקד עשייה. אם אפשר מבחינת זמן וכוח אדם חשוב לשלב עבודה בקבוצות קטנות ומפגשים פרטניים של צוותים.

מה קורה בפועל

בפועל יש לנו כמה סוגי העברה של ידע שכל אחד דורש התייחסות מעט אחרת.

העברת ידע פורמאלי גלוי לידע פורמאלי גלוי

מדובר בעיקר בידע התיאורטי ובחלקים מהידע המתודולוגי.

צורת הלמידה – קונבנציונלית. הרצאות, הוראה פרונטלית. קריאת מאמרים. מטלות כתיבה. פרק תיאורטי בדו”ח ההערכה.

קשיים: לומדים מתקשים לראות את הרלוונטיות לעבודת השדה; לומדים אמביוולנטיים ביחס לתחום.

פתרונות: קישור מיידי לשדה קונקרטי ולהתנסויות של הלומדים. חלקים תיאורטיים רבים נלמדים בהקשר או גם נבחרים בגלל ההתנסויות של הלומדים. השיח הוא סביב ההתנסויות ולא סביב התיאוריה.

הפיכת ידע פורמלי גלוי לידע בפעולה של הלומד והפנמתו כידע חבוי

על מנת שידע פורמלי יהיה זמין לנו לעבודה השוטפת הוא צריך להיות מומר לידע בפעולה ולהיות מופנם כידע חבוי שמופעל בעת הצורך ללא היסמכות על “דפים כתובים”.

צורת הלמידה – התנסויות מרובות. עבודת שדה אמיתית ומונחה. סימולציות. עבודה סדנאית.

קשיים: הלומדים מבולבלים מהעמימות, ומוצפים מהכאוס של השדה ומהתהליך המזוגזג של הקורס. תסכול.

פתרונות: חלוקת עבודת השדה לשלבים ברורים – יוצרת סדר. מודעות לתהליכים האבדוקטיביים מפחיתה בלבול. תמיכה ומתן לגיטימציה לעמימות שהיא חלק בלתי נפרד מהתהליך מתפתח.

הפיכת ידע חבוי של המלמד ושל הלומדים לידע גלוי עבור הלומד

הדוגמה של רוכב האופניים המקצוען היא דוגמה טובה. יש צורך בהמשגה של חוקי הפיזיקה, של מערכת השרירים השלד והנשימה על מנת לשפר ביצועים שבראשיתם הם חבויים, ספונטניים ואינטואיטיביים.

למורה שהוא מעריך מנוסה יש המון ידע שאיננו מנוסח ומומלל, ויש צורך לנסח אותו כדי שיעבור ללומדים.

צורת הלמידה: מנטורינג של התנסויות. המורה מגיב להתנסויות הלומדים. התנסויות הלומדים מובילות את השיח. רפלקציה על והמשגה של תגובות המורה והתלמידים. מודלינג. למידת עמיתים.

קשיים: תהליך לא מובנה ומגיב, לא פשוט למורה. מבלבל את הלומדים. מצריך בטחון של המורה ויכולת רפלקציה. ללומדים קשה להמשיג את ההתנסויות. קושי בטרנספר מאירוע אחד לאחר.

פתרונות: סבלנות. יצירת סביבה בטוחה להתנסויות, ולמידה לא שיפוטית מטעויות. חזרות רבות. הדגמות. ציון של דמיון בין מקרים.

האיור הבא מסכם את תהליכי ההעברה. בצד שמאל המלמד, בצד ימין הלומדים[2].

איור מס 1: תהליכי ההעברה של אופנויות הידע בין המלמד (משמאל) ללומדים (מימין)

ובתוך כל התהליכים האלה חשוב לחנך כל הזמן לחשיבה ביקורתית (להבחין מביקורתיות). הערכה מבוססת על חשיבה ביקורתית. חשיבה ביקורתית משמעה לא לקבל שום דבר כמובן מאליו. ובעיקר לא את מה שמובן לנו מאליו. לשאול על כל דבר. לבחון כל דבר. ובעיקר לנסות לענות על השאלה למה? למה קורה מה שקורה? למה נעשה מה שנעשה. לעולם לא להסתפק בתיאור של ה”מה” וה”איך”.

[1] המאמר מבוסס בחלקו על

Levin-Rozalis, M. and Rosenstein, B., (2003) A Mentoring Approach to the One-Year Evaluation Course. The American Journal of Evaluation. 24/2 p. 245-259

[2] מתוך:

Levin-Rozalis, M. and Rosenstein, B., (2003) A Mentoring Approach to the One-Year Evaluation Course. The American Journal of Evaluation. 24/2 p. 245-259

(©איור של דינה ליפסקי. מתוך: לוין-רוזליס, מ’ (2014) הערכת תוכניות? בואו נדבר על זה. תל-אביב: הוצ’ דקל)

המציאות שנתקלים בה אנשי הערכה היא בדרך כלל הרבה פחות מסודרת ממה שהיו המעריכים רוצים. בעלי עניין מרובים עם אינטרסים מגוונים או אפילו מנוגדים, הֵקשרים לא יציבים, אוכלוסיות יעד  מגוונות, תהליכים רבי פנים, שאלות מרובות וסבוכות, וכקינוח תקציב הערכה נמוך וכוח אדם חסר.

ישנן שתי דרכים עיקריות להתמודד עם המצב הקיומי הזה של אנשי ההערכה.

האחת – בדרך אנליטית. לנסות לעשות סדר: למיין, להגדיר, לבנות קטגוריות, לבנות מחלקות, לעבוד באופן לינארי וכדומה.

השנייה –מה שקוראים באנגלית: To embrace complexity, כלומר להתמודד עם מורכבות באמצעות מורכבות. להכיר במורכבות, לא לפרק אותה לגורמים אלא להיפך לנסות להכיל את מירב הקשרים, מירב הגורמים ומירב ההשפעות (מה שנקרא באנגלית: Sweep-in).

לתפישתי, הדרך הראשונה דומה ללקיחת הפיל שבתמונה וחלוקתו לקטגוריות: חדק, חט, זנב, רגל אוזן, בטן…   זה מסודר ונוח, אלא שמאבדים את הפיל. גלגלי שיניים וקפיצים של שעון מסודרים בתיבות – אינם שעון. פירוק המורכבות לחלקים קלים לניהול מאבדת את השלם. המציאות המורכבת לא מתארגנת בקטגוריות שהכנו מראש.

כדי להבין את הפיל בכוליותו, עד כמה שאפשר, אנחנו צריכים ללכת בדרך השנייה. לחבק את המורכבות.

אנסה בקצרה להציג את הדרך השנייה, שהיא מפחידה לפעמים, ודורשת התמודדות לא פשוטה, אבל שכרה בצידה.

הדבר הראשון שחשוב לעשות הוא להבחין בין מורכב (complicated) משהו שיש בו הרבה מרכיבים, לבין מסובך (complex) שבו יש השפעות ההדיות של מרכיבים וגורמים שמשנים כל הזמן את המציאות שאנו מתמודדים איתה (הן כמעריכים והן כמתערבים). ההבדל איננו הבדל של גודל אלא של מהות.

לשלוח גשושית למאדים זו משימה מורכבת מאד. יש צורך לתכנן, לצפות מראש ולתכנת כמות אדירה של מהלכים. המשימה מורכבת (complicated), אבל איננה מסובכת (complex). מטבע הגדרתה אין בה שום מקום להפתעות. הפתעות ללא תשובה – יגרמו לגשושית לאבוד בחלל ולא להגיע למאדים.

אבל כשאנחנו עוסקים במצבים מסובכים, ההפתעות הן לחם חוקנו.

כשאנחנו מדברים על “מסובכות” (complexity) אנחנו מאפיינים “משהו” שהוא מרובה גורמים וחלקים מסוגים שונים, שפועלים באינטראקציה אחד עם השני, באופן שכל פעילות של כל חלק או גורם משנה משהו בדרכי הפעולה של האחרים.

כאשר מדובר בעולם החברתי, שהוא בדרך כלל המושא של ההערכה, יש לנו לא רק גורמים וחלקים, אלא גם מצבים והֵקשרים שגם הם משפיעים ומושפעים. יותר מזה, מכיוון שמדובר בבני אדם, או במבנים חברתיים שיש להם אוטונומיה לבחור דרכי פעולה או תגובה, ושיקולי התגובה הם בעצמם מורכבים ולא צפויים, אנחנו פועלים בשדה שבו קשה למצוא מצבי סיבה ותוצאה שניתנים לניבוי.

יחסי סיבה ותוצאה שניתנים לניבוי יש במצבים שהם complicated. למשל כאמור, לשלוח גשושית לפלוטו מחייב יחסים כאלה. וזה אומר שלמרכיבים אין אוטונומיה. לכל היותר בחירה בין אופציות מוכתבות מראש.

לעומת זאת תהליך התכנון עצמו הוא בהחלט מסובך. הפיזיקאים והמתכנתים מדברים בשפות שונות, ג’ק חולה ברגע קריטי, ג’והן ומייקל לא מוכנים לעבוד ביחד, הפסקת חשמל מעכבת את מחלקה א’ שמעכבת את ג’, שמעכבת את ח’, ההספקה של חומר חיפוי לא מגיעה בגלל שביתה במפעל, התחרות בין החשמלאים לרתכים גורמת נזקים, לחץ זמנים גורם לכולם להשתגע…  התמונה ברורה. לא רק שיש אינספור דברים לא צפויים, אלא שרוב הדברים הבלתי צפויים יוצרים אפקט אדווה וגורמים למעגלים של היזון חוזר, כל הזמן, כל הזמן.

הרבה פעמים נשאלת השאלה האם מסובכות היא מצב העולם (תפישה אונטולוגית) או דרך הסתכלות על המציאות (גישה אפיסטמולוגית)? לדעתי גם וגם. המציאות היא מסובכת, זה מצב העולם. אלא שלא תמיד אנחנו מוכנים לראות את זה או להשלים עם זה. יש נטייה, בעיקר בעולם המערבי הרציונלי, לפשט מורכבות, להבנות אותה בקטגוריות יציבות וליצור יחסי סיבה ותוצאה שלא תמיד קיימים. מה שנקרא וודאות כוזבת.

אנחנו לא יכולים לדעת עד הסוף את אופני ההשתנות של דברים. דוגמה טובה היא התנהגות של מים. מים מתפשטים כשהם מתחממים ומתכווצים כשהם מתקררים. אבל מה קורה כשהם מתקררים מתחת לארבע מעלות צלזיוס? או מתחממים למאה מעלות? מה ההשפעה של השינוי בעצם תהליך ההשתנות על הסביבה? כל מי ששכח בקבוק מים במקפיא, מכיר.

איך לאמץ מורכבות?

איך נראה אימוץ מורכבות? ראו לדוגמה את האיור הבא. (אל תנסו לקרוא התוכן לא רלוונטי).

(איור של בוב וויליאמס בעקבות צ’קלנד: http://users.actrix.co.nz/bobwill/)

הרעיון כאן הוא לנסות לבחון את כל מערכות היחסים וההשפעות החד כיווניות או ההדדיות שמשחקים תפקיד בתוכנית מסוימת. במקום לטאטא החוצה ולהקטין את שדה הראייה, לטאטא פנימה מה שיותר מרכיבים, גורמים ויחסים. כדאי להושיב לתרגיל הזה בעלי עניין שונים שבאים עם נקודות ראות שונות.

אם ניקח תוכנית חברתית (למשל תוכנית העצמה לנשים בדואיות) וננסה לשים על לוח את הגורמים שמשחקים בה תפקיד (הנשים, הקהילה, התרבויות של הקהילה, של המתערבים, של המעריכים, הז’רגונים השונים, המשפחות, המסורת, גורמים פוליטיים שונים בישוב, הגוף המתערב, תפישות העולם של חברי ההנהלה, של הגוף המממן, אילוצים של המתערבים, אילוצים של המממנים, אירועים שקורים בישוב, והשתנות כל אלה לאורך זמן). כעת נסמן בחיצים את הקשרים ביניהם, וההשפעות שהם מושפעים ומשפיעים. אם נשים את כל אלה על לוח – נקבל איור דומה לזה שמוצג כאן.

אפשר כמובן לתת צבע שונה לסוגי גורמים שונים, למשל, פנימיים או חיצוניים, בשליטתנו או שאינם בשליטתנו. קבועים או משתנים. (כל אירוע לגופו). וגם כמובן לסמן באופן שונה חיצים של קשר, חיצים של השפעה, חיצים של שליטה או של דיאלוג.

זה השלב הראשון. ואתם מוזמנים לנסות לשרבט את מפת ההשפעות המורכבות שלכם.

מה לומדים מזה?

הדבר הראשון שחשוב להשקיע בו מחשבה אלו הגבולות של התמונה המורכבת הזו. והגבולות יכולים להיות גמישים. אפשר ליצור יותר ממערכת גבולות אחת. מערכת רחבה – לידיעה. מערכת יותר קטנה – דברים שיש לקחת בחשבון. מערכת מצומצמת – לבדיקה עמוקה. צריך להיות מודעים שיש יותר מנקודת ראות אחת, ולדעת שאחנו בוחרים פרספקטיבה אחת מתוך רבות.

כניסה פנימה לרכיב מסוים ופירוט גדול שלו (זום אין), וההיפך – התרחקות (זום אאוט). והסתכלות על הדברים מנקודות ראות שונות, של שחקנים שונים. איך רואה את התמונה המממן? איך רואים אותה ילדיהם של הנשים בתוכנית? ראש המועצה?

השאלות הבאות שכדאי לדון בהן הן שאלות של יחסי כוח גלויים וסמויים ושל אינטרסים. שאלות של השפעות חזקות מול חלשות, וסוגים שונים של השפעה (פוליטית, תרבותית, כלכלית, ערכית). שאלות על  סדירויות שעולות מתוך הכאוס. אילו תובנות נוספו לנו? כדאי לחזור על התרגיל הזה פעם או פעמיים בשנה.

להעלאה לפני השטח של  התמונה המורכבת, של נקודות הראות השונות. של השינויים שחלו בהשוואה לפעמים קודמות יש תרומה משמעותית. התהליך בונה פרופורציות ויחסים ובאופן פרדוכסלי עוזר דווקא לארגון של המידע והממצאים שיש לנו על התוכנית. התמונה הגדולה והמורכבת נותנת משמעות עמוקה למידע שבידינו, שמתחבר לתמונה הגדולה והופך חלק ממנה. המידע הופך לידע.

איסוף הנתונים:

האם רק באמצעות כלים איכותניים? בשום אופן לא. למה?

כמו בכל תהליך הערכה ראוי נבחרים כלי איסוף הנתונים לפי סוג השאלה והאוכלוסייה הנבדקת. המשמעות שלהם בתוך המורכבות מתקבלת מתהליכים כמו בדוגמת ה-sweep-in או ניתוחים מערכתיים אחרים (דוגמא אפשר לראות בפרקים 6,7 בספר שלי: לוין-רוזליס, מ’ (2014) הערכת תוכניות? בואו נדבר על זה. תל-אביב: הוצ’ דקל).

בתהליך תכנון ההערכה חשוב לתכנן יצירת רשתות של שיח מרובה עם שחקנים מאזורים שונים בשדה הרלוונטי, ובעלי זוויות ראייה שונות.

כדאי ליצור מבנה “רשת” של בדיקות לרוחב (בדיקת רכיב מעבר לאירועים. למשל: טקסי סיום בקבוצות שונות. מדריכים מעבר לתוכניות) ולאורך (למשל: בדיקת תפישת המטרות והבנתן לאורך כל מדרג התוכנית).

כדאי להשתמש במבנה מרובד שמשלב בדיקת עומק (למשל ניתוחי אירוע) עם בדיקות שטח (שאלונים).

וישנם גם כלים שהם מראש קוראים למורכבות. למשל: “סיפור קבוצתי” של בוגרי תוכנית מנהיגות או של גרעין עירוני סביר שייתן הרבה יותר מידע, ידע ותובנות משאלון. זאת פרט לעובדה שבשאלון אנחנו יכולים לשאול רק על מה שאנחנו חושבים מראש. או שמוש בכלים השלכתיים

יציאה מנקודת הנחה של complexity  גורסת שהמציאות תמיד מפתיעה. ואם אנחנו רוצים ללמוד אותה, כדאי להשתמש בכלים שיאפשרו לנו להיות מופתעים.

ושוב חשוב לזכור שמוערך גדול הוא לא בהכרח complex ומוערך קטן איננו בהכרח פשוט!

מסובכות תחום ההערכה

כשעוסקים במורכבות – ההערכה כשלעצמה היא תחום מאד מסובך (complex) ומאד רחב. המסובכות נוצרת מעצם המפגש של עשייה מגיבה (הערכה) עם עשייה משתנה (התוכניות, המיזמים, המוערכים למיניהם).

המרחב של תחום ההערכה והמתחים בתוכו:

מוערך יכול להיות כל מיזם, תוכנית, ארגון, מדיניות, תהליך או תוצר. לפני, תוך כדי ואחרי מעשה.

גישות להערכה: הערכה ממוקדת תוצרים, הערכה ממוקדת תהליכים (וצירוף שלהם) הערכה משתפת, הערכה מעצימה, הערכה דמוקרטית, הערכה ממוקדת תיאוריה, הערכה מעצבת, הערכה מסכמת, הערכה בגישת המערכות ועוד ועוד…

השקפות עולם: פיקוח מול למידה; ידע מול מיומנויות; מיון מול טיפוח; אנליטית מול הוליסטית; ממוקדת מנהלים (יזמים, מתערבים, מממנים) מול הערכה שמשרתת את קהל היעד, ועוד….

מבנים: הערכה פנימית, הערכה חיצונית, הערכה עצמית, הערכה בדיאלוג, קיברנטיקה, רשת…

ועוד לא נגענו במתודולוגיות המרובות והמגוונותJ

מה נדרש מהמעריך? האם כל אחד יכול?

על מנת לאמץ מורכבות דרושות כמה תכונות נוספות על מומחיות בהערכה.

עבור מצבים שהם complicated דרושה מומחיות. ככל שעולה מורכבות כך דרושה מומחיות גדולה יותר.

מה נדרש עבור מצבים שהם complex? יכולת לעמוד במצבי עמימות. מי שחש צורך “לסדר את העולם” יתקשה להתמודד עם מסובכות. יש צורך ביכולת לנהל הפתעות ולהגיב בגמישות. להגיב בגמישות זה אומר ארסנל כלים גדול, ידע רחב איך להשתמש בו ויצירתיות.

מהו הרווח למזמין ההערכה ו/או למנהל התוכנית?

החששות מצורת עבודה כזו רבים, נמנה כמה:

– חשש מהצפה של מידע

פתרון: לשאוף ליצור ידע או לפחות הבנה. בדרך זו המעריך דווקא עוזר להפחית עומס. גם יחסית להערכה קונבנציונאלית שמציפה בממצאים. באמצעות חיבוק המסובכות הממצאים הם חלק מהבנה רחבה יותר ולא חלקי פאזל מפוזרים.

– הרצון והצורך להתייחס לריבוי גורמים מכריח לחתוך ולנפות.

פתרון: יצירה משותפת עם המוערכים של סולם עדיפויות לגבי הידע החשוב (להבחין ממידע), ולחתוך לפי הצורך והרלוונטיות. התיחום והחלקים שנבחרו צריכים להיות מוצהרים ומנומקים. חשוב לקחת בחשבון גם את ההשלכות האתיות של החיתוך. על הקול של מי אנחנו מוותרים?

– ריבוי בעלי עניין, ריבוי קולו, ריבוי צרכים, ריבוי נקודות מבט, שפות ותרבויות

פתרון: הצעה של “שורות תחתונות” מרובות שרגישות לצרכים של קהלי יעד שונים.

אז מה הרווחנו?

1. הערכה מורכבת נותנת תשובה לשאלה “למה?” למה דברים מתנהלים כפי שמתנהלים? מה ההסבר העמוק לתופעות? הערכה קונבנציונלית מסתפקת בדרך כלל בתשובה לשאלות “מה” ו”איך”. מה קיים ואיך הדברים מתנהלים. על מנת לתת תשובה ל”למה”, יש צורך להתייחס להרבה גורמים ישירים ועקיפים וליחסים ביניהם – כלומר, יש צורך בהערכה מורכבת.
2. הערכה מורכבת מחוללת ידע. הערכה קונבנציונלית מספקת מידע. זו גם אחת ההגדרות המקובלות של הערכה “לספק מידע מועיל למקבלי החלטות”. להערכה מורכבת יש סיכוי לחולל ידע חדש. (גם אם בחלק מהמקרים מדובר בידע מקומי שנכון לתוכנית, ארגון, או מדיניות קונקרטיים).

מורכבות בהערכה או הערכת מורכבות בפורמט הדפסה (PDF)

כיצד מודדים הצלחה של מחאה חברתית?

כמה מילים על מדדים ועל הערכה

“מהם המדדים להצלחת המחאה החברתית של 2011?” הייתה השאלה שהוצגה למשתתפי הפנל בכנס “בהערכה רבה 2015” שעסק בהערכת שינוי חברתי.

המושגים מדדים ומדידה נשמעים הרבה בשיח סביב ההערכה, וגם בשיח סביב מינהל תקין. אין כנס או יום עיון שהנושא אינו נדון בו. מדדים הם חשובים. הם מאפשרים לנו לדעת איפה הנושא שעבורו יצרנו מדד נמצא ביחס לקריטריונים שונים. הם מאפשרים בקרה ומעקב, וגם תכנון מושכל.

אני רוצה לטעון א. שהעיסוק במדדים מקטין ומרדד את הכוח של ההערכה, גם הערכה חינוכית וגם הערכת תוכניות, מכיוון שהערכה יכולה וגם צריכה לעשות הרבה יותר מזה. ו-ב. ששימוש לא מושכל במדדים רב נזקו על תועלתו.

נוטים לבלבל בין מדידה לבין מדדים, וחשוב להבחין ביניהם. מטרת המדידה היא למצוא גודל של מאפיין ניתן לתצפית או להתאים ערך מספרי לתכונה. לא כל מדידה עוסקת במדדים או יוצרת מדדים, ולכן חשוב לדעת על מה אנחנו מדברים כשאנחנו אומרים “מדד”.

מדד הוא מספר שמייצג כמות או רמה של מאפיין מסוים לצורך השוואה של אותו מאפיין בזמנים, במקומות או במקרים שונים או כלפי קריטריון.

שתי מילות המפתח כאן הן “מספר” ו”השוואה”. על מנת שלמדד יהיה תוקף והוא אכן ייצג את מה שהוא אמור לייצג, עלינו להיות בטוחים בשלושה דברים.

א. שהמאפיין שעבורו אנחנו יוצרים מדד ניתן לייצוג מספרי,

ב. שהייצוג המספרי לוקח בחשבון ומשקלל בתוכו את כל הגורמים הרלוונטיים (את סוגיית הרלוונטיות אדגים בהמשך),

ג. עלינו להיות בטוחים שמדידות שונות של אותו מדד הן אכן ברות השוואה. למשל, אם אנחנו רוצים להשוות ציוני בחינות לאורך זמן, עלינו להיות בטוחים שהבחינות המושוות אכן בוחנות את אותם ממדים ומרכיבים של ידע ומיומנויות, שאם לא כך הוא – אין בסיס להשוואה. וכאשר ההשוואה היא מטעה, ההסתמכות על ממצאיה עלולה להוביל למסקנות מוטעות ולפעולות לא יעילות או אף מזיקות שנובעות מאותן מסקנות.

אז האם ניתן לבנות מדדים להצלחת המחאה החברתית של 2011?

השאלה הראשונה שחשוב לשאול היא לשם מה? מה יתנו לנו המדדים האלה?

השאלה השנייה היא לאילו מדדים אנחנו רוצים להשוות אותם?

התשובה המיידית לשאלה הראשונה תהיה “בשביל לדעת אם המחאה הצליחה.” מיד נבחן באילו תנאים נוכל לקבל לשאלה זו תשובה, ואם המדדים יעזרו לנו בכך. לצורך כך ננסה לענות לשאלה השנייה, מהם מדדי ההשוואה, ונבחן מהם המדדים הרלוונטיים, אם בכלל.

לשאלה השנייה ישנן שתי תשובות אפשריות. האחת, המתבקשת: השוואה למדדי הצלחה של מחאות אחרות. השנייה: השוואה למדדי קריטריון של הצלחת המחאה.

המילה “הצלחה” מופיעה הרבה גם בכותרת וגם בקטעים האחרונים. ולא בכדי. הרי את ההצלחה אנחנו רוצים לבחון באמצעות מדדי ההצלחה. על מנת לבנות את מדדי ההצלחה אנחנו צריכים לדעת מהי הצלחה. איך נדע מהי הצלחה? באמצעות מדדי ההצלחה? יש חור בדלי. או במילים אחרות טאוטולוגיה ומבוי סתום. לא טוב. אז איך כן? בהמשך.

בואו ננסה דרך אחרת לבנות מדדים להצלחת המחאה. נבנה מדדים למידת השגת מטרותיה. זוהי פרקטיקה מקובלת בהערכה. מנסחים מטרות לפעולה. מה היא רוצה להשיג, לאן היא שואפת להגיע, וברגע שהמטרות ברורות ניתן בדרך כלל לבנות להן מדדים.

כאן יש לנו קושי אחר. הקושי להגדיר למחאה החברתית של 2011 מטרות. מטרות “מחאת הקוטג'” או “מחאת המילקי” הן ברורות יחסית – הורדת מחירים. מה היו מטרות המחאה ב-2011? תלוי את מי שואלים. הביטוי “צדק חברתי” היה באוויר. אבל מהו בדיוק צדק חברתי? לאיזה צדק חברתי התכוונו מיליון איש שהתכנסו בכיכר המדינה? אולי אין לכך מיליון תשובות שונות, אבל כמה עשרות בוודאי שישנן.

יש מצבים ברורים קצת יותר. למשל מטרה כללית של תוכנית התערבות קהילתית: “לשפר את איכות החיים של הקשישים בשכונה.” בדרך כלל מקובל לתת הגדרות אופרטיביות למושגים השונים. למשל מי מוגדרים כקשישים (חשוב מאד. חשוב שהתוכניות יגיעו לאוכלוסיות שאליהן יועדו), וכיצד מוגדרת “איכות חיים.” “איכות חיים” יכולה להיות דברים שונים לאנשים שונים, וההגדרה הרלוונטית למעריכים היא ההגדרה שהתוכנית משתמשת בה. אחד התפקידים הראשונים של המעריך הוא להשוות את ההגדרה של התוכנית להגדרות מקובלות בתחום. במקרה שלנו נניח שהתוכנית מציינת “הקלה על בדידות, והגברת נגישות לשירותים קהילתיים (מרפאה, מכולת) וחברתיים (מועדון לקשיש, ספרייה).” לכל הדברים שצוינו כאן ניתן להגדיר קריטריונים ישימים, ולבנות מדדים אל מול הקריטריונים האלה. זה לגמרי לא פשוט, אבל אפשרי שכן יש לנו מטרות מוגדרות, אמצעים ידועים וקריטריונים רלוונטיים.

כפי שהבטחתי אני רוצה להרחיב כמה מילים על הרלוונטיות של קריטריונים ושל מדדים.

דוגמא נפוצה מאד למדד – ציונים. אקטין קצת את המרחב לציון של בחינה אחת. האם כל ציון הוא מדד? מדובר אמנם בייצוג מספרי. אבל יש לנו עוד שני קריטריונים: א. הציון צריך לשקלל את המשתנים הרלוונטיים, ו-ב. הוא צריך להיות בר השוואה. כלומר על מנת להפוך ציון למדד רלוונטי עלינו לענות על כמה שאלות, כמו למשל מהם המשתנים הרלוונטיים? מה רוצים לבחון? כל נושאי הלימוד בצורה שווה? רק ידע או גם מיומנויות? איזה ידע? אילו מיומנויות? באיזה מינון? איך משקללים את כל אלו למדד אחד? זה בשלב ראשון. ואחרי שבחנו את כל אלה, צריך להקפיד שאותם דברים בדיוק מיושמים גם במבחנים הבאים, כך שהציונים יהיו אכן בני השוואה. הרבה דברים עלינו לבחון. והתשובות אינן פשוטות. וזה כשיש תוכנית לימודים ידועה ומטרות חינוכיות ולימודיות מוגדרות.

ככל שהתופעה הופכת מורכבת יותר. ככל שיש יותר גורמים מתערבים, מתווכים ומשפיעים ומושפעים הדדית, הופכת בניית המדדים להיות יותר ויותר בעייתית. הפתרון שרובנו נוקטים בו הוא להקטין את המורכבות באמצעות מיון הגורמים המשפיעים, המתערבים והמתווכים לקטגוריות ובניית הגדרות אופרציונליות מדויקות. נכון שהורדנו את המורכבות של התופעה, מצד שני איבדנו חלקים מהתמונה. הרבה פעמים החלקים שאיבדנו הם היותר משמעותיים.

כשיש לנו תופעה משתנה, מושפעת ומשפיעה – המדדים מעוורים אותנו. אנחנו רואים רק את המדד ומאבדים את התמונה. למשל אחוז בעלי דירות מקרב יוצאי אתיופיה גבוה – מדד חיובי. המצב המורכב, ההתכנסות של הדירות הזולות באזורים חלשים יוצרת כיסי מצוקה. דווקא הבעלות על דירות מקשה את היציאה מהם. דוגמה אחרת: אחוז המתגייסים מקרב יוצאי אתיופיה גבוה בהשוואה לאוכלוסיות אחרות. מדד חיובי. התמונה המורכבת – אחוז האסירים יוצאי אתיופיה בבתי כלא צבאיים גבוה בהרבה מהאחוז היחסי של יוצאי אתיופיה בקרב החיילים. הסתכלות רק על מדד ההתגייסות מטעה ומעורר אשליה שהכל בסדר. ואז קל להתעלם מהעובדה שדרושה הכנה טובה יותר של המתגייסים, ושאין קליטה נכונה שלהם בצבא.

בקישורים הבאים מאמרים שדנים בסוגיה הזו של הסכנות הטמונות בעבודה לא נכונה עם מדדים.

בקישור הראשון “הכל מדיד?” מראיין יורם הרפז את שמשון שושני בתום הקדנציה השלישית שלו כמנכ”ל משרד החינוך. שושני מביע את דעתו והרפז מתווכח איתה.

http://yoramharpaz.com/interviews/2011_12a.pdf

בקישור השני מאמר ב”הארץ” שכותרתו “הדיקטטורה של האקסל” וטענתו המרכזית היא שההשתעבדות למדדים כמותיים משפיעה על חיי היום-יום לא פחות מפשע ומשחיתות, ובוודאי יותר מטרור, ושבטווח הארוך, זהו איום חמור בהרבה.

http://www.haaretz.co.il/magazine/the-edge/.premium-1.2825789

בקישור השלישי מאמר בניו יורק טיימס שמסביר כיצד מדדים לא טובים הוליכו שולל אנשי חינוך ואנשי בריאות.

<http://www.nytimes.com/2016/01/17/opinion/sunday/how-measurement-fails-doctors-and-teachers.html?src=me

אז איך בכל זאת יודעים אם המחאה החברתית של 2011 הצליחה? כנראה שלא באמצעות מדדים. גודל ההפגנות זה דבר שקל למדוד. האם זה מצביע על הצלחת המחאה? היום ב-2016? כנראה שזה לא מדד מתאים. כאשר אנחנו רוצים לבדוק איכות של יין, אנחנו לא סופרים בקבוקים.

כל קריטריון שנחשוב עליו יהיה מורכב מאד. חברי כנסת שנכנסו לכנסת בעקבות המחאה? האם סדר היום הפוליטי שלהם קשור למחאה? ומה זה נקרא “סדר יום שקשור למחאה?” מהו סדר היום של המחאה שאותו אמורים חברי הכנסת להמשיך?

מילון המושגים השתנה. כולם “חברתיים”. מה המשמעות המעשית של המושג? האם באמת השתנו שיקולי השרים והממשלה? האם השתנתה הדרך שבה מקשיבים אזרחי ישראל לנאומיו של שר האוצר?

לדעתי אפשר לבחון אם המחאה הצליחה ובמה, במה נכשלה, ומה אפשר ללמוד ממנה לקראת המחאה הבאה אם תקום. אבל זה דורש קני מידה חכמים. עמוקים. מרובי פנים. שניתן להשיג למשל באמצעות רב שיח של מומחים (סוציולוגים, היסטוריונים, עיתונאים..) שידונו בסוגיה מהיבטיה הרבים. ובמקרה הזה – שלא יסכימו, שיתדיינו – והדיון יאיר לנו פינות שלא חשבנו עליהן, יעזור לנו להבין את המורכבות, וייצר עבורנו ידע חדש על מחאה חברתית שאיננו רדוד, או מעוות על ידי מספרים חסרי משמעות.

המסקנות שלי הן שתיים. הראשונה – להשתמש במדדים בזהירות. גם משום שלא לכל דבר ניתן להצמיד מדד. וגם משום ששימוש במדדים לא מספיקים, חלקיים או לא רלוונטיים הוא מטעה ועלול להיות מסוכן.

השנייה – ישנם מקרים, והם לא מועטים, שבהם נלמד הרבה יותר, הן כמעריכים והן כמוערכים אם במקום לפשט את המורכבות ולפרק אותה לגורמים, ננסה דווקא להבין אותה על כל צדדיה ופניה.

אבל על כך בפעם הבאה.