סוגיות בהוראה של הערכת תוכניות[1]

מירי לוין רוזליס                                                                                      פברואר 2016

התחום של הערכת תוכניות ופרויקטים הוא תחום שקשה מאד להוראה. בעיקר גדול הקושי כשמדובר בקורס יחיד שאמור להקנות מיומנויות לעבודה בשדה בתנאי אמת.

למאמר שני חלקים. בחלק הראשון אציג את המורכבות של תחום ההערכה, מורכבות שיוצרת קושי למורה ולתלמיד. בחלק השני אנסה לאפיין את סוגי הידע שיש בהם צורך בשביל להתמודד עם המורכבות הזו. בחלק השלישי אנסה להציע כמה פתרונות.

א. הצגת התחום

למה קשה ללמד הערכה? מכמה סיבות שהעיקריות שבהן:

• תחום מורכב ורחב
• מושאי הערכה שונים ומגוונים ובתחומים שאינם דומים זה לזה.
• נושא טעון ומעורר חששות והתנגדויות
• התחום עתיר ויכוחים פנימיים ואי הסכמות
• דורש ידע תיאורטי, מתודולוגי ופרקטי – בו זמנית

בהמשך אפרט על כל אחד מהנושאים האלה ואנסה להציע מספר פתרונות.

• תחום מורכב ורחב

תתי תחומים: תחת המִטריה של הערכת תוכניות יש לנו מגוון גדול של תתי תחומים שרובם דורשים התמחות נוספת וייחודית. דוגמאות לתתי תחומים כאלה בנוסף על תוכניות ופרויקטים הם למשל: הערכת מוסד; הערכת עובדים; הערכת מדיניות; הערכת תוכניות לימודים; הערכת איכות;

קהלי יעד מגוונים: בכל אחד מתת התחומים האלה יכולים להיות קהלי יעד שונים, שגם הם בחלקם דורשים ידע ייחודי בנוסף על הידע בהערכת תוכניות. למשל אוכלוסיות ייחודיות שתוכניות התערבות פועלות בתוכן, או בטיפוסים שונים של ארגונים שבהם פועלת ההערכה. למשל בנק לעומת בית ספר, לעומת עמותה. מיומנויות שונות של עובדים מוערכים וכדומה.

גישות שונות להערכה: כל אחד מתתי התחומים והמושאים ניתן להעריך בגישה שונה. בין הגישות הנפוצות אפשר לפגוש: הערכה מעצבת; הערכה מסכמת; הערכת תהליך; הערכת תוצר; הערכה כלפי מטרות או הערכה משוחררת ממטרות; הערכה משתפת; הערכה מפקחת; הערכה מעצימה; הערכה ממוקדת תיאוריה; הערכה קונסטרוקטיביסטית; הערכה ריאליסטית; הערכה דמוקרטית ועוד ועוד.

מבנים שונים של הערכה: פעולת ההערכה עצמה יכולה להיבנות באופנים שונים. אפילו יחידות הערכה בתוך ארגונים אינן דומות זו לזו במבנה הארגוני שלהן או במבנה העבודה. ויש דילמות שמכתיבות מבנים שונים. למשל: מעריך חיצוני מול מעריך פנימי; מומחה מתחום תוכן מול מומחה בהערכה; הערכה עצמית, הערכה בדיאלוג, קיברנטיקה, רשת. מיצוב ותפקיד של המעריך בתוך הארגון או בית-הספר.

השקפות עולם: פעולת ההערכה מושפעת גם מהשקפות עולם של המעריכים אבל גם של צרכני ההערכה ומממניה. והשקפות העולם יכולות להביא לגישות כמעט דיכוטומיות. להלן מספר דוגמאות: פיקוח מול למידה; ידע מול מיומנויות; מיון מול טיפוח; אנליטית מול הוליסטית; ממוקדת מנהלים (יזמים, מתערבים, מממנים) מול הערכה שמשרתת את קהל היעד.

הגבולות בין הערכה לתחומים דומים: הגבולות שאינם תמיד ברורים, כמו למשל בין הערכה לבין ייעוץ ארגוני או הערכה ולמידה ארגונית, עוד מוסיפים למורכבות.

• מושאי הערכה שונים ומגוונים ובתחומים שאינם דומים זה לזה.

מיזמים – הנדסיים, חקלאיים, חברתיים, חוקתיים, רפואיים, פיננסיים

ארגונים – מסוגים שונים, מערכות פורמאליות

מדיניות – של מדינות, ארגונים, תוכניות, מממנים, קרנות …

שירותים – בריאות, חינוך, רווחה, מזון, שירותים פיננסיים…

מוצרים – מחשבים, ספרים, חוברות הדרכה…

קהילות – תושבים, מקבלי שירותים, אוכלוסיות מוגדרות

אנשים – ביצועי יחידים: עובדים, תלמידים, חיילים, קהל יעד.

• נושא טעון ומעורר חששות והתנגדויות

אנשים אינם אוהבים להיות מוערכים. ישנם חששות גדולים מהערכה. וגם כאשר איננה נתפשת כביקורת היא מעוררת אצל אנשים מתח וחוסר נוחות.

גם בין בעלי המקצוע בתחום ישנם חששות דומים והמחקר הנרחב על התוקף ההשלכתי (consequential validity) שעוסק בהשפעות החברתיות של עצם העובדה שנעשית הערכה (בלי קשר לדרך שבה היא נעשית או תוצאותיה) הוא רק דוגמה אחת.

• התחום עתיר ויכוחים פנימיים ואי הסכמות

חלק מאי ההסכמות נובעות ממאבק המתודולוגיות, גישות איכותניות וקונסטרוקטיביסטיות מול כמותיות ופוזיטיביסטיות. חלק אחר מפילוסופיות מחקריות שונות כמו אובייקטיביזם שמחייב מעריך חיצוני מקצועי או אפילו RCT (Randomized Controlled Trials – הערכה במערכים ניסויים של קבוצה מטופלת וקבוצת ביקורת עם הקצאה אקראית), לבין התפישות הפנומנולוגיות של יציאה מהחוויה של המוערך.

מרחב ויכוח אחר הוא במאבק בין הגישה המוסדית לבין הגישה האנושית, ויכוח שמיצר את הדיכוטומיות שכבר נגעתי בהן: הערכה לצורך פיקוח לעומת הערכה לצורך למידה; סטנדרטיזציה לעומת הכרה בשונות ולמידתה; מבט מערכתי לעומת דיאגנוזה של בי”ס, כתה, מורה, תלמיד; הערכה של תהליך לעומת הערכה של תוצר; הערכה פנימית לעומת עצמית לעומת חיצונית; הערכה של ידע לעומת הערכת מיומנויות; הערכה לצורך מיון לעומת הערכה לצורך פיתוח וקידום; מודל הערכה ניסויי מול מודל מגיב.

ב. גופי הידע הנדרשים

שלושה גופי ידע מרכזיים נדרשים למעריך: ידע תיאורטי, ידע מתודולוגי וידע פרקטי.

הידע התיאורטי כולל היסטוריה של הערכה, מודלים שונים של הערכה, גישות מרכזיות להערכה וההבדלים המהותיים ביניהן, ורקע פילוסופי וחברתי של התחום. חשוב להכיר את הכותבים מרכזיים בתחום של הערכה ותפישותיהם. להכיר דוחות הערכה ולהיות מסוגלים לקריאה ביקורתית שלהם.

בנוסף לידע ממוקד בהערכה חשוב גם ידע היקפי. למשל ידע סוציולוגי וארגוני. להכיר את הסביבה החברתית תרבותית שבה פועל המעריך. ולדעת להבין תהליכים חברתיים וארגוניים. הבנה פוליטית והיכרות עם מבנים ותהליכים פוליטיים חשובות גם כן. ידע באנתרופולוגיה ובפסיכולוגיה לא מזיק אף הוא.

הידע המתודולוגי כולל היכרות עם גישות שונות ושיטות שונות לעיבוד נתונים, כמותיות, איכותניות ומעורבות, יתרונותיהן וחסרונותיהן. ידע בעבודה מעשית עם כלים לאיסוף נתונים, בניתוח ועיבוד נתונים, ובהצגתם.

מכיוון שהמעריך נדרש לתת מענה במצבים משתנים, יש חשיבות להבנת המהות והעקרונות של השיטות השונות, על מנת שתהיה יכולת לתפור כלים ושיטות “לפי מידה”. אי אפשר להסתפק רק ב-know how. ידע טכני בלבד איננו מספיק.

הידע הפרקטי כולל מגוון מיומנויות כמו: איך נכנסים לתוכנית, איך מזהים את האינפורמנטים המרכזיים, איך מראיינים, איך בונים שאלון, איך נותנים משוב, איך מגלים זרמים סמויים, מתי ואיך יודעים שלא יודעים, או לא מבינים, איך מפרקים התנגדויות, איך יוצרים אמון ואיך שומרים עליו, איך מתמודדים עם בעיות אתיות מסוגים שונים, איך נזהרים מפרה-קונספציות מטעות, איך ואיך ואיך…

אופנויות ידע

שלושת גופי הידע האלה מופיעים בשלוש אופנויות עיקריות: ידע גלוי ומוצהר, ידע חבוי וידע בפעולה (know how).

ידע גלוי ומוצהר הוא הידע שמנוסח לנו במושגים יחסית ברורים. שהוא מומלל (ורבלי) ואפילו כתוב. ידע מוצהר יכול להיות פורמלי כמו תיאוריות או הגדרות ויכול להיות לא פורמלי כמו דעה שלנו על משהו. אבל הוא נגיש לנו וניתן בקלות להעברה הלאה באמצעות מילים או מסמכים.

ידע חבוי (tacit knowledge) הוא ידע שיש לנו שהוא לא מומלל ולא ממש פורמלי. דוגמה מקובלת היא רכיבה על אופניים. אנחנו פשוט רוכבים. (אלא אם אנחנו רוכבים מקצועיים ואז יש צורך בהרבה ידע פורמלי). בתהליך הערכה (ובכלל באינטראקציות יומיומיות) אנחנו פשוט מגיבים, ובדרך כלל באופן סביר, באופן ספונטני ואינטואיטיבי. בהרבה מקרים לא תהיה לנו תשובה לשאלה למה פעלנו כפי שפעלנו. התגובה באה מידע שיש לנו, שהוא חבוי, ולעיתים ממש לא נגיש, ובכל זאת מכוון אותנו במידה רבה מאד גם בעבודתנו המקצועית.

ידע בפעולה מופיע כאשר אנחנו יודעים לעשות משהו. ידע כזה בדרך כלל מורכב משני סוגי הידע דלעיל. למשל בחירה בפרוצדורה סטטיסטית מתאימה. ההחלטה באה בהרבה מקרים לפני ההנמקה התיאורטית. כנ”ל למשל לגבי שאלה בשאלון שאני יודעת שאיננה טובה, או שכדאי לנסח כך או אחרת. התגובה הראשונית באה מידע חבוי, שמגובה בידע גלוי ומוצהר.

ג. אז איך מתמודדים?

בעיה אחת היא הרלוונטיות של הנושאים ללומדים. הקשר בין תפישות תיאורטיות לעבודה המיידית בשדה בדרך כלל לא ברור. אפילו את הקשר בין מתודולוגיות לעבודה בשדה מתקשים לפעמים הלומדים לראות.

בעיה לא פשוטה אחרת היא המעבר בין האופנויות השונות של הידע. ובעיקר בשני צמתים. האחד, העברת הידע חבוי של המלמד אל הלומד. והשני, הפנמה של הלומד את הידע המוצהר והגלוי שנלמד. לעיתים קרובות ידע חבוי של המורה עובר כידע חבוי ללומדים ללא התיווך של תהליך ההמרה לידע גלוי.

שתי הבעיות האלה נפתרות באמצעות תהליך של מנטורינג (mentoring) – הנחייה. המשמעות היא שמהלך ההוראה נתפר סביב עבודה מעשית של הלומדים ומגיב אליה, ושהוא כולל מעט הרצאות והרבה שיח ממוקד עשייה. אם אפשר מבחינת זמן וכוח אדם חשוב לשלב עבודה בקבוצות קטנות ומפגשים פרטניים של צוותים.

מה קורה בפועל

בפועל יש לנו כמה סוגי העברה של ידע שכל אחד דורש התייחסות מעט אחרת.

העברת ידע פורמאלי גלוי לידע פורמאלי גלוי

מדובר בעיקר בידע התיאורטי ובחלקים מהידע המתודולוגי.

צורת הלמידה – קונבנציונלית. הרצאות, הוראה פרונטלית. קריאת מאמרים. מטלות כתיבה. פרק תיאורטי בדו”ח ההערכה.

קשיים: לומדים מתקשים לראות את הרלוונטיות לעבודת השדה; לומדים אמביוולנטיים ביחס לתחום.

פתרונות: קישור מיידי לשדה קונקרטי ולהתנסויות של הלומדים. חלקים תיאורטיים רבים נלמדים בהקשר או גם נבחרים בגלל ההתנסויות של הלומדים. השיח הוא סביב ההתנסויות ולא סביב התיאוריה.

הפיכת ידע פורמלי גלוי לידע בפעולה של הלומד והפנמתו כידע חבוי

על מנת שידע פורמלי יהיה זמין לנו לעבודה השוטפת הוא צריך להיות מומר לידע בפעולה ולהיות מופנם כידע חבוי שמופעל בעת הצורך ללא היסמכות על “דפים כתובים”.

צורת הלמידה – התנסויות מרובות. עבודת שדה אמיתית ומונחה. סימולציות. עבודה סדנאית.

קשיים: הלומדים מבולבלים מהעמימות, ומוצפים מהכאוס של השדה ומהתהליך המזוגזג של הקורס. תסכול.

פתרונות: חלוקת עבודת השדה לשלבים ברורים – יוצרת סדר. מודעות לתהליכים האבדוקטיביים מפחיתה בלבול. תמיכה ומתן לגיטימציה לעמימות שהיא חלק בלתי נפרד מהתהליך מתפתח.

הפיכת ידע חבוי של המלמד ושל הלומדים לידע גלוי עבור הלומד

הדוגמה של רוכב האופניים המקצוען היא דוגמה טובה. יש צורך בהמשגה של חוקי הפיזיקה, של מערכת השרירים השלד והנשימה על מנת לשפר ביצועים שבראשיתם הם חבויים, ספונטניים ואינטואיטיביים.

למורה שהוא מעריך מנוסה יש המון ידע שאיננו מנוסח ומומלל, ויש צורך לנסח אותו כדי שיעבור ללומדים.

צורת הלמידה: מנטורינג של התנסויות. המורה מגיב להתנסויות הלומדים. התנסויות הלומדים מובילות את השיח. רפלקציה על והמשגה של תגובות המורה והתלמידים. מודלינג. למידת עמיתים.

קשיים: תהליך לא מובנה ומגיב, לא פשוט למורה. מבלבל את הלומדים. מצריך בטחון של המורה ויכולת רפלקציה. ללומדים קשה להמשיג את ההתנסויות. קושי בטרנספר מאירוע אחד לאחר.

פתרונות: סבלנות. יצירת סביבה בטוחה להתנסויות, ולמידה לא שיפוטית מטעויות. חזרות רבות. הדגמות. ציון של דמיון בין מקרים.

האיור הבא מסכם את תהליכי ההעברה. בצד שמאל המלמד, בצד ימין הלומדים[2].

איור מס 1: תהליכי ההעברה של אופנויות הידע בין המלמד (משמאל) ללומדים (מימין)

ובתוך כל התהליכים האלה חשוב לחנך כל הזמן לחשיבה ביקורתית (להבחין מביקורתיות). הערכה מבוססת על חשיבה ביקורתית. חשיבה ביקורתית משמעה לא לקבל שום דבר כמובן מאליו. ובעיקר לא את מה שמובן לנו מאליו. לשאול על כל דבר. לבחון כל דבר. ובעיקר לנסות לענות על השאלה למה? למה קורה מה שקורה? למה נעשה מה שנעשה. לעולם לא להסתפק בתיאור של ה”מה” וה”איך”.

[1] המאמר מבוסס בחלקו על

Levin-Rozalis, M. and Rosenstein, B., (2003) A Mentoring Approach to the One-Year Evaluation Course. The American Journal of Evaluation. 24/2 p. 245-259

[2] מתוך:

Levin-Rozalis, M. and Rosenstein, B., (2003) A Mentoring Approach to the One-Year Evaluation Course. The American Journal of Evaluation. 24/2 p. 245-259