מירי לוין-רוזליס                                                                                                 מאי 2016

יותר ויותר מתפתחת ההבנה של מעריכים, מוערכים וצרכני הערכה שעל מנת שניתן יהיה להעריך תוכנית התערבות, ארגון או מדיניות (להלן: המוערך) באופן שגם ניתן ללמוד ממנו משהו, חשוב לנו לדעת לא רק מה התוצאות בסוף התהליך אלא גם מה התהליך אל אותן התוצאות, ולמה נעשים הדברים כפי שנעשים.

בדיקות פרה ופוסט של תוצרים לא מסבירות את הסיבה לתוצרים כפי שהם או להיעדרם. שתי הטעויות הסטטיסטיות אפשריות כאן. הטעות מסוג ראשון שתשייך למוערך (תוכנית, ארגון, מדיניות, או התערבות) השפעות שאינן שלו, והטעות מסוג שני שתבטל תוכנית טובה בגלל תוצאות נמוכות או חסרות שאינן קשורות לטיב התוכנית.

על מנת לקשור תוצאות או היעדר תוצאות לעשייה של המוערך חשוב להבין את הקשר ההכרחי (עד כמה שניתן לדעת) בין שתיהן (העשייה והתוצאות).

אני מאמינה שמוסכם על רוב העוסקים בהערכה היום (פרט לחסידים המושבעים של RCT (מערכים ניסויים בהקצאה אקראית) שיש חשיבות רבה לניסוח “תיאוריית הפעולה לקראת שינוי” מגובשת וניתנת לבדיקה שמסבירה:

א. מהו ההיגיון או הרציונל שמוביל את ההתערבות. איזו הנמקה תיאורטית או אחרת ניתנת לאופי הפעולות שנעשות.

ב. מה טיב הקשר בין העשייה (בפועל או המתוכננת) לרציונל ההתערבות (והאם הם אכן קשורים ביניהם).

ג. מה טיב הקשר בין הנ”ל (העשייה המתוכננת/בפועל ורציונל ההתערבות) לתוצאות המצופות או הנצפות.

שלושת החוליות האלו חשובות. בלעדיהן אין לנו יכולת לטעון לקשר סיבתי בין המוערך לתוצאות.

הקשר המשולש שבין תאוריית השינוי, העשייה והתוצאות נמצא בתוך הֶקְשר תרבותי, חברתי ופוליטי מורכב, וכמובן הֶקְשר של סביבה, ושל היסטוריה. בין כל הגורמים האלה מתקיימת דינמיקה. דינמיקה משמעה השפעות הדדיות, שלא כולן צפויות, משתנים מתערבים ומשתנים מתווכים שרק המחשבה על כל אלה יוצרת הצפה וקושי.

הרצון המיידי והטבעי של כולנו במפגש עם מורכבות כזו הוא להפחית אותה. לשם כך, וכבר מראשית ימיה של ההערכה פותחו מודלים שונים שמהווים התוויית דרך כזו או אחרת שמנסה להוביל אותנו בנבכי מה שנחווה ככאוס (למשל ה-CIPP).

בין המודלים הרבים בולטת מעל כולם משפחת המודלים שנקראת “מודלים לוגיים”. למודלים הלוגיים כולם משותפת ההתייחסות למספר קטגוריות: תשומות (Inputs); פעילות או עשייה בפועל (activities); תוצרים (output) שכוללים את מה התוכנית ייצרה בפועל; ותוצאות (outcome / impact) שבוחנים מה השינויים שחלו אצל מוטבי ההתערבות.

במשך השנים חלו הרחבות ועידונים של המודל, לכיוונים שונים ובהדגשים שונים. נוספו קטגוריות, והוגדרו מחדש קטגוריות קיימות. נוצרו דרכים שונות לצייר את המודלים הלוגיים. לחלק מהציורים והמודלים שהתפתחו ניתנו שמות שונים במקצת, לעיתים משתמשים באותו שם לגרפיקה אחרת. חלק מהמעריכים בונים את המודלים הלוגים בעצמם, אחרים מבקשים מאנשי התוכנית לבנות אותם או בונים אותם בשיתוף פעולה עם בעלי עניין שונים. אבל בעיקרו של דבר אנחנו מדברים על אותו תהליך שמנסה לקשור עשייה לתוצאות.

איור מס’ 1 מתאר מודל לוגי מורחב שמנסה לכלול בתוכו גם את הסיטואציה, גם את המשתתפים וגם גורמים חיצוניים לתהליך.

איור מס’ 1: מודל לוגי מורחב

אין ויכוח על כך שניסוח מוקפד ומושכל של הקשר בין העשייה לתוצאות, ובהֶקְשר הנתון, חשוב לכל בעלי העניין. השאלה היא האם, ועד כמה, מספק המודל הלוגי את התשובה לשאלה הזו, והאם הוא בכלל יכול לספק את התשובה. אני מאמינה שלא, ואסביר מדוע.

ניקח לדוגמה תוכנית יישובית שמנסה לטפל בדימוי עצמי נמוך של נוער שוליים באמצעות חוויית הצלחה בבחינות בבית הספר. המודל הלוגי שמוצג לעיל יוביל אותנו להציג את הדברים בתאים המתבקשים:

סיטואציה: קבוצת ילדים בישוב שמסובכת בעבריינות קטנה, אלימות והטרדות יחד עם כישלון לימודי מתמשך.

ההנחה: הכישלון בבית הספר גורם לדימוי עצמי נמוך  שמצדו גורם לשוליות.

ומכאן בתכנון לאחור:

מטרה סופית: אזרח מועיל ומשולב

מטרת ביניים: סיום בית ספר בהצלחה

מטרה לטווח קצר: הצלחה בבחינות

ובהמשך התכנון לאחור מוגדרות הפעולות, אוכלוסיית היעד והתוצרים.

אז איפה כאן הבעיה?

שתי בעיות ישנן. האחת מהותית והשנייה טכנית.

א. מהותית: הפילוסופיה של המדעים מכירה בשתי דרכים אפשריות לקשירת התערבות לתוצאה האחת באמצעות תיאוריה מדעית, השנייה באמצעות לוגיקה. המודל הלוגי נכשל בשתיהן.

ב. טכנית: המודל הלוגי קורס כשהוא בא להתמודד עם מורכבות.

מהותית:

הבעיה המהותית הראשונה, והמרכזית היא שתחום ההתבוננות של המודל הלוגי איננו מכסה את כל שלושת מרכיבי תיאוריית הפעולה לקראת שינוי. המרכיב העיקרי בה – חסר. ואסביר:

בכל פעולה לקראת שינוי מבחינים בשני תחומים: 1. תחום הניהול: תכנון העשייה, תקציבים, לו”ז, גיוס כוח אדם ודרכי הפעלתו וכדומה. 2. תחום הפעילות המקצועית.

בתחום הפעילות המקצועית יש לנו שוב שני חלקים שונים מהותית: 2.א. העבודה המקצועית הארגונית: מקצועיות כוח האדם, דרכי גיוס (reaching out) והפעלת המוטבים, מקצועיות הפעילות, קצבה ומשכה, כלי העבודה וכל מה שמכוון להוציא לפועל את החלק המקצועי. במודל הלוגי אלו ימצאו ב”פעילות” (activity) ובתוצרים (outputs).

2.ב. מבני העומק התוכניים, התיאורטיים והפדגוגיים (גם לפעילות חברתית וקהילתית יש פדגוגיה). כל מה שעונה לשאלה: “למה לעבוד כך ולא אחרת?” למה לסוג העץ המסוים הזה צריך להשתמש במקדח פרפר ולא במקדח ספיראלי? למה במקרה א’ חשוב לעזור למוטבים לשיים רגשות ובמקרה ב’ זה לא רלוונטי? למה במקרה ג’ חשוב לעבוד בקבוצה ובמקרה ד’ דווקא בזוגות? כיצד יוצרים את החיבור הסיבתי בין חוסר הצלחה לשוליות? בין הצלחה בבחינה לשיפור דימוי עצמי? ושיפור הדימוי העצמי, האם הוא קורה מאליו או שצריך תיווך? איזה סוג של תיווך? בקיצור, מהן ההנמקות או ההסברים המקצועיים, תיאורטיים או אחרים לאופי הפעילות המקצועית של המוערך כפי שהיא נעשית? לנקיטת הפעולות כפי שהן ננקטות?

הדברים אינם יכולים להיות מקריים. חייב להיות להם רציונל מקצועי. ללא הרציונל הזה, ללא הבנת ההיגיון שמפעיל את התוכנית אין לנו דרך לקשור את הפעולות לממצאים אלא באופן נסיבתי. אין לנו את הדבק הסיבתי המקשר ביניהם.

הפעלה נכונה של התחומים 1. ו-2.א. היא תנאי הכרחי להצלחה. תנאי הכרחי אבל לא מספיק. התנאי המספיק הוא 2.ב. בלעדיו,

אלא שהמודל הלוגי משאיר את 2.ב. מחוץ לתמונה. הרציונל או ההיגיון של התוכנית, ההסבר העמוק להצלחה או אי הצלחה שלה אינם נבדקים. לפעמים, כמו במודל דלעיל הם נמצאים במעטפת תחת הכותרת “הנחות” (וזאת אם בעת כתיבת המודל טורחים בכלל להכניס אותם לשם), ולפעמים אינם קיימים כלל.

במודל הלוגי ה”הנחות” בדיוק כמו “סיטואציה” או “גורמים חיצוניים” הם במעטפת. הם גורמי הֶקְשר, קונטקסט שאיננו בשליטה. שלכל היותר צריך לקחת אותו בחשבון. החלק המסביר החשוב ביותר להערכה של מוערך באופן שקושר בין העשייה לתוצאות – איננו בתחום המודל.

כמעריכים, משמעות הדבר שנוכל להישאר ברמה התיאורית בלבד. הרמה החשובה – ההסבר, תהיה חסרה. היא תהיה חסרה מכיוון שהיא חסרה אצל המוערך. כמובן שאנחנו יכולים להחליט לבדוק אותו, או לעזור לבנות אותו. אלא שהמודל הלוגי איננו מוביל אותנו לשם.

הבעיה המהותית השנייה היא הכשל הלוגי המובנה במודל. המבנה הלוגי שלו בנוי להובלת שרשרת לוגית אחת. הוא מנסה לפשט את המורכבות באמצעות לוגיקה פשוטה של “אם – אז”. היקש מודס טולנס שצורתו הפשוטה “אםA  אז B; לא A  אז לא B” אם הבעיה היאA  הפתרון לכך הוא B; אם הפעילות היא אכןB  (כלומר הפתרון לבעיה A) התוצאה המתחייבת היא לא A. בלוגיקה זה נראה ככה:

“אם היו נערי השוליים מצליחים בבחינות היו בעלי דימוי עצמי גבוה

אינם מצליחים בבחינות___________________

הם בעלי דימוי עצמי נמוך”

הפשטות של ההיקש הזה מטעה. קל מאד ללכת שבי אחריה. אבל היא טומנת בחובה מכשלה גדולה מאד. מכשלה שנקראת בלוגיקה “כשל חיוב המסקנה”. כלומר המסקנה לא הכרחית. היא לא מתחייבת, בעיקר משום שתתכנה סיבות אחרות לבעיה. למשל בדוגמה שלנו דימוי עצמי נמוך איננו הסיבה היחידה לשוליות, וחוסר ההצלחה בבחינות אינו הגורם הבלעדי לדימוי עצמי נמוך. הנה דוגמה שממחישה:

“אם הייתי בעליהם של כל יהלומי הבורסה הייתי עשירה

אינני בעליהם של היהלומים__________________

לכן אינני עשירה”

הבעיה הטכנית:

המודל הלוגי מתקשה מאד להתמודד עם מורכבות. קשה מאד להכניס למודל כזה משתנים מתערבים, משתנים מתווכים, יחסים הדדיים שמשפיעים ומושפעים הדדית ולכן משתנים כל הזמן, היסטוריה על השינויים שהיא יוצרת, ונקודות ראות שונות.

ניקח לדוגמה את סוגית נקודות הראות השונות.

כאשר בונים מודל לוגי עם בעלי עניין שונים, המעבר מבעל עניין אחד לאחר משנה את נקודת המבט. מה שהיה “פעילות” אצל בעל עניין אחד, נניח המפעילים, יכול להיות “תשומה” כשמשנים את נקודת המבט, נניח אל המוטבים. או לאחר זמן.

כאשר מדובר בתוכנית מרובת חלקים, מרובת קהלי יעד ומרובת מטרות, מביא הניסיון להתמודד עם כולן לגודל לא סביר ולעומס פרטים בלתי אפשרי של המודל. דווקא הניסיון לברוח מהמורכבות, יוצר מורכבות בלתי ניתנת להכלה. וזה רק מבחינת הגודל ועומס המודלים שמקננים אחד בתוך השני.

המודל הלוגי נכשל לחלוטין כאשר מדובר בהשפעות הדדיות בתוך המוערך, כאלו שמשנות את הרכיבים בתוכו או את מהותם.

***

לכולנו קיימת האשליה שאם רק היה לנו את הכלי הנכון – המיקסר הנכון במטבח, מכסחת הדשא הנכונה למדשאה, האפליקציה הסטטיסטית הנכונה במחשב, המקדחה הנכונה במחסן – היינו עושים דברים הרבה יותר טוב. אלא ששום כלי, מוצלח ככל שיהיה לא יכול להחליף ידע מקצועי. לפעמים ההפך הוא הנכון. לבן זוגי שעוסק באופן מקצועי בבישול יש עשרות סכינים, ולמעלה מעשרה בשימוש שוטף. ישנה סכין לחיתוך ירקות, וסכין לפלט דגים, וסכין לבשר, וסכין לעוף, וסכינים לעוד מיני פעולות שאין לי מושג לגביהן. חלקן גדולות וחלקן קטנות, חלקן רחבות וחלקן צרות, חלקן משוננות וחלקן חלקות. כל אחת מתאימה למטרתה. עבור בעל המקצוע אין סכין אולטימטיבית, כזו שטובה להכל (למרות שבתוכניות הבישול בטלוויזיה מנסים לשכנע אותנו שיש סכין כזו, או מיקסר כזה. הם בונים על האשליה הזו).

המקדחה הכי טובה בעולם לא תהפוך אותי לנגר טוב יותר. ולו הייתי נגר טוב הייתי שואלת: “המקדחה הכי טובה בעולם – לאיזה צורך?”

אז מה – לשכוח את המודל הלוגי? לא, לא לשכוח.

המודל הלוגי הוא כלי. הוא לא פתרון לכל. אנחנו יכולים להשתמש במסמר כאשר אין לנו דיבל. אבל עלינו לזכור שמסמר מחזיק רק תמונה בגודל בינוני. אם אנחנו רוצים לתלות מדף – המסמר לא יספיק. כך גם לגבי המודל הלוגי. יתרונותיו רבים, וניתן להשתמש בו לצרכים מגוונים. ואין צורך בי כמליץ יושר. ישנם רבים שיעשו זאת טוב ממני. הבעיה שישנם רבים עוד יותר שרואים במודל הלוגי את הפתרון לכל דבר ועניין. זו אשליה מסוכנת. כפי שאין מתודולוגיה אולטימטיבית, אין מודל או מערך הערכה אולטימטיבי. אפשר וגם רצוי להשתמש במודלים בכלל ובמודל הלוגי כאחד מהם. אבל צריך לזכור את המגבלות. לא לחיות באשליה המסוכנת שאם נמלא נכון את תיבות המודל – יש בידינו תכנון או מבנה טוב להערכה של תוכנית. אין לנו. ולזכור תמיד את הדברים המהותיים שהמודל איננו מכסה.