(©איור של דינה ליפסקי. מתוך: לוין-רוזליס, מ’ (2014) הערכת תוכניות? בואו נדבר על זה. תל-אביב: הוצ’ דקל)

המציאות שנתקלים בה אנשי הערכה היא בדרך כלל הרבה פחות מסודרת ממה שהיו המעריכים רוצים. בעלי עניין מרובים עם אינטרסים מגוונים או אפילו מנוגדים, הֵקשרים לא יציבים, אוכלוסיות יעד  מגוונות, תהליכים רבי פנים, שאלות מרובות וסבוכות, וכקינוח תקציב הערכה נמוך וכוח אדם חסר.

ישנן שתי דרכים עיקריות להתמודד עם המצב הקיומי הזה של אנשי ההערכה.

האחת – בדרך אנליטית. לנסות לעשות סדר: למיין, להגדיר, לבנות קטגוריות, לבנות מחלקות, לעבוד באופן לינארי וכדומה.

השנייה –מה שקוראים באנגלית: To embrace complexity, כלומר להתמודד עם מורכבות באמצעות מורכבות. להכיר במורכבות, לא לפרק אותה לגורמים אלא להיפך לנסות להכיל את מירב הקשרים, מירב הגורמים ומירב ההשפעות (מה שנקרא באנגלית: Sweep-in).

לתפישתי, הדרך הראשונה דומה ללקיחת הפיל שבתמונה וחלוקתו לקטגוריות: חדק, חט, זנב, רגל אוזן, בטן…   זה מסודר ונוח, אלא שמאבדים את הפיל. גלגלי שיניים וקפיצים של שעון מסודרים בתיבות – אינם שעון. פירוק המורכבות לחלקים קלים לניהול מאבדת את השלם. המציאות המורכבת לא מתארגנת בקטגוריות שהכנו מראש.

כדי להבין את הפיל בכוליותו, עד כמה שאפשר, אנחנו צריכים ללכת בדרך השנייה. לחבק את המורכבות.

אנסה בקצרה להציג את הדרך השנייה, שהיא מפחידה לפעמים, ודורשת התמודדות לא פשוטה, אבל שכרה בצידה.

הדבר הראשון שחשוב לעשות הוא להבחין בין מורכב (complicated) משהו שיש בו הרבה מרכיבים, לבין מסובך (complex) שבו יש השפעות ההדיות של מרכיבים וגורמים שמשנים כל הזמן את המציאות שאנו מתמודדים איתה (הן כמעריכים והן כמתערבים). ההבדל איננו הבדל של גודל אלא של מהות.

לשלוח גשושית למאדים זו משימה מורכבת מאד. יש צורך לתכנן, לצפות מראש ולתכנת כמות אדירה של מהלכים. המשימה מורכבת (complicated), אבל איננה מסובכת (complex). מטבע הגדרתה אין בה שום מקום להפתעות. הפתעות ללא תשובה – יגרמו לגשושית לאבוד בחלל ולא להגיע למאדים.

אבל כשאנחנו עוסקים במצבים מסובכים, ההפתעות הן לחם חוקנו.

כשאנחנו מדברים על “מסובכות” (complexity) אנחנו מאפיינים “משהו” שהוא מרובה גורמים וחלקים מסוגים שונים, שפועלים באינטראקציה אחד עם השני, באופן שכל פעילות של כל חלק או גורם משנה משהו בדרכי הפעולה של האחרים.

כאשר מדובר בעולם החברתי, שהוא בדרך כלל המושא של ההערכה, יש לנו לא רק גורמים וחלקים, אלא גם מצבים והֵקשרים שגם הם משפיעים ומושפעים. יותר מזה, מכיוון שמדובר בבני אדם, או במבנים חברתיים שיש להם אוטונומיה לבחור דרכי פעולה או תגובה, ושיקולי התגובה הם בעצמם מורכבים ולא צפויים, אנחנו פועלים בשדה שבו קשה למצוא מצבי סיבה ותוצאה שניתנים לניבוי.

יחסי סיבה ותוצאה שניתנים לניבוי יש במצבים שהם complicated. למשל כאמור, לשלוח גשושית לפלוטו מחייב יחסים כאלה. וזה אומר שלמרכיבים אין אוטונומיה. לכל היותר בחירה בין אופציות מוכתבות מראש.

לעומת זאת תהליך התכנון עצמו הוא בהחלט מסובך. הפיזיקאים והמתכנתים מדברים בשפות שונות, ג’ק חולה ברגע קריטי, ג’והן ומייקל לא מוכנים לעבוד ביחד, הפסקת חשמל מעכבת את מחלקה א’ שמעכבת את ג’, שמעכבת את ח’, ההספקה של חומר חיפוי לא מגיעה בגלל שביתה במפעל, התחרות בין החשמלאים לרתכים גורמת נזקים, לחץ זמנים גורם לכולם להשתגע…  התמונה ברורה. לא רק שיש אינספור דברים לא צפויים, אלא שרוב הדברים הבלתי צפויים יוצרים אפקט אדווה וגורמים למעגלים של היזון חוזר, כל הזמן, כל הזמן.

הרבה פעמים נשאלת השאלה האם מסובכות היא מצב העולם (תפישה אונטולוגית) או דרך הסתכלות על המציאות (גישה אפיסטמולוגית)? לדעתי גם וגם. המציאות היא מסובכת, זה מצב העולם. אלא שלא תמיד אנחנו מוכנים לראות את זה או להשלים עם זה. יש נטייה, בעיקר בעולם המערבי הרציונלי, לפשט מורכבות, להבנות אותה בקטגוריות יציבות וליצור יחסי סיבה ותוצאה שלא תמיד קיימים. מה שנקרא וודאות כוזבת.

אנחנו לא יכולים לדעת עד הסוף את אופני ההשתנות של דברים. דוגמה טובה היא התנהגות של מים. מים מתפשטים כשהם מתחממים ומתכווצים כשהם מתקררים. אבל מה קורה כשהם מתקררים מתחת לארבע מעלות צלזיוס? או מתחממים למאה מעלות? מה ההשפעה של השינוי בעצם תהליך ההשתנות על הסביבה? כל מי ששכח בקבוק מים במקפיא, מכיר.

איך לאמץ מורכבות?

איך נראה אימוץ מורכבות? ראו לדוגמה את האיור הבא. (אל תנסו לקרוא התוכן לא רלוונטי).

(איור של בוב וויליאמס בעקבות צ’קלנד: http://users.actrix.co.nz/bobwill/)

הרעיון כאן הוא לנסות לבחון את כל מערכות היחסים וההשפעות החד כיווניות או ההדדיות שמשחקים תפקיד בתוכנית מסוימת. במקום לטאטא החוצה ולהקטין את שדה הראייה, לטאטא פנימה מה שיותר מרכיבים, גורמים ויחסים. כדאי להושיב לתרגיל הזה בעלי עניין שונים שבאים עם נקודות ראות שונות.

אם ניקח תוכנית חברתית (למשל תוכנית העצמה לנשים בדואיות) וננסה לשים על לוח את הגורמים שמשחקים בה תפקיד (הנשים, הקהילה, התרבויות של הקהילה, של המתערבים, של המעריכים, הז’רגונים השונים, המשפחות, המסורת, גורמים פוליטיים שונים בישוב, הגוף המתערב, תפישות העולם של חברי ההנהלה, של הגוף המממן, אילוצים של המתערבים, אילוצים של המממנים, אירועים שקורים בישוב, והשתנות כל אלה לאורך זמן). כעת נסמן בחיצים את הקשרים ביניהם, וההשפעות שהם מושפעים ומשפיעים. אם נשים את כל אלה על לוח – נקבל איור דומה לזה שמוצג כאן.

אפשר כמובן לתת צבע שונה לסוגי גורמים שונים, למשל, פנימיים או חיצוניים, בשליטתנו או שאינם בשליטתנו. קבועים או משתנים. (כל אירוע לגופו). וגם כמובן לסמן באופן שונה חיצים של קשר, חיצים של השפעה, חיצים של שליטה או של דיאלוג.

זה השלב הראשון. ואתם מוזמנים לנסות לשרבט את מפת ההשפעות המורכבות שלכם.

מה לומדים מזה?

הדבר הראשון שחשוב להשקיע בו מחשבה אלו הגבולות של התמונה המורכבת הזו. והגבולות יכולים להיות גמישים. אפשר ליצור יותר ממערכת גבולות אחת. מערכת רחבה – לידיעה. מערכת יותר קטנה – דברים שיש לקחת בחשבון. מערכת מצומצמת – לבדיקה עמוקה. צריך להיות מודעים שיש יותר מנקודת ראות אחת, ולדעת שאחנו בוחרים פרספקטיבה אחת מתוך רבות.

כניסה פנימה לרכיב מסוים ופירוט גדול שלו (זום אין), וההיפך – התרחקות (זום אאוט). והסתכלות על הדברים מנקודות ראות שונות, של שחקנים שונים. איך רואה את התמונה המממן? איך רואים אותה ילדיהם של הנשים בתוכנית? ראש המועצה?

השאלות הבאות שכדאי לדון בהן הן שאלות של יחסי כוח גלויים וסמויים ושל אינטרסים. שאלות של השפעות חזקות מול חלשות, וסוגים שונים של השפעה (פוליטית, תרבותית, כלכלית, ערכית). שאלות על  סדירויות שעולות מתוך הכאוס. אילו תובנות נוספו לנו? כדאי לחזור על התרגיל הזה פעם או פעמיים בשנה.

להעלאה לפני השטח של  התמונה המורכבת, של נקודות הראות השונות. של השינויים שחלו בהשוואה לפעמים קודמות יש תרומה משמעותית. התהליך בונה פרופורציות ויחסים ובאופן פרדוכסלי עוזר דווקא לארגון של המידע והממצאים שיש לנו על התוכנית. התמונה הגדולה והמורכבת נותנת משמעות עמוקה למידע שבידינו, שמתחבר לתמונה הגדולה והופך חלק ממנה. המידע הופך לידע.

איסוף הנתונים:

האם רק באמצעות כלים איכותניים? בשום אופן לא. למה?

כמו בכל תהליך הערכה ראוי נבחרים כלי איסוף הנתונים לפי סוג השאלה והאוכלוסייה הנבדקת. המשמעות שלהם בתוך המורכבות מתקבלת מתהליכים כמו בדוגמת ה-sweep-in או ניתוחים מערכתיים אחרים (דוגמא אפשר לראות בפרקים 6,7 בספר שלי: לוין-רוזליס, מ’ (2014) הערכת תוכניות? בואו נדבר על זה. תל-אביב: הוצ’ דקל).

בתהליך תכנון ההערכה חשוב לתכנן יצירת רשתות של שיח מרובה עם שחקנים מאזורים שונים בשדה הרלוונטי, ובעלי זוויות ראייה שונות.

כדאי ליצור מבנה “רשת” של בדיקות לרוחב (בדיקת רכיב מעבר לאירועים. למשל: טקסי סיום בקבוצות שונות. מדריכים מעבר לתוכניות) ולאורך (למשל: בדיקת תפישת המטרות והבנתן לאורך כל מדרג התוכנית).

כדאי להשתמש במבנה מרובד שמשלב בדיקת עומק (למשל ניתוחי אירוע) עם בדיקות שטח (שאלונים).

וישנם גם כלים שהם מראש קוראים למורכבות. למשל: “סיפור קבוצתי” של בוגרי תוכנית מנהיגות או של גרעין עירוני סביר שייתן הרבה יותר מידע, ידע ותובנות משאלון. זאת פרט לעובדה שבשאלון אנחנו יכולים לשאול רק על מה שאנחנו חושבים מראש. או שמוש בכלים השלכתיים

יציאה מנקודת הנחה של complexity  גורסת שהמציאות תמיד מפתיעה. ואם אנחנו רוצים ללמוד אותה, כדאי להשתמש בכלים שיאפשרו לנו להיות מופתעים.

ושוב חשוב לזכור שמוערך גדול הוא לא בהכרח complex ומוערך קטן איננו בהכרח פשוט!

מסובכות תחום ההערכה

כשעוסקים במורכבות – ההערכה כשלעצמה היא תחום מאד מסובך (complex) ומאד רחב. המסובכות נוצרת מעצם המפגש של עשייה מגיבה (הערכה) עם עשייה משתנה (התוכניות, המיזמים, המוערכים למיניהם).

המרחב של תחום ההערכה והמתחים בתוכו:

מוערך יכול להיות כל מיזם, תוכנית, ארגון, מדיניות, תהליך או תוצר. לפני, תוך כדי ואחרי מעשה.

גישות להערכה: הערכה ממוקדת תוצרים, הערכה ממוקדת תהליכים (וצירוף שלהם) הערכה משתפת, הערכה מעצימה, הערכה דמוקרטית, הערכה ממוקדת תיאוריה, הערכה מעצבת, הערכה מסכמת, הערכה בגישת המערכות ועוד ועוד…

השקפות עולם: פיקוח מול למידה; ידע מול מיומנויות; מיון מול טיפוח; אנליטית מול הוליסטית; ממוקדת מנהלים (יזמים, מתערבים, מממנים) מול הערכה שמשרתת את קהל היעד, ועוד….

מבנים: הערכה פנימית, הערכה חיצונית, הערכה עצמית, הערכה בדיאלוג, קיברנטיקה, רשת…

ועוד לא נגענו במתודולוגיות המרובות והמגוונותJ

מה נדרש מהמעריך? האם כל אחד יכול?

על מנת לאמץ מורכבות דרושות כמה תכונות נוספות על מומחיות בהערכה.

עבור מצבים שהם complicated דרושה מומחיות. ככל שעולה מורכבות כך דרושה מומחיות גדולה יותר.

מה נדרש עבור מצבים שהם complex? יכולת לעמוד במצבי עמימות. מי שחש צורך “לסדר את העולם” יתקשה להתמודד עם מסובכות. יש צורך ביכולת לנהל הפתעות ולהגיב בגמישות. להגיב בגמישות זה אומר ארסנל כלים גדול, ידע רחב איך להשתמש בו ויצירתיות.

מהו הרווח למזמין ההערכה ו/או למנהל התוכנית?

החששות מצורת עבודה כזו רבים, נמנה כמה:

– חשש מהצפה של מידע

פתרון: לשאוף ליצור ידע או לפחות הבנה. בדרך זו המעריך דווקא עוזר להפחית עומס. גם יחסית להערכה קונבנציונאלית שמציפה בממצאים. באמצעות חיבוק המסובכות הממצאים הם חלק מהבנה רחבה יותר ולא חלקי פאזל מפוזרים.

– הרצון והצורך להתייחס לריבוי גורמים מכריח לחתוך ולנפות.

פתרון: יצירה משותפת עם המוערכים של סולם עדיפויות לגבי הידע החשוב (להבחין ממידע), ולחתוך לפי הצורך והרלוונטיות. התיחום והחלקים שנבחרו צריכים להיות מוצהרים ומנומקים. חשוב לקחת בחשבון גם את ההשלכות האתיות של החיתוך. על הקול של מי אנחנו מוותרים?

– ריבוי בעלי עניין, ריבוי קולו, ריבוי צרכים, ריבוי נקודות מבט, שפות ותרבויות

פתרון: הצעה של “שורות תחתונות” מרובות שרגישות לצרכים של קהלי יעד שונים.

אז מה הרווחנו?

1. הערכה מורכבת נותנת תשובה לשאלה “למה?” למה דברים מתנהלים כפי שמתנהלים? מה ההסבר העמוק לתופעות? הערכה קונבנציונלית מסתפקת בדרך כלל בתשובה לשאלות “מה” ו”איך”. מה קיים ואיך הדברים מתנהלים. על מנת לתת תשובה ל”למה”, יש צורך להתייחס להרבה גורמים ישירים ועקיפים וליחסים ביניהם – כלומר, יש צורך בהערכה מורכבת.
2. הערכה מורכבת מחוללת ידע. הערכה קונבנציונלית מספקת מידע. זו גם אחת ההגדרות המקובלות של הערכה “לספק מידע מועיל למקבלי החלטות”. להערכה מורכבת יש סיכוי לחולל ידע חדש. (גם אם בחלק מהמקרים מדובר בידע מקומי שנכון לתוכנית, ארגון, או מדיניות קונקרטיים).

מורכבות בהערכה או הערכת מורכבות בפורמט הדפסה (PDF)