בניגוד להצהרותיו: מדגם הבחירות המקומיות של פילבר כשל

בערוץ 14 טוענים כי מדגם תוצאות הבחירות המקומיות שפירסמו, של חברת הסקרים "דיירקט פולס" בראשות עד המדינה שלמה פילבר, "חזה וניבא במדויק" את תוצאות הבחירות ונחל "הצלחה כבירה".

בדיקת "העין השביעית" מגלה כי האמת הפוכה: המדגם כשל בחיזוי רבים מהפרמטרים, מהפער בין מספר הקולות שקיבלו מועמדים שונים ועד זהות העולים לסיבוב שני, ואף החמיץ כליל את זהות הזוכים בחלק מהערים.

ההחמצה גדולה עוד יותר משום שלטענת פילבר כמות הנדגמים היתה גדולה במיוחד, כך שטווח סטיית התקן עמד על 4% והותיר רבות מהתחזיות הרחק מעבר לו.

כיצד בכל זאת הכריזו בחברת הסקרים ובערוץ על הצלחה פנומנלית? הם פשוט בחרו להמציא תורת סטטיסטיקה חדשה. במקום טווח שגיאה של 4%, בחרו פילבר וחברת הסקרים שלו לחשב כהצלחה כל חיזוי עד לטווח של 10%. כשפילבר נשאל על כך, הוא לא התבייש לומר כי הדבר נעשה "לנוחות העוקבים".

סוקר הבית של ערוץ 14

ב-27 בפברואר, אחרי שנדחו במשך חודשים ארוכים בשל המלחמה בדרום, התקיימו בחירות ברוב הרשויות המקומיות בישראל. המתיחות הביטחונית העיבה על מערכת הבחירות, אך ביום הבחירות ולקראתו ריכזו ערוצי החדשות מאמצים לסיקור חגה של הדמוקרטיה בשלטון המקומי.

ערוץ 14, המגויס לקידום מטרותיו הפוליטיות של רה"מ ויו"ר הליכוד בנימין נתניהו, הגדיל לעשות והשקיע בהפקת מדגם ל-40 רשויות מקומיות. בערוצים האחרים ויתרו על התענוג, שכן המורכבות של עשרות מערכות בחירות סימולטניות, על המאפיינים השונים והייחודיים שלהן, מקשה מאוד על עריכת מדגם אמין.

המדגם של ערוץ 14 טעה בזיהוי המנצח בחלק מהמירוצים, פיספס בעשרות אחוזים את הפער בין חלק מהמועמדים, כשל בחיזוי סיבוב שני בחלק מהרשויות ולא קלע לזהות העולים לסיבוב השני

לעריכת המדגם שכרו בערוץ 14 את סוקר הבית שלהם, שלמה פילבר, הבעלים של חברת הסקרים "דיירקט פולס" ("Direct Polls"). פילבר היה מהאנשים הקרובים לנתניהו: מנהל הקמפיין בבחירות 2015 ומי שנתניהו מינה למנכ"ל משרד התקשורת אחרי שמינה את עצמו לשר התקשורת.

התנהלותו של פילבר במשרד עומדת במוקד כתב האישום בשוחד, מרמה והפרת אמונים נגד נתניהו, בפרשה הפלילית המכונה "תיק 4000". פילבר הפך עד מדינה ויעד למתקפה אימתנית של "מכונת הרעל" שאף הניבה כתב אישום בגין הטרדת עד נגד יועציו הקרובים של נתניהו.

אלא שפילבר הצליח להפוך את הגלגל ולחזור ל"בייס" הביביסטי: בעדותו בבית המשפט השתדל לסייע להגנה, עד כדי כך שבתביעה ביקשו להכריז עליו כעל "עד עוין". חברת הסקרים שלו זכתה ללקוח בדמות ערוץ 14, והסקרים שהפיקה סיפקו שוב ושוב תחזיות ההולמות את צרכיו של נתניהו.

בערוץ המשיכו להשתמש בשירותיו של עד המדינה, גם אחרי שהמציאות טפחה על פני תוצאות סקרים שפירסמה "דיירקט פולס". עם פרסום תוצאות הבחירות ברשויות המקומיות, התברר שהמדגם של פילבר היה רחוק מהמציאות, לפעמים באופן מביך ממש.

"דיירקט פולס" כשלה בניבוי ברבות מהרשויות שבדקה, ובפרמטרים שונים ומגוונים. המדגם של ערוץ 14 טעה בזיהוי המנצח בחלק מהמירוצים, פיספס בעשרות אחוזים את הפער בין חלק מהמועמדים, כשל בחיזוי סיבוב שני בחלק מהרשויות ולא קלע לזהות העולים לסיבוב השני.

אלא שגם פילבר וגם ערוץ 14 לא הניחו למציאות המאכזבת לעצב את הדימוי העצמי שלהם. שלושה ימים לאחר הבחירות התפארה חברת הסקרים כי המדגם הגיע לדיוק מדהים של 90.5%. בערוץ 14 התפרסם דיווח דומה, תחת הכותרת "מפתיע ומדויק: כך מדגם חדשות 14 ניבא את תוצאות הבחירות".

כותרת המשנה לדיווח, של אלחנן מזוז, לא בחלה בסופרלטיבים: "את המדגם הענק של עכשיו 14 שנערך, לראשונה אי פעם, ב-40 הרשויות הגדולות בארץ – כבר אפשר להכתיר כהצלחה מסחררת", נכתב שם, "מכון הסקרים 'דיירקט פולס' השיג מעל 90% דיוק והתמודד בהצלחה עם אתגר בסדר גודל שטרם נראה כמותו בישראל".

הפער בין הכישלון הבוטה של "דיירקט פולס", פילבר וערוץ 14 לבין ההתפארות הרהבתנית היה גדול מדי. האם בערוץ 14 ובחברת הסקרים ראו משהו שאף אחד אחר לא ראה, או שהחליטו פשוט לשקר במצח נחושה?

בכתבה עצמה ממשיך שיר ההלל ל"דיירקט פולס" ולערוץ 14: "הצלחה כבירה", "חזה וניבא במדויק", "תמונה מדהימה", " נתון אדיר ומסחרר", "הפקה יוצאת מגדר הרגיל".

כדור הארץ לערוץ 14

טפיחות עצמיות על השכם אולי אינן תמיד אלגנטיות ויכולות לעורר אי-נוחות, אך במקרה הזה אי אפשר היה לפטור את העניין רק בחוסר טעם או חוסר מודעות עצמית. הפער בין הכישלון הבוטה של "דיירקט פולס", פילבר וערוץ 14 לבין ההתפארות הרהבתנית היה גדול מדי. האם בערוץ 14 ובחברת הסקרים ראו משהו שאף אחד אחר לא ראה, או שהחליטו פשוט לשקר במצח נחושה?

בדיקה פשוטה של נתוני האמת מגלה כי אכן, אין קשר בין ההתפארות של "דיירקט פולס" וערוץ 14 לבין המציאות.

בחלק מ-40 הערים שנבדקו על ידי "דיירקט פולס", החמיץ המדגם את הנתון המרכזי: זהות המנצח. בקריית מוצקין המדגם העניק ניצחון אדיר של 69% לחיים צורי, מול 31% למועמד המתחרה, צבי (ציקי) אבישר. פער אסטרונומי של 38%. בפועל, ניצח אבישר בתוצאה של 50.5% מול 49.5%. הכישלון מהדהד גם משום שמדובר בהתמודדות בין שני מועמדים בודדים.

גם בהרצליה טעה המדגם של "דיירקט פולס" וערוץ 14 בזהות המנצח. המדגם העניק את הניצחון למשה פדלון ברוב מוצק של 57% מול 43% ליריב פישר, כלומר פער של 14%. במציאות ניצח פישר במירוץ צמוד – 50.3%-49.7% – שחברת הסקרים כשלה בזיהויו.

גם בראש העין המדגם פספס את התוצאות. "דיירקט פולס" העניקו למתמודד רז שגיא 39% מהקולות, שחייבו לכאורה סיבוב שני. במציאות, שגיא ניצח עם 45% ונבחר לראש העיר בסיבוב הראשון. נזכיר: טווח השגיאה במדגם עומד על 4%.

גם ברמלה החמיץ פילבר את התוצאות הסופיות. המדגם הכריז על ניצחונו של מיכאל וידל עם 46% מכמות המצביעים. בפועל קיבל וידל 37.6% בלבד – פער של 8.4% מתוצאות המדגם – והמתמודדים נשלחו לסיבוב שני.

גם בנס ציונה החמיצו ב"דיירקט פולס" את תוצאות המירוץ. המדגם העניק ניצחון בטוח לשמואל בוקסר עם 45% מהקולות, עם 16% בלבד למועמד תומר תדהר. בפועל, בוקסר קיבל רק 39.1% מהקולות ותדהר 29.4% – 13.4% מעל התוצאה שהמדגם הצביע עליה. גם כאן נשלחו המתמודדים לסיבוב שני.

בחלק מהערים בהם הצליח המדגם לקלוע לזהות המנצח הסופי, הסוקרים טעו בניבוי מספר הקולות שקיבלו המתמודדים השונים, לעיתים בפערים עצומים, הרחק הרחק מעבר לסטיית התקן.

כך בנתניה העניק המדגם את הניצחון למרים פיירברג בתוצאה של 51% מול 26% לאבי סלמה, כלומר הפרש עצום של 25%. בפועל התוצאה הסופית הייתה 43.4% לפיירברג מול 40.1% לסלמה, הפרש של 3.3% בלבד. וזאת אחרי יממות מורטות עצבים של מה שהוכתר מראש כמירוץ צמוד.

המדגם כשל לא רק בזיהוי המנצחים בחלק מהערים וזיהוי הפערים בין המתמודדים בערים אחרות, אלא גם בזיהוי זהות העולים לסיבוב השני

בכפר סבא החמיץ המדגם של פילבר דרמה גדולה עוד יותר, כאשר העניק את הניצחון לרפי סער עם תוצאה של 56% מול 32% להדר לביא, כלומר הפרש של 24%. במציאות הממשית, ההפרש עמד על 1.5% בלבד עת סער ניצח בתוצאה של 46.8% מול 45.3% של לביא.

עוד פספוס הדגימו הסוקרים בירושלים. זהות המנצח, ראש העיר המכהן משה ליאון, הייתה ידועה לכל עוד לפני יום הבחירות, אולם ב"דיירקט פולס" הצליחו לטעות בענק בחיזוי הפער בין המועמדים, וזאת למרות שמול ליאון עמד רק מועמד אחד, חסר סיכוי – יוסי חביליו. המדגם העניק לליאון ניצחון בתוצאה של 65% מול 35% לחביליו, כלומר הפרש של 30%. בפועל כשל המדגם בחיזוי אחד מהניצחונות האדירים ביותר באותו ערב, כאשר ליאון זכה ב-81.5% מהקולות וחביליו רק ב-18.5%, פער אדיר של 63% בין שני המועמדים.

בלוד תוצאות האמת העניקו ליאיר רביבו ניצחון חלק בהפרש של 31% מיריבו היחיד במרוץ – יורם מרציאנו (65.5%-34.5%), זאת בעוד המדגם של ערוץ 14 חזה פער של 10% בלבד (55%-45%).

בחדרה ניצח ניר בן חיים עם 46.7% מהקולות, אולם המדגם של "דיירקט פולס" שלח את הצופים לישון בציפייה לסיבוב שני כשחזה שבן חיים יזכה רק ל-40% מהקולות.

בקרית גת תוצאות המדגם הצביעו על 41% לאבירם דהרי והפרש של 11% בינו ובין כפיר סויסה שבמקום השני עם 30%, כשבתוצאות האמת קיבל דהרי רק 33.8% מהקולות, כלומר 7.2% פחות מהמדגם, וסויסה קיבל 33.3%, כלומר הפער בפועל ביניהם עמד על 0.5% והעיר נשלחה לסיבוב שני.

גם בבחירות המותחות באלעד, שייצגו דרמה גדולה במגזר החרדי ומאבק בין ש"ס לזרם הליטאי, כשל המדגם בחיזוי הפער הגדול בתוצאה הסופית. המדגם הצביע על מאבק צמוד בין שני המתמודדים וחזה תוצאה של 51% ליהודה בוטבול מש"ס מול 49% לראש העיר המכהן ישראל פרוש, כלומר פער קטן של 2%. בפועל, תוצאות האמת עמדו על 55.3%-44.7% והעניקו לבוטבול ניצחון בפער גדול של 10.6%.

המדגם של "דיירקט פולס", שלמה פילבר וערוץ 14 כשל לא רק בזיהוי המנצחים בחלק מהערים וזיהוי הפערים בין המתמודדים בערים אחרות, אלא גם בזיהוי זהות העולים לסיבוב השני.

כך בחיפה המדגם טעה בזהות המועמד לעלות לסיבוב השני מול יונה יהב, בשל טעות של 8.2% בניבוי התוצאות. המדגם הצביע על יעקב בורובסקי כמי שעולה לסיבוב שני עם 20% ועל דוד עציוני במקום השלישי עם 19%, אבל בתוצאות האמת זכה בורובסקי רק ב-11.8% ועציוני ב-21.9%, פער של 10.1% ביניהם שהעלה דווקא את עציוני לסיבוב שני מול יהב.

בבית שמש התקיים מאבק צמוד יחסית בין שלושה מועמדים, אולם המדגם טעה ביחס לזהות האדם שקיבל את מירב הקולות וביחס לזהות שני המועמדים שעלו לבסוף לסיבוב השני. לפי המדגם, עליזה בלוך היתה אמורה לקבל 38% מהקולות כשאחריה משה אבוטבול עם 33% ושניהם אמורים היו לעלות לסיבוב שני. תוצאות האמת גילו שמי שדורג שלישי במדגם עם 29% מהקולות, שמואל גרינברג, קיבל בפועל 35.7% מהקולות, יותר משני המועמדים האחרים, ובמקום השני נמצאת דווקא בלוך עם 32.4%, עוקפת את אבוטבול רק ב-0.5% ועולה לסיבוב השני לא כמובילת הסיבוב הראשון.

לסיכום, ב-14 מתוך 40 ערים (35%) שנכללו במדגם של ערוץ 14, התחזיות של "דיירקט פולס" שגו בצורה דרמטית, הרחק מעבר לסטיית התקן. באחת מכל שלוש ערים שלגביהן התפרסם מדגם, טעה פילבר בפרמטר חשוב שבדקנו – זהות המנצח, הפער בין המועמדים או זהות העולים לסיבוב השני.

אלא שגם בערים בהם ניבוי הפרמטרים שנבדקו היה סביר, נמצאו כשלונות קיצוניים בחיזוי תוצאות של מועמדים בודדים, כמו למשל המועמד לראשות עיריית רעננה אברהם יוסף, שהמדגם חזה כי יקבל 12% מהקולות ויגיע למקום הרביעי והאחרון, כשבפועל קיבל יוסף 26.6% ותפס את המקום השני.

המילון החדש של פילבר וערוץ 14

אם בשליש מהערים שנדגמו המדגם כשל, הרי שגם אם בשאר הרשויות תוצאות המדגם היו בתוך סטיית התקן, פילבר וערוץ 14 יכולים להתהדר לכל היותר בתוצאה שהתקבלה בשני שליש מהערים. יותר טוב מזריקת מטבע, אבל לא בדיוק ההגדרה המילונית של "הצלחה כבירה". אלא אם כן בערוץ 14 עובדים כעת עם "דיירקט פולס" גם על כתיבת מילון חדש.

ניצנים לפרויקט כזה, שישכתב לא רק את ההיסטוריה אלא גם את השפה, אפשר למצוא בציוץ של "דיירקט פולס", אותו ציוץ שהתהדר בדיוק של "90.5%". בחברת הסקרים של פילבר סיפקו לנתון המופרך הסבר מופרך לא פחות:

"בשורה התחתונה 90.5% אחוזי דיוק שמתחלקים כך: דיוק עד 5% סטייה בצבע הירוק: 104 מתמודדים (74% מכלל המדגם). דיוק מעל 5% סטייה בצבע הצהוב: 23 מתמודדים (16.5% מכלל המדגם). יותר מ-10% סטייה בצבע הורוד: 9 מתמודדים (6.5% מכלל המדגם). מדגם שגוי לחלוטין בהרצליה ובקרית מוצקין מודגש בכחול: 4 מתמודדים (3% מכלל המדגם)".

במילים אחרות, "דיירקט פולס" התעלמו מאוסף הפרמטרים המרכיבים את התוצאות החזויות והתמקדו באחד בלבד. גם לגביו, ההסבר שסיפקו לא נלקח ממדע הסטטיסטיקה כפי שהוא מוכר לנו.

להגדרת סטיית תקן של בין 5% ל-10% כ"קליעה מדויקת למטרה" אין שום בסיס במציאות. למעשה, גם סטיית תקן של 5% היא כבר בגדר פספוס של המדגם. במדגמי בחירות מקובל לסקור תשובות של 400 עד 600 נשאלים, על מנת להשיג טווח טעות של 3.7%-4.6%.

מכאן שגם לפי המספרים שמספק פילבר עצמו, הדיוק של המדגם עמד על 74%. למעשה, עוד פחות מכך, מכיוון שגם בתוך אותם 74%, בשש ערים טעה המדגם ביותר מ4.6%. בנוסף, כפי שהעירו גולשים בטוויטר, ב"דיירקט פולס" בחרו למדוד את הטעות בחיזוי בנפרד לכל מועמד. כך הוסתרה הטעות בחיזוי הפער בין התוצאות של המועמדים השונים, שמגיעה לפעמים לפי 2 מהטעות ש"דיירקט פולס" הודו בה.

כאמור, במידה ו"דיירקט פולס" סקרו 400-600 נשאלים בכל מדגם, התוצאה אמורה היתה שלא לחרוג מטווח שגיאה של 3.7%-4.6%, כלומר מבין 40 הערים שנסקרו רק בשתי ערים היתה אמורה להיות חריגה מסטיית התקן, ולא ב-14, כפי שעולה מהבדיקה שפרטנו לעיל.

כמה נסקרים היו במדגם של פילבר? במשדר של ערוץ 14 לא סיפקו שום מידע על האופן בו התנהל המדגם והחברה לא סיפקה את הנתונים הללו גם כשנשאלה על כך שוב ושוב בתגובות לציוץ ההילול העצמי שלה בטוויטר. העובדה שבשליש מערי המדגם התוצאות חרגו מטווח השגיאה המקובל עשויה להעיד כי המדגם של "דיירקט פולס" נשען על מספר נשאלים קטן בהרבה מהמקובל, מה שעשוי היה להוביל לכשלונות הרבים בחיזוי.

אלא שפילבר עצמו, בתגובה לשאלת "העין השביעית", מצהיר כי המדגם דווקא היה גדול במיוחד וכלל בין 600 לאלף נשאלים בכל עיר, מה שמעמיד את סטיית התקן על 4% בלבד – והופך את הכישלון של "דיירקט פולס" גדול אפילו יותר מהחישוב לעיל.

מדוע פילבר ו"דיירקט פולס", שערכו לכאורה מדגם סטטיסטי, בחרו להתעלם מחוקי הסטטיסטיקה כשבאו למדוד את ההצלחה שלהם עצמם? לפילבר היתה תשובה: הדבר נעשה "לצרכי נוחות העוקבים". באמת שאי אפשר להמציא דברים כאלה.

מפלברים

לצרכי נוחות העוקבים, להלן ההתכתבות עם פילבר.

"העין השביעית": ראשית, לא מצאנו התייחסות לטווח השגיאה של הסקרים בערים השונות ולכמות הנשאלים בכל אחת מהערים. הטווח המקובל של 400-600 נשאלים מייצר כידוע לך טווח שגיאה של 3.7%-4.6%, טווח נמוך משקבעתם בטבלה להגדרת הצלחה (עד 5%).

פילבר: המדגם בכל עיר היה בין 600-1100 נדגמים, לפי גודל העיר. במדגם השתתפו כ-29,000 נדגמים. טעות הדגימה בכל עיר היתה נמוכה מ-4%

"העין השביעית": אם כך למה הגדרתם בטבלה את האחוז להגדרת הצלחה 5% ולא 4%?

פילבר: לצרכי נוחות העוקבים בנינו מדרגות של 5%.

"העין השביעית": בבחינת סקרים לא נוהגים לחלק כישלון ל"בינוני" ו"קטסטרופלי". מה שחורג מטווח השגיאה הסטטיסטית מהווה נתון בעייתי. אתה בנית מדרוג שמתחיל מ-5% (ולא מ4% שאתה אומר שהוא טווח השגיאה), ואחרי זה מ-5%-10% זה כאילו "כישלון מינורי", ורק מ-10% שגיאה זה "כישלון באמת". קולגות בענף הרימו גבה וטענו שכל מה שמחוץ לטווח השגיאה הוא כישלון מבחינתם בסקרים שהם מבצעים.

פילבר: אחרי שתקבל מהם תגובה מקצועית על רמת הביצוע והדיוק של רוב מכריע של הערים והמועמדים בהם הסטייה היתה של שברי אחוזים או בתוך טעות הדגימה הסטטיסטית נשמח להגיב על השאר. יום טוב.

"העין השביעית": לבדיקתנו, ב-14 מתוך 40 הערים במדגם מכון הסקרים בראשותך כשל באחד מהפרמטרים החשובים לחיזוי: זהות המנצח, קיומו של סיבוב שני, זהות העולים לסיבוב השני והפער בין שני המועמדים המובילים, כשבכל המקרים הייתה שגיאה של מעל ל-5% הקשורה ישירות לאחד הפרמטרים שציינו. כלומר ב-35% מכמות הערים שנסקרו היה מה שנחשב במדגמי בחירות שאנו מורגלים אליהם – כישלון בחיזוי. אני יכול לשלוח פירוט אם נדרש. הנתון רחוק מאוד מ-90.5% הצלחה שפורסם. גם אם ניקח את כל המועמדים שהתוצאה שלהם מעל 5% סטיה, מדובר ב-35 מועמדים, כלומר 25% מכמות המועמדים. גם כאן אין 90.5% הצלחה בחיזוי.

פילבר: המדגם היה צריך לחזות מי המוביל בכל עיר ואת המדרג היחסי של הנבחרים הבאים אחריו כדי לתת מידע לצופים מי הזוכה. אני מעריך את החפירות שלכם בנבכי הסטטיסטיקה. יש בידינו סקרים שערכו ה'קולגות' בלא מעט ערים שבהם עבדנו במהלך הקמפיינים. לא בטוח שהם ישמחו שנציג את תחזיותיהם ימים ספורים לפני הבחירות מול תוצאות האמת. קנאה הורגת. יום טוב.