פרופסור קמיל פוקס, הסטטיסטיקאי הרציני ביותר בתחום הסקרים, אמר פעם שהסטטיסטיקה תמיד צודקת רק הבוחרים טועים או משקרים * לפרופסור ישראל אומן, חתן פרס נובל, יש דעה מעט אחרת * לדעתו אי אפשר לסמוך על סקרים * חומר למחשבה לאחר הנצחון המפתיע של טראמפ על הסוקרים
"הטפשים זה אנחנו". חתן פרס נובל ישראל אומן. (ויקישיתוף)
מעשה ביהודי שבא לעיירה ופרסם קול קורא: אני אמתח חבל מעל לנהר השוטף והקוצף ואעבור עליו מן הגדה האחת לשנייה. מחיר ההצגה: 10 קופיקות. יהודי העיירה נהרו לגדות הנהר, בנעריהם ובזקניהם. היה שם אכן חבל מתוח בין שתי הגדות. הלוליין עלה על במה והצהיר: ללכת על חבל מעל הנהר איני יודע. אם אתם רוצים לראות יהודי נופל למים השוצפים תמורת 10 קופיקות אני מוכן לעשות זאת. היהודים, רחמנים בני רחמנים, החליטו לוותר גם על ההצגה וגם על הקופיקות. בטרם התפזרו הודיע הלוליין המדומה: יש לי הודעה חשובה. מחר תהיה הופעה נוספת.
את המעשה סיפר חתן פרס נובל, ישראל אומן, כדי להמחיש באמצעותו את הטענה ש"סקרים הם שקרים". הסקרים לדעתו חסרי בסיס, יש בהם אפקט של עדר, וייתכן שהם נעשים כמניפולציות. שימוש בסקרים היא כמו רפואת אליל.
"מי הטיפש? – אנחנו"
דבריו של אומן נאמרו בהרצאה שנשא בכנס האיגוד הישראלי לסטטיסטיקה, שנערך במאי 2006 בזיכרון יעקב. בשעתו פרסמתי את תוכן הרצאתו ואת הראיון עמו ב"מקור ראשון" וגם באתר זה. מאז נוספו ונגרעו מפלגות, הופיעו פוליטיקאים חדשים ורבים התאיידו. הדברים שנאמרו אז על הסקרים תקפים גם היום. מה שנאמר אז מקבל מדי פעם תוקף מחדש וההוכחה האחרונה היא נצחונו המפתיע של דונאלד טראמפ.
דונאלד טראמפ
נושא ההרצאה : " מישאלי דעת קהל: מי הטיפש" .
הטפשים הם אנחנו, הנעזרים בסקרים, עורכים אותם שוב ושוב, ומאמינים להם, אמר פרופסור אומן. ומי שאומר שאין אלטרנטיבה אחרת, כאילו אמר שאין ברירה אלא להיעזר ברפואת אליל.
באמתחתו של פרופסור אומן שורה של דוגמאות שגם ההדיוט יכול להסיק מהן כי אי אפשר לסמוך על סקרים אחת הסיבות העיקריות: חלק גדול מן הנשאלים משקרים.
מספר לי פרופסור אומן: " פרופסור קמיל פוקס, ראש המחלקה לסטטיסטיקה של אוניברסיטת תל-אביב, הוא אדם שאני מאד מחבב. הוא סיפר לי כי לאחר בחירות שבהן שעור המצביעים היה 68.9 אחוזים, הוא ערך סקר טלפוני. הוא הציג שתי שאלות: האם הצבעת בבחירות ולמי הצבעת. 90 אחוז מהנשאלים השיבו כי השתתפו בהצבעה".
כלומר: יותר משני שליש מאלה שלא הלכו לקלפי אמרו שהשתתפו בהצבעה. זה הפך כמובן לבלתי רלבנטית את התשובות לשאלה השנייה .
למה הנשאלים משקרים?
לנשאלים ששיקרו, אומר פרופסור אומן, לא היה נעים, אפילו כלפי עצמם, להגיד: לא הצבעתי. ההצבעה נחשבת חובה או זכות אזרחית שלא יפה לא למלא אותה.
" זה משהו מאד ידוע ומוכר בפסיכולוגיה. אינני ממציא את הגלגל. התופעה הזו פוסלת את כל נושא הסקרים" . הנטייה איננה ישראלית דווקא. בארצות הברית, במרוץ למושל מדינת קונטיקט, היו שלושה מועמדים: האחד קיבל 37 אחוז, השני 33 אחוז, והשלישי 30 אחוז. לפי חוקת קונטיקט נבחר המועמד שקיבל 37 אחוז. אחרי שלושה שבועות עשו סקר, שבו הוצגה השאלה: למי הצבעת – 57 אחוז השיבו כי הצביעו בעד המנצח.
אפשר להבין את הסיבות לכך שאנשים משקרים. אך אין להצדיק את השימוש שעושים בסקרים אלה "הסקרים", אומר פרופסור אומן, " הם חסרי בסיס. אי אפשר לבדוק אותם וייתכן שהם נעשים כמניפולציות".
מה מניע את השקרנים?
פרופסור אומן: "בסקרים פוליטיים יש אפקט של עדר. כשכל הסקרים אומרים שאולמרט מוביל ושרון גיבור, אנשים אינם משיבים לסוקר מה שהם באמת חושבים, אלא מה שנראה להם כמקובל. לא נעים לך להודות שאתה ימני קיצוני".
.לסקרים גם יש השפעה על התוצאה ועל עצם ההתמודדות. הדבר בולט במיוחד כשיש יותר משני מתמודדים. כך היה כשהתמודדו ברק, נתניהו ואיציק מרדכי (בבחירות האישיות לראשות הממשלה ב-1999). בסקרים שנערכו כמה חודשים לפני הבחירות, היה לכל אחד מהמתמודדים כ-30 אחוז. למרדכי היה קצת פחות. בסקר הבא מרדכי ירד.. ירידתו נמשכה עוד ועוד עד שהגיעה ל-6 אחוזים.
האם אין דרך לערוך סקרים יותר אמינים?
יש דרך כזו, אומר פרופסור אומן, אך היא יקרה מאד. כדי להבין אותה צריך לדעת קצת מתמטיקה. מדובר בסקר שבו אתה אוסף קבוצה אקראית של מספרי תעודות זהות ומאתר כל אחד מהם. ואם אחד נסע לניו יורק והשני נופש באילת אתה צריך למצוא אותם ולהציג להם את השאלות. [וכמובן אתה צריך לקוות שיסכימו להשיב לך – ז.ג.].
בפועל זה לא נעשה כך. והבעיה העיקרית קיימת גם בשיטה המשוכללת: האנשים אינם אומרים אמת. ו
כל אחד יכול לערוך סקרים ולפרסם תוצאות ולהגיד מה שהוא רוצה. " השתתפתי פעם בוועדה ממלכתית" , מספר פרופסור אומן, " ויושב ראש הוועדה רצה להזמין סקר מאיזו חברת סקרים. סקר לא פוליטי של מה אתה מעדיף א' או ב'. מחברת הסקרים אמרו: תגידו לנו איזה תוצאה אתם רוצים" .והמסקנה: סקרים הם שקרים.
ראה:
"מדבר סקר תרחק!" (ד"ר יוסף בורג, ז"ל).
למה התיחסות כזו שטחית??? פרופ' אומן מכליל ולא ממש מבין את סוגי הסקרים השונים. סקרי בחירות שמתבצעים ביום הבחירות מכוונים לפרסום מוקדם, סקרים פוליטיים לפני הבחירות מכוונים להניע עשייה בכיוון זה או אחר, סקרי לקוחותהם שוב, משהו אחר לגמרי. כל סקר ושיטת המחקר שלו, עם בעיותיות יעודית ומטרות ספציפיות. ההכללה פשוט הטעיה וזה שאומן זכה בפרס נובל לא בהכרח גורמת לחשוב שהוא תמיד צודק… מצ"ב תגובה שלי לסקירה שנתן ב 2006 ןאוזכרה לעיל:
SURVEYS: OPPORTUNITIES AND CHALLENGES
Comments to the presentation by Professor R. Aumann at the Israel Statistical Association Annual Meeting, May 8th 2006
Ron S. Kenett,KPA Ltd., Israel andUniversity of Torino, Torino, Italy
We, at KPA, generate significant revenues from surveys. The surveys we conduct for our customers seem, however, different from the ones mentioned by Professor Aumann. In addressing the comments of Professor Aumann it is essential to define the terms used and differentiate between opinion polls, exit polls, election polls, closed list surveys, sample surveys, establishment surveys, household surveys, panel based surveys etc… The definition and properties of these various data collection instruments has been extensively studied in the literature (e.g. [1] and references therein). Mr. Geva, for example, in his rebuttal, was careful to make the distinction and specifically addressed issues regarding design and analysis of exit polls.
The focus in the following comments is on surveys carried out for organizations and businesses in order to support various decision processes. Companies use surveys to determine what products to develop, what service needs improvement, what are customer's expectations of services and products, what determines customer loyalty and thereby ensure customer retention etc… Estimates generated from such surveys drive many business decisions and get ultimately validated in the financial reports (see [2] and [3]).
New technologies pose new challenges to statistical methodology. How do you analyze data from internet based surveys or SMS (Short Message Service, see en.wikipedia.org/wiki/Short_message_service) based surveys? These surveys have special characteristic with an impact on response rates and potential bias in responses. Statistical methodology addressing these areas is slowly being developed ([4]). Surveys also play a role in overall strategic management approaches such as six sigma ([5]). In this context, trends and impact analysis of indices such as customer satisfaction or service indices are tracked, in a way very similar to the examples provided by Professor Yaar who described trends of the "Oslo Index". We provide very similar trend analysis to companies tracking customer satisfaction over time. In such cases cause and effect are many times clearly established and substantiated. The survey reflects management decisions and when problems are fixed or appear, the survey data shows it ([5]). The idea presented by Professor Aumann that surveys produce unreliable data, at least in these cases, does not apply.
In designing questionnaires, much can be learned from cognitive science on how to determine context, scale and wording ([6]). Indeed, expanding such knowledge requires interdisciplinary research between statisticians and cognitive scientists. Finally, non standard approaches to the analysis of customer satisfaction surveys such as Structural Equation Models, Decision Trees, Partial Order Maps and Rasch models are now being applied, leading to even more insights and methodological challenges ([7]).
The above comments were prepared in order to balance somehow the critique of Professor Aumann on surveys. Presumably he focused on opinion surveys only but gave the impression that his comments applied equally to all surveys. Technology has brought new challenges to sample surveys. For example, cellular phones are now becoming a unique substitute for regular phones so that random sampling from the good old telephone book is not good enough. Moreover, the impact of approaching respondents via mobile phones in a wide variety of environmental conditions may create bias in responses not yet assessed. Improved cooperation of statisticians with cognitive science experts can bring out new ideas, in combination with new surveying methods were questionnaires can be designed to be dynamic and interactive with sound and visuals. Survey methodology is evolving, adapting to new opportunities and challenges and providing deeper and stronger signals and information to decision makers. From this perspective, the sweeping negative comments of Professor Aumann are not substantiated. Professor Aumann should be thanked however for stimulating a discussion on the need to establish professional standards in running any kind of survey. ISA is indeed an appropriate framework for such a discussion which will hopefully yield concrete and constructive outputs.
References
[1] R. Kenett, "Customer Surveys: Why and How" (in Hebrew) in Surveys: Some Good, Some Less edited by S. Bar-Lev and C. Fuchs, Hakibbutz Hameuchad Publishing House Ltd. And Haifa University press, 1998.
[2] R. Kenett, “Issues in Customer Satisfaction Surveys”, DEINDE 2002, Torino, Italy, February 2002.
[3] R. Kenett and R. Fainstein, "Customer Retention: The Key to Success in Unstable Economic Times" (in Hebrew) in Researchers Speak: Market Research and its application in the Israeli Market edited by O. Kaplan, Globes Business Publishing, 2003.
[4] R. Kenett, O. Kaplan and Y. Raanan, “Statistical properties of internet based market research surveys”, European Network for Business and Industrial Statistics (ENBIS) Third Annual Conference on Business and Industrial Statistics, Barcelona, Spain, August 2003.
[5] R. Kenett, "The Integrated Model, Customer Satisfaction Surveys and Six Sigma", The First International Six Sigma Conference, CAMT, Wroclaw, Poland, January 2004.
[6] R. Kenett, “On the Planning and Design of Sample Surveys”, European Network for Business and Industrial Statistics (ENBIS) Fourth Annual Conference on Business and Industrial Statistics, Copenhagen, Denmark, September 2004.
[7] Non standard analysis of customer satisfaction surveys, University of Torino and University of Milan, Italy, http://www.economia.unimi.it/projects/CSProject%20 , 2005.
אני לא מבינה בסטטיסטיקה, אבל כנראה שפרופ' אומן צודק למרות דעתו של המגיב דלעיל. כל סקרים שנערכו לפני הבחירות בארה"ב הראו שהילרי קלינטון לוקחת את הנשיאות בהליכה. היום יושבים כל חכמי הדור בטלויזיה ומנסים לנתח את ה"איפה טעינו" שלהם. נכון שברגע זה להילרי עדין יש רוב קטן ב-POPULAR VOTE, לעומת טרמפ שזכה ביותר מהמינימום הדרוש (270) של ה-ELECTORAL COLLEGE (צר לי אבל אני עדין לא מבינה בדיוק את שיטת החלוקה האמריקאית של ההצבעה בבחירות, אז איני יכולה להסביר). כמו כן עדין לא גמרו לספור את הקולות של המצביעים מחו"ל וכן את קולות החיילים, כך שיכול להיות שיהיו לו יותר מ-279 וגם יזכה ב-POPULAR VOTE. מכל מקום, כל מאורות הגולה כאן צפו להילרי נצחון מוחץ על טרמפ, ולמרות זה, ולמרות מסע ההפחדה שערכה נגדו (הוא רץ על נושאים, היא רצה על פגמיו האישיים). ומלה נוספת: מזל גדול היה לנו ואלהים עזר לנו וסדר לנו את טרמפ לנשיא במקום קלינטון המושחתת. לפי מה שראיתי בארץ, התקשורת הישראלית עשתה יד אחת עם התקשורת האמריקאית ובנתה מין מפלצת ששמה טרמפ, ולעומתה מומחית בכל נושא הבא בחשבון עם המון נסיון. אבל "מה שרואים משם לא רואים מכאן", ולכן התקשורת האמריקאית (מלבד רשת פוקס, שמשום מה בארץ לא נחשבת, אבל היא המהימנה והמאוזנת ביותר מכל הרשתות) לא דווחה על השקרים שלה בעדותה בקונגרס, בחקירתה באף בי איי (גם כן חקירה: בלי תמלול, בלי הקלטה), "קרן קלינטון" שהיא ממש מפיה: ביל ישא נאום, אתה תשלם בין חצי לשלושת רבעי מיליון דולר (מה כבר יכול נאום להיות שוה כל כך הרבה כסף?) ל"קרן קלינטון", ובמקרה תזכה במכרז, או תתקבל להיות שגריר במדינה נחשקת. ענין בנגזי, שבה נרצח השגריר סטיבנס ושלושה מאבטחים אמריקאים כשכנראה התעסק בנשק אמריקאי שהסתובב בלוב – מתנת ממשל אובמה למהפכנים שהפילו את קדפי – והיה צריך להעבירו באופן בלתי חוקי לסוריה, כדי שישמש להפלת משטר אסד. היא גוררת אחריה שובל גויות נכבד מאז שהיתה אשת המושל באלבמה עם אוסף מרשים של חקירות שנגמרו בכלום, מפני שאנשים העדיפו ללכת לבית סוהר ורק לא להעיד נגד הזוג קלינטון. והרשימה ארוכה, רק שהתקשורת בארה"ב התעלמה, והתקשורת הישראלית החרתה-החזיקה אחריה והפכה את טרמפ למפלצת ואת קלינטון למגן האנושות השפויה. וכמו שאמרתי, רק התערבות אלוהית הצילה אותנו שקמו האמריקאים והגיעו לתחנות הקלפי והפילו אותה, ועכשיו לא תהיינה יותר שושלות שלטון בארה"ב, כי מאסו כאן גם בשושלת בוש וגם בשושלת קלינטון, ובא לציון גואל.
ולענין הסקרים: היא זכתה בכל הסקרים, ורק המציאות לא הסתדרה לה. וכמו שאמר פרס אחרי המפלה הגדולה ב-77': אנחנו לא מקבלים את התוצאה….
הי. העובדות הפכו כבר מזמן לא רלבנטיות. לכל אחד יש את ה"נרטיב" שלו. בן דרור ימיני קורא לזה " מחלת הנרטיזם".
שקר היה מאז ומתמיד לגיטימי אם היה "לטובת המטרה" גם אצלינו , ובעיקר אצל שכנינו. כיום התופעה התגברה אבל מהותית – תמיד היתה. מלבד זאת יש גם את העניין של שיטת האלקטורים. בארה"ב. בפועל יותר אנשים הצביעו לקלינטון מאשר לטראמפ.. סטטיסטיקה היא כלי לא ממש מדוייק ( עיין הבדיחה על איש שטבע בבריכה שעומקה הממוצע 10 סנטימטר….. ). מלבד זאת נראה לי שכאן בדיוק נכון לצטט את "מאז שחרב בית המקדש ניתנה נבואה לשוטים. " ימים יגידו. כמו כולם גם אני אחוזת חלחלה . בכל זאת כ-100מליון אמריקאים הצביעו בשביל טראמפ. לא כולם מטומטמים כמו שגם אצלינו לא כל מי שהצביע בעד ממשלה ימנית קיצונית (בפועל , לא בהצהרה) מטומטם או מטורלל. חלק רק נוהים אחרי טירלול. אותי בכל אופן מעניין מה יהיה כאן ולא שם , למרות שגם "שם" חשוב לנו מאד. נילי
נדמה לי שלא אטעה אם אומר שמצביעי טראמפ חשבו שגרוע יותר מאובמה לא יכול להיות. זה נכון גם לגבי השפעת הבחירה שם על מצבנו. מה יכול להיות גרוע מנשיא שפתח את נשיאותו בנאום איסלמיסטי בקהיר, הפקיר את בני בריות הערבים [מובארק, סעודיה וכל המדינות הסוניות], עשה הסכם עם האירנים מאחורי גבנו, מביע זעזוע מבניית צריך בשטח A אבל אדיש לרצח המוני בסוריה. גרוע ממנו לא יכול להיות.