מידת האחריות האנושית בהפעלת מערכות אוטומטיות

ניר דואר פיתח מודלים ומדדים שיאפשרו לכמת בצורה אובייקטיבית את "אחריות" האדם המפעיל או מפקח על מערכות אוטומטיות מתקדמות

קביעת מידת האחריות האנושית באינטראקציה אנושית עם מערכות אוטומטיות מהווה כיום נושא "חם" וחשוב ביותר. זאת לאור ההתפתחויות במכוניות אוטונומיות, מערכות מתקדמות ברפואה, כלי נשק צבאיים אוטונומיים, ויישומי AI באופן כללי.

 

מערכות אוטומציה מתקדמות

אוטומציה מתקדמת עוסקת באיסוף מידע והערכה, בקבלת החלטות ואף ביישום פעולות נבחרות. בעבר האוטומציה רק החליפה (באופן מלא או חלקי) פעולות אשר התבצעו על ידי האדם, אך כיום היא מאפשרת יכולות ניתוח ויישום פעולות החורגים מגבול היכולת האנושית. 

 

אולם, בעת אינטראקציה עם מערכות אוטומציה מתקדמות, הופכת מידת האחריות האנושית ללא ברורה ונוצר פער ביכולת להגדיר ולכמת מהי בעצם האחריות התורמת של האדם לתוצאות הנגרמות. הבנת מידת אחריות האנוש חשובה במיוחד כאשר פעולת המערכות יכולה להוביל לפגיעה פיזית באנשים, כמו בכלי רכב אוטונומיים, חדרי בקרה במפעלים המערבים חומרים מסוכנים, ובפרט במערכות נשק אוטונומיות שזהו ייעודן.

 

לכמת את האחריות

עד היום, תחום אחריות האנוש באינטראקציה עם אוטומציה נידון מהצדדים הפילוסופיים, האתיים והמשפטיים בלבד בזמן שניר דואר, דוקטורנט במחלקה להנדסת תעשייה, תחת הנחייתו של פרופ' יואכים מאייר, בוחן אותו לראשונה מתוך זווית ראייה של הנדסה קוגניטיבית. ניר ופרופ' מאייר מפתחים מודלים ומדדים מתמטיים-סטטיסטים המאפשרים לכמת בצורה אובייקטיבית את "אחריות" האדם המפעיל או מפקח על מערכות  אוטומטיות מתקדמות. בנוסף לפיתוח תאורטי, הם  מבצעים ניסויי מעבדה נרחבים, בהשתתפות עשרות סטודנטים מהמחלקה להנדסת תעשייה, בהם הם בוחנים עד כמה התאוריה שהם פיתחו יכולה לחזות  התנהגויות אנושיות בפועל.

 

המודל התיאורטי לכימות אחריות (ResQu) של אינטראקציה אנושית במערכות אוטומטיות שניר פיתח מתבסס על  תורת האינפורמציה. הניתוח מגלה שבפועל במקרים רבים האחריות התורמת של האדם הינה נמוכה, גם כאשר לכאורה מוקצים לאדם תפקידים מרכזיים. לפיכך, המדיניות המקובלת כיום של שמירה על "אדם בחוג", ושימוש בבקרה אנושית משמעותית, הינה מטעה ולמעשה לא יכולה להכווין את קביעת המדיניות על האופן בו נכון לערב בני אדם בתפעול ובקרה של אוטומציה מתקדמת.

 

"מודל האחריות שלנו יכול לשמש בעת קבלת החלטות לגבי עיצוב המערכת ולסייע לקביעת מדיניות ולהחלטות משפטיות בנוגע לאחריות אנושית באינטראקציה עם מערכות אוטומטיות מתקדמות" מסביר ניר. "הדרישה להשאיר לאדם תפקיד בתפעול או בקרה של מערכת אוטומטית לא מבטיחה שבפועל תהיה לו יכולת תרומה משמעותית. המחקר שלנו מראה שלאדם יש אחריות תורמת רק במקרה שיש לו יכולת מסוימת המשלימה או עולה על זו של המערכת האוטונומית, באמצעות איזשהו יתרון אנושי מובהק או מקור מידע ייחודי אחר שלמערכת הממוחשבת אין".

 

הניסויים שלנו הראו שכאשר אנשים  נעזרים באוטומציה מתקדמת שיש לה יכולת העולה בהרבה על  שלהם, הם נוטים להתערב יותר מהנדרש, מבצעים שגיאות, ולמעשה פוגעים ברמת הביצועים המיטבית שיכלה לספק המערכת האוטומטית לולא מעורבותם.

 

נשאיר אתכם עם שאלה למחשבה: מה תהיה אחריות האדם כשהיתרון האנושי יישחק. עם התפתחות טכנולוגיות AI, המעורבות האנושית המשמעותית במערכות אוטונומיות תלך ותפחת, כמו גם היכולת האנושית לפקח עליהן, ואז, מה יהיה הטעם להכניס לתמונה אדם אם תפקידו העיקרי יהיה רק לחטוף את האשמה במקרה של תקלה?

 

עוד על המחקר של ניר דואר

לכתבה בעיתון הארץ

אלה שמתאהבים בבעיה הם אלה שממציאים לה פתרון

אוניברסיטת תל אביב עושה כל מאמץ לכבד זכויות יוצרים. אם בבעלותך זכויות יוצרים בתכנים שנמצאים פה ו/או השימוש
שנעשה בתכנים אלה לדעתך מפר זכויות, נא לפנות בהקדם לכתובת שכאן >>