ככל שהטכנולוגיה מתפתחת, מזל"טים הופכים ליותר ויותר אוטונומיים הסיכוי של לוחם רובוטי הופך לאפשרות אמיתית יותר ויותר. מערכות רובוטיות אוויריות וקרקעיות שימשו במהלך המלחמות האחרונות באפגניסטן ובעיראק ולאחרונה באוקראינה ובסכסוך הישראלי-פלסטיני.
למרות שהמדיניות הרשמית קובעת שמזל"טים אלו שומרים על שליטה אנושית, לפחות לגבי ההחלטות הקטלניות ביותר, אני חושש שהתפיסה המבצעית של שימוש באמצעים אלה עשויה להשתנות ברגע שתוכח מהימנותם בפעולות אוטונומיות מלאות מנקודת מבט של קבלת החלטות . לפני שנגיע לנקודה זו, עלינו לשאול את עצמנו האם יש להגביל את השימוש במזל"טים הללו על ידי כללים הקשורים להשלכות מוסריות ואתיות שצריכות להיות אופייניות לאדם.
יש לציין כי רבות מהאמנות הבינלאומיות1 לשימוש בנשק נחתמו לפני בנייתו של ENIAC, המחשב הראשון, ואינם רואים שימוש באמצעים אוטונומיים. למעשה, הסביבה המדעית הצבאית, תמיד מקפידים להקדים את הזמנים כדי לשמור על עליונות טכנולוגית, במהלך 60 השנים האחרונות התפתח מעבר לציפיות מבלי שאף פוליטיקאי אי פעם העלה רף מוסרי על הסיכון הפוטנציאלי של שימוש במערכות רובוטיות במבצעים צבאיים. זאת למרות שהסכנה הפוטנציאלית שלהם הועלתה על ידי ספרים וסרטים מצליחים.
מה הסיכון האמיתי?
הנושא מזכיר לי זעקה מאומצת בוועידת נאט"ו שבה נציג של מדינה, לאחר שהקשיב לתוכנית הפיתוח של מל"טים עתידיים אוטונומיים אוויריים קרביים, העלה לשולחן את הצורך ביישום החוק הראשון של הרובוטיקה2. הדיון היה אקדמי בלבד ולא היו לו מסקנות. חוקי אסימוב, שנולדו בתחילת שנות ה-40, נבחנו למעשה לקראת הפיתוח (הממשמש ובא) של רובוטים אוטונומיים לשימוש במלחמה, אך החשש שמערכות אלו עלולות לגרום לפציעה או מוות לבני אדם עלולים להפוך למציאות.
לדוגמה, הפיתוח של מערכת מעקב הגבולות הקוריאנית האקטיבית Samsung SGR-1 עוררה מחלוקת ניכרת ומתעוררות שאלות האם זה מוסרי להשאיר למכונה את הבחירה האוטונומית להרוג אנשים שהתגלו באזור השליטה שלה אך ורק על בסיס שלך הערכה אישית.
מדע בדיוני? אסור לנו להרחיק לכת כדי לדמיין תרחישים בסגנון שליחות קטלנית o בטלסטאר גלקטיקה, למרבה המזל עדיין רחוק, אבל בימינו קיימת האפשרות שמל"טים אוטונומיים יכולים להחליט להרוג בני אדם על סמך פקודות קודמות מבלי להתחשב בגורמים כמו אתיקה ומוסר.
הפחתת אי הוודאות בתהליך קבלת ההחלטות
כדי להבין את המנגנון שמוביל לקבלת החלטות ברמה אנושית, עלינו לנתח מה מוגדר טכנית קבלת החלטות, קבלת החלטות.
הבעיה החשובה ביותר בכל תחום, אפילו אנושי, היא להחליט היטב עם מינימום סיכון לטעות תוך השגת יעילות מירבית. כפי שנראה בקרוב, איכות האיסוף והניתוח של מידע על מצב תפעולי משפרת את הבנת הסביבה ומעדיפה קבלת החלטות נכונה. במילים פשוטות, הוא נובע בחלקו מהאיכות והביצועים של חיישני מעקב חיצוניים (צופים, מכ"ם, סונאר וכו'), ובחלקו מהניסיון, האינטואיציה והשיפוט של המפעיל האנושי. תהליך זה מורכב מאוד וגורמים שונים מתערבים במנגנון אשר למעשה "מסננים" את המידע, מה שהופך אותו לסובייקטיבי מאוד. נוכל לדמיין את התהליך כטלסקופ מוזר עם חרוט כפול (Miller et Shattuck, בית הספר לתארים מתקדמים של הצי האמריקאי, מונטריי) שבו הראשון מכוון לעולם האמיתי וצופה, בהתאם לרוחבו, רק בחלק מהמידע הכולל. העדשות הממוקמות בפנים הן בסיסיות כי הם מייצגים את רמות סינון המידע. ככל שביצועי העדשה (חיישן) גבוהים יותר, כך איכות וכמות המידע שנאסף טובים יותר.
החרוט, שנוכל לדמיין כאוסף נתונים, כשהוא מתקרב לצופה עובר הפחתה כמותית במידע הקשור בעיקר לסינון של נתונים שעלולים להיות שגויים (טכנית אנו יכולים לדמיין אותם כמסננים עובר גבוה o לעבור נמוך) מה שמפחית את האפשרות לשיפוט מוטעה אך גם את יכולתו לזהות התנהגות חריגה חשודה. בשלב זה המפעיל מקבל מסה של נתונים על מערכת הייצוג שלו, ובלי ידיעה, מבצע סינון שני של המידע המקושר לגורמים אישיים כגון:
קשב (מצב פיזי ומוטיבציה של המפעיל ברגע הניתוח);- רמת הניסיון (שנצבר בעקבות ההכשרה שהתקבלה הן בהתאמה אישית והן בעבודת צוות);
- אינטואיציה (מתנה אישית שאינה ניתנת למדידה המתייחסת ליכולתו של האדם לראות מעבר לגלוי);
- דעות קדומות אנושיות (קשורות למגדר, דת, אמונה חברתית או פוליטית, מוטיבציה וכו').
במילים פשוטות, החיישן מציג לנו רק אחוז מידע המקושר לדיוק הניתוח הטכנולוגי שלו; כמות הנתונים מסוננת הן על ידי המכונה (בשל מגבלות החיישנים ואלגוריתמי ניהול הנתונים) והן על ידי המפעיל שיכול להשליך או לתת חשיבות לחלק מהנתונים המתקבלים בהתאם לרגע. בסופו של דבר, מקבל ההחלטות (זה שצריך לקבל את ההחלטה) מקבל מצב מסונן - לעתים קרובות בהשוואה לזה שמגיע ממפעילים אחרים - כך שרמתו של אי ודאות החלטה עולה עוד יותר. הגבול האנושי הזה יוביל אותנו אפוא להישען לכיוון ניהול רובוטי, לא מושפע מגבולות ודעות קדומות אבל... גורמים אתיים ומוסריים אחרים נכנסים לתמונה.
מה ניתן לעשות כדי להפחית את אי הוודאות בהחלטה?
התשובה הקלה ביותר יכולה להיות שימוש במערכות חזקות יותר ויותר, המסוגלות לנתח כמויות גדולות של נתונים, איכותיות וכמותיות בביצועים הולכים וגדלים, מה שהופך אותן לזמינות למפעילים עם אלגוריתמים יותר ויותר חכמים לתמיכת החלטות. כל זאת בזמן הקצר ביותר שכן המידע שנאסף בכל מקרה מתכלה והיריב יוכל לנקוט בפעולות חדשות על ידי שינוי המצב ההתחלתי. למרות שתהליך זה אינו שונה בסביבות עבודה רבות, בצבא הוא רגיש במיוחד בגלל זמן תגובה יכול להציל חיים.
טכנית אנחנו מדברים על פיקוד, בקרה ותקשורת (ג3), להגדיר את אותו תהליך מתמשך ומחזורי שבאמצעותו מפקד מקבל החלטות ומפעיל, באמצעות אמצעי התקשורת שלו, את סמכותו על המפקדים הכפופים.
אחת משיטות קבלת ההחלטות הידועות ביותר היא לולאת OODA, ראשי תיבות לתיאור תהליך קבלת החלטות, כלומר: התבונן-מזרח-תחליט-פעל.
כפי שאמרנו, הצעד הראשון לקראת הבנת אירוע הוא איסוף ועיבוד הנתונים הנאספים על ידי החיישנים, המתבצע על ידי ארכיטקטורות מערכת (מחשבים) אשר, באמצעות שימוש בתוכנות, מארגנים את הנתונים, מסננים אותם (מבטל חוסר עקביות). מידע), ויצירת גרפים, ציור או ייצוג המידע (להתבונן). בשלב זה המפעיל מתחיל להתמצא דרך הניתוח והמתאם של הנתונים, להעריך אותם במונחים של מהימנות, רלוונטיות וחשיבות (מזרח) והופך ידע להבנה. פשוט לומר, אבל תמיד מאוד סובייקטיבי שכן לכל המפעילים יש יכולת משלהם המבוססת על התנסויות ואימונים קודמים אך מוגבלת על ידי המצב הפיזי של הרגע (עייפות, מתח, טינה,...), כמו גם דעות קדומות אישיות (אני יותר טוב ממנו/היא, ... לא מבין, מי גורם לי לעשות את זה ...) וכללים שנקבעו על ידי רשויות גבוהות יותר (דוגמה מעשית היא משלוחים למפעילים שנקבעו על בסיס הנחיות גבוהות יותר, כמו כללי ההתקשרות - ROE - אשר בתורם נכתבים ומאושרים ברמה פוליטית, לעתים רחוקות מהמציאות של הרגע.). המשמעות היא שההבנה של אירוע תמיד שונה ממפעיל למפעיל מכיוון שהיא מבוססת על גורמים טכניים ואנושיים שונים (מה שנקרא גורם אנושי).
אבל זה לא נגמר... המפעילים חייבים אפוא לחלוק את דעתם או להתייחס לרמות קבלת החלטות גבוהות יותר. אזור זה, לפי חוק מטקאלף3, מורכב אף יותר בשל הגידול במספר החיבורים שנוצרים. יתר על כן, יש להתייחס להבדלים בניתוח המפעילים שכן הם מושפעים ממקור אחר; המקרה הקלאסי הוא כאשר הם מגיעים מסביבות עבודה שונות (צבאיות, אזרחיות) אך גם ממדינות ותרבויות שונות). דוגמה קלאסית היא מפעיל, שהוכשר בסביבה מערבית, שצריך לשתף פעולה עם עמית אסייתי: במקרה הראשון תהליך הניתוח שלו הוא אוקלידי, כלומר בעיה, פתרונות אפשריים, ניתוח והחלטה, במקרה השני הבעיה חייבת להיראות בשלמותו יחד (ראייה הוליסטית).
לסיכום, אפשר לומר זאת שגיאות גדלות באופן יחסי ככל שהמורכבות ההתייחסותית גוברת. לאחר מכן נפתח החרוט השני, מנוגד לשני, שמתרחב עם הוספת הערכות ממקורות שונים.
זה מסביר את העובדה ש בסביבות דינמיות, תגובות מתוכננות מראש מיושמות לעתים קרובות כדי לצמצם את הזמן ולמקסם את המאמץ (צמצום שגיאות תיאורטית).
בני אדם מול מחשבים
למעשה, בחברה טכנולוגית מהירה יותר ויותר, נוצרים פערי דורות, כאשר כוח קבלת ההחלטות מוקצה לעתים קרובות לצוות המגיע מניסיון שנצבר בעידן אנלוגי, שחייב בכל זאת להתמודד ולהדריך צוות של אנשים שנולדו בעידן דיגיטלי שבו זרימת המידע היא רב מימדית ודורשת גמישות והבנה "רב תרבותית". לכן הפיתוי להפקיד את ניהול עתידנו בידי תהליכים רובוטיים יכול להיות סיכוי אטרקטיבי. מכונות חכמות, שיכולות לפעול על ביג דאטה לפי כללים שהוקצו ללא חולשות אנושיות.
אבל האם אנחנו בטוחים שטכנולוגיה יכולה להיות תרופת פלא לכל המגבלות האנושיות או שמא יש צורך להמשיך לשמור על שליטה אנושית על מכונות? מי יהיה אחראי לתופעות הלוואי?
הגידול באוטונומיה של קבלת החלטות היא התקדמות טבעית של הטכנולוגיה, ולמעשה, לא היה שום דבר מוסרי מיסודו בעובדה שמחשב יכול לקבל החלטות אפילו עבור האדם... לולא העובדה שבעקבותיו כמה החלטות הם עלולים לעקוב אחר פעולות קטלניות.
החוקים המסדירים סכסוכים (למשל מדריך סן רמו) להטיל כללים מאוד ספציפיים המגבילים את המטרות התקפות היחידות או את אלו שעלולות לגרום נזק. עד היום, החלטה לנקוט בפעולה קטלנית קשורה בדרך כלל תמיד להחלטת האדם וכרוכה בניתוח מורכב שלוקח בחשבון "ניהול תוצאות". חלק מהתומכים בבניית מכונות לחימה אוטונומיות מאמינים שיהיו יתרונות אסטרטגיים עם הפחתת הסיכון לבני אדם, אך למעשה יעילותו של נשק אינה תמיד הצדקה לשימוש בו.
בשלב זה נחזור לשאלה המרכזית, כלומר האם לגיטימי להשאיר את ההחלטה להרוג בן אדם למכונה.
לדברי סידני אקסין, פרופסור ב- המחלקה לפילוסופיה באוניברסיטת דרום פלורידה ושותף בכתיבת המאמר המוסר של רובוטים אוטונומיים, ההחלטה לנקוט בפעולה קטלנית חייבת להישאר אנושית וזה לא אתי לאפשר למכונה לעשות בחירה כה קריטית. לפי ארקין (2010) רובוטים יכולים לעשות עבודה טובה יותר מבני אדם בקבלת החלטות ממוקדות כי אין להם מניע לנקמה... אבל זה גם נכון שלמרות יכולתם, הם לא יכולים להבין את חומרת הריגת האדם "לא נכון".
לסיכום, למרות שתהליך קבלת ההחלטות נתמך על ידי מכונות בעלות ביצועים גבוהים יותר ויותר, את ההחלטה הסופית יש להשאיר תמיד לאדם, אשר עם כל חולשותיו, יש לו את היכולת להבחין בין טוב לרע, לפחות כל עוד הוא שומר על האנושיות שלו (שזה לא תמיד מובן מאליו). לכן יש להסדיר בקפדנות את השימוש במל"טים צבאיים אוטונומיים כמו זה של כלי נשק אחרים כמו מוקשים, נשק ביולוגי וכימי, כדי למנוע מה"משרת" לפנות נגד ה"מאסטר", ולא מתוך רשעות (למכונה אין רגשות) אלא על חוסר השלמות שלנו. בעידן שבו האבולוציה הטכנית מציעה כלים מדהימים שעלינו ללמוד להשתמש בהם כדי להבטיח עתיד למין שלנו... ולמנוע ממכונות יותר ויותר אינטליגנטיות להבין את החולשות שלנו, שהופכות אותנו לאנושיות, ולהרוס אותנו. מצד שני, אחת האמיתות הקטנות הרבות של חוקי מרפי המפורסמים קובעת זאת "שגיאות בלתי ניתנות לזיהוי הן אינסופיות במגוון, בניגוד לשגיאות הניתנות לזיהוי, אשר בהגדרה מוגבלות" (שגיאות בלתי ניתנות לזיהוי הן מגוונות לאין שיעור, בניגוד לשגיאות הניתנות לזיהוי אשר, בהגדרה, מוגבלות.)
הערות
1. אני זוכר מבין שלל המוסכמות:
– אמנת האג המתייחסת לחוקי ומנהגי המלחמה ביבשה והנספח שלה, הולנד, 18 באוקטובר 1907
– אמנות ז'נבה, שוויץ, 12 באוגוסט 1949.
– האמנה בדבר כלי נשק קונבנציונליים מסוימים (CCW), 10 באפריל 1981
– מדריך סן רמו למשפט בינלאומי החל על סכסוכים מזוינים בים, 31 בדצמבר 1995, סן רמו, איטליה
– האמנה בדבר איסור השימוש, אגירה, ייצור והעברה של מוקשים אישיים ועל השמדתם של אוטווה, קנדה, 3 בדצמבר 1997
2. החוק הראשון של אייזק אסימוב, "אסור לרובוט לפגוע באדם או, בחוסר מעש, לאפשר לבן אדם לבוא לפגוע" בבן אדם לפגוע בעצמו".
3. כדי חוק מטקאלף קובע כי המורכבות של רשת תקשורת היא פרופורציונלית לריבוע של מספר המשתמשים המחוברים פחות המספר עצמו (ראה תמונה). בפועל, ככל שמספר הצמתים גדל, המורכבות עולה. החוק נקרא על שמו של רוברט מטקאלף והוצע לראשונה ב-1980, אם כי לא מבחינת משתמשים, אלא "מכשירי תקשורת תואמים". באיור (מתוך ויקיפדיה) אנו רואים ששני טלפונים יכולים ליצור ביניהם רק חיבור אחד, חמישה טלפונים יכולים ליצור בסך הכל עשרים טלפונים שונים, שנים עשר טלפונים יכולים ליצור 132, אבל 1.000 מכשירים המחוברים זה לזה מגיעים ל-999.000. לכן, על ידי הגדלת מספר הצמתים (טלפונים), המורכבות גדלה לפי חוק n2-n כאשר n הוא מספר הצמתים (התקנים).
4. ב קבלת החלטות החזון השונה של העולם המערבי והמזרחי הוא הכל מלבד פרשנות תרבותית, המבוסס על שני מושגי קבלת החלטות שונים: העולם המערבי חושב בצורה אנליטית (בעיה, ניתוח, פתרונות אפשריים, בחירה סופית, על פי היגיון ליניארי של קבלת החלטות ), המזרחי מתבונן בכל היבט של החיים (פנג שואי) בצורה מעגלית, כלומר, ניתוח בעיה נעשה מזוויות שונות כדי להגיע לפתרון אפשרי. משמעות הדבר היא שלשני אנשים עם רקע שונה הנקראים להחליט על בעיה עשויים להיות זמנים ובחירות שונות. הבעיה רגישה כאשר האנשים האלה עובדים על אותו צוות. התייחסות מעניינת לקריאה בנושא היא "הגיאוגרפיה של המחשבה" מאת ריצ'רד א' ניסבט.
ריפרימינטי
ג'ונסון, אהרון מ. וסידני אקסין. "המוסר של רובוטים אוטונומיים", Journal of Military Ethics 12.2 (2013): 129–141. אינטרנט. https://www.academia.edu/10088893/The_Morality_of_Autonomous_Robots
Arkin, R. C. "The Case for Ethical Autonomy in Unmanned Systems," Journal of Military Ethics, Vol 9, Issue 4, pp. 332-341, 2010
לורנס ג'י שטאק וניטה לואיס מילר. הרחבת קבלת החלטות נטורליסטית לארגונים מורכבים: מודל דינמי של קוגניציה ממוקמת 05_Shattuck_27_7_paged.pdf (nps.edu) https://faculty.nps.edu/nlmiller/docs/05_Shattuck_27_7_paged.pdf, 2006
ריצ'רד א' ניסבט "הגיאוגרפיה של המחשבה, איך מערביים חושבים אחרת ולמה", הוצאת ניקולס ברילי, לונדון, 2003
בנדיולי מרקו, בינה מלאכותית לשדות קרב ואבטחה, הגנה מקוונת, 2019
תמונות: Lallo Mari / web
(המאמר פורסם במקור ב- https://www.ocean4future.org)
