המהפכה הדיגיטלית החדשה, למידה עמוקה

(של אנדריאה פיראס)
07/02/22

זיהוי תמונה, שיר, הרגל של משתמש. עם בינה מלאכותית זה כבר אפשרי. אבל למה זה חשוב, ואיך זה משפיע על אורח החיים שלנו?

לפני שנענה על שאלה זו עלינו לקחת צעד אחורה כדי להסביר את ההבדל ביניהם בינה מלאכותית (אל ה), למידת מכונה (ML) ו למידה עמוקה (DL), מונחים שלעתים קרובות מבולבלים אך עם משמעות מדויקת.

כדי להסביר את הרעיון הבסיסי, הבה נשתמש בתמונה (פתיחה) שנלקחה מאתר NVIDIA.

מהתמונה ניכר שהמושג AI הוא מושג כללי של ML שבתורו הוא מושג כללי יותר של DL. אבל לא רק. למעשה, כפי שאנו רואים את האלגוריתמים הראשונים של למידה עמוקה הם נולדו לפני קצת יותר מ-10 שנים בניגוד לבינה מלאכותית שנולדה בסביבות שנות ה-50 עם השפות הראשונות כמו LISP ו-PROLOG במטרה לחקות את היכולות של בינה אנושית.

האלגוריתמים הראשונים של הבינה המלאכותית הוגבלו לביצוע מספר אפשרי מסוים של פעולות לפי היגיון מסוים שהוגדר על ידי המתכנת (כמו במשחק דמקה או שחמט).

דרך למידת מכונה, הבינה המלאכותית התפתחה באמצעות מה שנקרא אלגוריתמי למידה מפוקחים ובלתי מפוקחים במטרה ליצור מודלים מתמטיים של למידה אוטומטית המבוססים על כמות גדולה של נתוני קלט המהווים את "החוויה" של הבינה המלאכותית.

בלמידה מפוקחת, על מנת ליצור את המודל, יש צורך לאמן בינה מלאכותית על ידי הקצאת תווית לכל אלמנט: למשל, אם אני רוצה לסווג פירות, אצלם תמונות של תפוחים רבים ושונים ואסמן את הדגם "תפוח". אז לאגס, בננה וכו'.

בלמידה ללא פיקוח התהליך יהיה הפוך: יהיה צורך ליצור דגם החל מתמונות שונות של פירות, והדגם יצטרך לחלץ את התוויות לפי מאפיינים המשותפים לתפוחים, אגסים ובננות.

הדגמים של למידת מכונה מפוקחים כבר נמצאים בשימוש על ידי אנטי וירוס, מסנני דואר זבל, אבל גם בתחום השיווק כמו המוצרים שהציעה אמזון.

הדוגמה של מסנן הספאם

הרעיון מאחורי מסנן דואר זבל הוא להכשיר מודל ש"לומד" ממאות אלפי (אם לא מיליוני) מיילים, תוך תיוג של כל מייל כ דואר זבל או לגיטימי. לאחר הכשרת המודל, פעולת הסיווג כוללת:

חילוץ של מאפיינים מיוחדים (הנקראים מאפיינים) כגון, למשל, מילות הטקסט, שולח האימייל, כתובת ה-IP של המקור וכו'.

שקול "משקל" עבור כל תכונה שחולצה (לדוגמה, אם יש 1000 מילים בטקסט, חלקן עשויות להבחין יותר מאחרות, כגון המילה "ויאגרה", "פורנו" וכו'. משקלן שונה. מבוקר טוב, אוניברסיטאות וכו')

בצע פונקציה מתמטית, אשר, תוך שימוש בתכונות קלט (מילים, שולח וכו') ומשקולותיהן, מחזירה ערך מספרי

בדוק אם ערך זה הוא מעל או מתחת לסף מסוים כדי לקבוע אם האימייל לגיטימי או להיחשב כספאם (סיווג).

נוירונים מלאכותיים

כאמור, ה למידה עמוקה הוא סניף של ה למידת מכונה. ההבדל עם למידת מכונה המורכבות החישובית היא שמביאה כמויות אדירות של נתונים למשחק עם מבנה למידה "שכבתי" העשוי מרשתות עצביות מלאכותיות. כדי להבין את המושג הזה, אנו מתחילים מהרעיון של שכפול הנוירון האנושי הבודד כמו באיור למטה.

כפי שנראה בעבר ללמידת מכונה יש לנו סדרה של אותות קלט (משמאל לתמונה) אליהם אנו מקשרים משקלים שונים (Wk), מוסיפים "הטיה" קוגניטיבית (bk) שהיא מעין עיוות, ולבסוף מיישמים פונקציית הפעלה כלומר פונקציה מתמטית כגון פונקציה סיגמואידית, משיק היפרבולי, ReLU וכו'. אשר לוקחים סדרה של תשומות משוקללות ומתחשבות בהטיה, מחזירה פלט (yk).

זהו הנוירון המלאכותי היחיד. כדי ליצור רשת עצבית, היציאות של הנוירון הבודד מחוברות לאחת מהכניסות של הנוירון הבא, ויוצרות רשת צפופה של קשרים כפי שמוצג באיור למטה המייצגת את רשת עצבית עמוקה.

למידה עמוקה

כפי שאנו יכולים לראות מהאיור שלמעלה יש לנו קבוצה של כניסות שיסופקו לרשת העצבית (שכבת קלט), לאחר מכן רמות ביניים הנקראות שכבות נסתרות המייצגות את ה"שכבות" של המודל ולבסוף רמת פלט המסוגלת להבחין ( או לזהות) אובייקט אחד על פני אחר. אנו יכולים לחשוב על כל רובד נסתר כעל יכולת למידה: ככל שמספר שכבות הביניים גבוה יותר (כלומר ככל שהמודל עמוק יותר), כך ההבנה תהיה מדויקת יותר אך גם החישובים שיש לבצע מורכבים יותר.

שימו לב ששכבת הפלט מייצגת קבוצה של ערכי פלט במידת הסתברות מסוימת, למשל 95% תפוח, 4,9% אגס ו-0,1% בננה וכן הלאה.

בואו נדמיין דגם DL בתחום של ראיית מחשב: השכבה הראשונה מסוגלת לזהות את הקצוות של האובייקט, השכבה השנייה שמתחילה מהקצוות יכולה לזהות את הצורות, השכבה השלישית שמתחילה מהצורות יכולה לזהות אובייקטים מורכבים המורכבים ממספר צורות, השכבה הרביעית מתחילה מצורות מורכבות. לזהות פרטים וכן הלאה. בהגדרת מודל אין מספר מדויק של שכבה נסתרת, אבל הגבול מוטל על ידי הכוח הנדרש לאימון הדגם בזמן מסוים.

מבלי להיכנס יותר מדי לפרטים, מטרת האימון של רשת עצבית היא לחשב את כל המשקלים וההטיות שיש להחיל על כל הנוירונים הבודדים הקיימים במודל: לפיכך ברור שהמורכבות גדלה באופן אקספוננציאלי ככל האמצעי. שכבות גדלות (שכבה נסתרת). מסיבה זו, נעשה שימוש במעבדי כרטיסים גרפיים (GPUs) עבור ה הַדְרָכָה: כרטיסים אלו מתאימים לעומסי עבודה תובעניים יותר שכן, בניגוד למעבדים, הם מסוגלים לבצע אלפי פעולות במקביל באמצעות ארכיטקטורות SIMD (Single Instruction Multiple Data) וכן בטכנולוגיות מודרניות כגון ליבת טנסור המאפשרים פעולות מטריצה ​​בחומרה.

יישומי למידה עמוקה

על ידי עיבוד כמויות עצומות של נתונים, למודלים אלה יש סובלנות גבוהה לתקלות ולרעש למרות נתונים לא שלמים או לא מדויקים. לכן הם מספקים כעת תמיכה בסיסית בכל תחום של מדע. בואו נראה כמה מהם.

סיווג תמונה ואבטחה

במקרה של פשעים, הוא מאפשר לזהות פנים החל מהתמונה שצולמה במצלמת מעקב והשוואה למאגר מידע של מיליוני פרצופים: פעולה זו אם תבוצע באופן ידני על ידי אדם עלולה להימשך ימים אם לא חודשים ואפילו שנים. יתר על כן, באמצעות שחזור של תמונות דגמים מסוימים מאפשרים לצבוע חלקים חסרים של אותו, עם דיוק כעת קרוב ל-100% מהצבע המקורי.

עיבוד שפה טבעית

היכולת של מחשב להבין טקסט כתוב ומדובר באותו אופן כמו בני אדם. בין המערכות המפורסמות ביותר, אלכסה וסירי מסוגלות לא רק להבין אלא גם לענות על שאלות בעלות אופי שונה.

דגמים אחרים מסוגלים לעשות ניתוח הסנטימנט, תמיד באמצעות מערכות של מיצוי ודעות מהטקסט או המילים.

אבחונים רפואיים

בתחום הרפואי, מודלים אלו משמשים כיום לביצוע אבחונים, לרבות ניתוח של סריקות CT או MRI. התוצאות שבשכבת הפלט בעלות ביטחון של 90-95%, במקרים מסוימים, יכולות לנבא טיפול למטופל ללא התערבות אנושית. מסוגלים לעבוד 24 שעות ביממה, כל יום, הם יכולים גם לספק תמיכה בשלב טריאז המטופל, להפחית משמעותית את זמני ההמתנה בחדר מיון.

נהיגה אוטונומית

מערכות לנהיגה עצמית דורשות ניטור רציף בזמן אמת. דגמים מתקדמים יותר צופים כלי רכב המסוגלים לנהל כל מצב נהיגה ללא תלות בנהג שנוכחותו על הסיפון אינה צפויה, תוך הקפדה על נוכחותם של נוסעים המוסעים בלבד.

תחזיות ופרופילים

מודלים של למידה עמוקה פיננסית מאפשרים לנו להעלות השערות לגבי מגמות עתידיות בשוק או לדעת את הסיכון לחדלות פירעון של מוסד בצורה מדויקת יותר ממה שבני אדם יכולים לעשות היום באמצעות ראיונות, מחקרים, שאלונים וחישובים ידניים.

מודלים אלה המשמשים בשיווק מאפשרים לנו לדעת את הטעם של אנשים להציע מוצרים חדשים, למשל, על סמך אסוציאציות שנעשו עם משתמשים אחרים שיש להם היסטוריית רכישות דומה.

אבולוציות אדפטיביות

בהתבסס על ה"חוויות" שהועלו, המודל מסוגל להסתגל למצבים המתרחשים בסביבה או עקב קלט המשתמש. אלגוריתמים מסתגלים גורמים לעדכון של כל הרשת העצבית על סמך אינטראקציות חדשות עם המודל. לדוגמה, בואו נדמיין כיצד יוטיוב מציע סרטונים בנושא מסוים בהתאם לתקופה, תוך התאמה יום אחרי יום וחודש אחר חודש לטעמים האישיים ולתחומי העניין החדשים שלנו.

לסיום, ה למידה עמוקה זה עדיין תחום מחקר שמתרחב במהירות. האוניברסיטאות גם מעדכנות את תוכניות ההוראה שלהן בנושא זה שעדיין דורש בסיס איתן במתמטיקה.

אין ספק ביתרונות של יישום ה-DL בתעשייה, במחקר, בבריאות ובחיי היומיום.

עם זאת, אסור לשכוח שזה חייב לספק לאדם תמיכה ושרק במקרים מוגבלים ומאוד ספציפיים זה יכול להחליף את האדם. נכון להיום, למעשה, אין מודלים של "מטרה כללית" המסוגלים לפתור כל סוג של בעיה.

היבט נוסף הוא השימוש בתבניות אלו למטרות לא חוקיות כמו יצירת סרטונים זיוף עמוק (ראה מאמר), כלומר טכניקות המשמשות לכיסוי תמונות וסרטונים אחרים עם תמונות או סרטונים מקוריים במטרה ליצור חדשות מזויפות, הונאות או פורנו נקמה.

דרך אסורה נוספת להשתמש במודלים אלה היא ליצור סדרה של טכניקות שמטרתן להתפשר על מערכת מחשבים כגון למידת מכונה אדוורסרית. באמצעות טכניקות אלו ניתן לגרום לסיווג שגוי של המודל (ובכך לגרום למודל לבחור שגוי), לקבל מידע על מערך הנתונים בו נעשה שימוש (הכנסת בעיות פרטיות) או לשכפל את המודל (הגורם לבעיות בזכויות יוצרים).

ריפרימינטי

https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-int...

https://it.wikipedia.org/wiki/Lisp

https://it.wikipedia.org/wiki/Prolog

https://it.wikipedia.org/wiki/Apprendimento_supervisionato

https://www.enjoyalgorithms.com/blog/email-spam-and-non-spam-filtering-u...

https://foresta.sisef.org/contents/?id=efor0349-0030098

https://towardsdatascience.com/training-deep-neural-networks-9fdb1964b964

https://hemprasad.wordpress.com/2013/07/18/cpu-vs-gpu-performance/

https://it.wikipedia.org/wiki/Analisi_del_sentiment

https://www.ai4business.it/intelligenza-artificiale/auto-a-guida-autonom...

https://www.linkedin.com/posts/andrea-piras-3a40554b_deepfake-leonardodi...

https://arxiv.org/abs/1712.03141