ExplAInable

תמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש.
בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים.
נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים.
איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל
AI
והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט.

הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של
Program Synthesis
העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה.
אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי.
ונדבר על קודקס, מודל השפה ש
Open AI
אימנו על גיטהאב, וכיצד הוא עובד.
כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.

בפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס.
שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר.
ששת המאמרים הם:
(1) Attention Is All You Need
(2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
(3) A Style-Based Generator Architecture for Generative Adversarial Networks
(4) Learning Transferable Visual Models From Natural Language Supervision
(5) Mastering the Game of Go with Deep Neural Networks and Tree Search
(6) Deep Neural Networks for YouTube Recommendations
שקד גם כתב בהרחבה במדיום פה:
https://towardsdatascience.com/6-papers-every-modern-data-scientist-must-read-1d0e708becd

בפרק זה אירחנו את זיו פרוינד שהכיר לנו מונח חדש לבעיה נפוצה.
מכירים את זה שאימנתם מודל שעובד מעולה כשמסווגים 10 מחלקות, אבל פתאום כשמגיעים לשטח מגלים שיש עוד 12 מחלקות שלא חשבתם עליהם ומבלבלות את המודל ?
זיו יספר על נסיונו בסיווג סיגנלים באלביט, ויספר על גישות לפתרון הבעיה.
נשמע לכם כמו קלאסטרינג ? גם לנו - נדבר על ההבדלים ועל שימוש בשיטות כמו
Contrastive
ללמידת ייצוגים מוכוונת לבעיית הקלאסיפיקציה שתבוא בהמשך.
 
 
 
 
 
לקריאה נוספת
[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.
 
[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.
 
[1]Hsu, Yen-Chang, ZhaoyangLv, and Zsolt Kira. "Learning to cluster in order to transfer across domains and tasks.” ICLR 2018
 
[1]Yang, Bo, et al. "Towards k-means-friendly spaces: Simultaneous deep learning and clustering." international conference on machine learning. PMLR, 2017.
 
[1]Geng, Chuanxing, Sheng-jun Huang, and Songcan Chen. "Recent advances in open set recognition: A survey." IEEE transactions on pattern analysis and machine intelligence 43.10 (2020): 3614-3631.
 
[1]Min, Erxue, et al. "A survey of clustering with deep learning: From the perspective of network architecture." IEEE Access 6 (2018): 39501-39514.
 

בפרק זה נראיין את איתי מרגולין על אחת הטכניקות הפרקטיות בתעשייה שכל עסקן דיפ לרנינג חייב להכיר.
מולטי-טאסק זו למידה של מספר משימות במקביל, ולמרות שהמונח קיים כבר עשרות שנים, הוא זכה להכרה מחדש עם פרוץ דיפ לחיינו.
נדבר על מתי למידה של מספר משימות מועילה, מתי היא מזיקה ?
מה ההבדל מולTransfer learning ?ואיך משלבים כמה מטרות לפונקציית לוס אחת

כמשתמשים אנחנו נחפשים למערכות המלצה כל הזמן, בין אם זה בסופר בקניות או בגלילת סרטים בנטפליקס.
בפרק זה נדבר עם דנה, על איך טאבולה, ענקית ההמלצות העולמית ממליצה לנו על כתבות דומות כשאנחנו גולשים באינטרנט.
נדבר על המלצות מבוססות תוכן בלבד
content filtering
המלצות מבוססות אינטראקציות בלבד, בהשראת פרס נטפליקס 2009
collaborative filtering
ונדבר על מימושים כגון וריאציות על
matrix factorization
ו
factorization machines
כדי לשלב גם תכנים וגם התנהגות משתמשים להמלצה אחת.
כמו כן נדבר על איך טאבולה עושים
Transfer learning
כשיש טראפיק מועט, או כשיש תלות גדולה בין אתרים.

בפרק זה נדבר על זיהוי אובייקטים בתמונה, ונארח את אברהם רביב - דוקטורנט בתחום בבר אילן ופעיל מאוד בקהילה עם הסקירות המעולות שלו.
נדבר על בעיות בראיה ממוחשבת, מקלאסיפיקציה, דרך זיהוי אובייקטים ועד סגמנטציה - ועל הקושי בתיוג.
זיהוי אובייקטים יכול להיות ממודל או כבעיה דו שלבית, הכוללת שלב נקודות עניין ואז קלאסיפיקציה או יחדיו - ונזכיר את
YOLO
שהיה מודל חלוצי בתחום.
נדבר על המעבר מרשתות
CNN
לטרנספורמרים, ועל המודל
DETR
 
 
סקירה של אברהם רביב על דיטר:
https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/deepnightleaners%20reviews/DETR.pdf

ראיון מיוחד עם מייק ארליכסון האחד והיחיד על מודל גנרטיבי "חדש".
Diffusion Modelsהם שיטה חדש לפעפוע רעש, ואימון מודל להפוך רעש  על ידי סדרה של מודלים לתמונות סופר איכותיות.
נדבר על המאמר:
Diffusion models beat gans on image synthesis
שמראה שמודלי דיפוזיה מצליחים להביס מודלים קודמים כגון
GANs.ונסקור את המטריקות לאיכות תמונה שנבדקו, כמו כן נדבר על החסרונות שלDDPMלעומתVAE & GANsץ

בפרק זה נדבר עם אורן רזון שמוביל את
superwise
על שלושת השלבים של דיפלוימנט של מודלי למידת מכונה.
נדבר על מה יכול להשתבש בפרודקשן כשמודל מתיישן והעולם מתיישן, ואיך ניתן להיות עם יד על הדופק עםMonitoring
 
קישורים רלוונטים:
Building your MLOps roadmap
Build or buy? Choosing the right strategy for your model observability
Superwise Community Edition 
 

למידת מכונה נורא כיפית ופשוטה כשמורידים מחברת מקאגל וכל הדאטא יושב בקובץ על המחשב ליד, אבל בחיים האמיתיים המצב לא כ"כ פשוט.
בפרק זה אסף פנחסי (יועץ בתחום, בוגר פייפל ובכיר בזברה מדיקל לש') לספר לנו על החיים האמיתיים.
שאלנו את אסף את כל השאלות הקשות: מחברות או קוד ? האם
feature store
זה משהו שאנחנו צריכים, ומתי הוא לא מתאים ?
וכמובן, מה ההבדל בין
ML engineering
ל
MLops
?
 

סטטיסטיקאים נחצים ל2 מחנות: הסטטיסטיקאים הקלאסיים-תדירותיים, והסטטיסטיקאים הבייסיאנים.
סטטיסטיקה בייסיאנית היא גישה שונה לסטטיסטיקה, שמנסה לדון בסבירות לא רק של הדאטא הנצפה בהנתן השערה, אלא גם בסבירות של הפרמטרים של ההתפלגות.
מודלים רבים כגון
GMM, Naive Bayes  ו Latent Dirrechlet allocation
מתבססים על סטטיסטיקה בייסיאנית, ולאחרונה גם רשתות נוירונים זוכות לפרשנות בייסיאנית.
בפרק נדבר על ההבדלים, ועל האומדים השונים של 2 הגישות.

בפרק זה אירחנו את ברק אור לספר לנו על ניווט אינרציאלי.
כשאנחנו חושבים על ניווט, אנחנו חושבים על גוגל מאפס, ווייז ושלל אפליקציות שמשתמשות ב
GPS.
אבל לג'י פי אס יש מגבלות, ויש דרכים נוספות לנווט - כגון מדדי תאוצה, מהירות ומצפן.
ברק יספר לנו על אלגוריתם קלמן פילטר ששרד את מבחן הזמן ועל הרחבות שלו עם למידת מכונה.

בפרק זה ראיינו את רועי טבח שייספר לנו על האתגרים בעולם הסייבר,
דיברנו על שימוש  באנומלי דטקשן להתראה על אירועים חשודים בלוגים של מערכות.
ודיברנו על מירוץ החימוש הנצחי בין התוקפים למגינים

כבר התרגלנו בעולם המשין לרנינג, ששום מודל לא שורד יותר משנה-שנתיים בתור ה
SOTA
עד שמגיעה גישה חדשה שטורפת את הקלפים.
לכן מעניין דווקא לדבר על
PPO
שנשאר הגישה הדומיננטי ב
Reinforcement learning
כבר חמש שנים, ולא נראה שהוא הולך לשום מקום.
נלמד על הבעיתיות של למידה רק עם גרדיאנט, ונדבר על מה זה "גרדיאנט טבעי"

בפרק זה אירחנו את דניאל חן מפייבר, לדבר על אלגוריתמי בנדיטים.
Multi armed bandit
היא גרסה מנוונת של
Reinforcement learning
אבל שימושית מאוד, עם אלגוריתמים ייחודיים לפתרון יעיל.
נדבר על שימושים בעולמות הפרסום, תימחור דינמי, ואיך מכניסים קונטקסט לבנדיטים ושומרים על שפיות.

פרק מהארכיון, עם מייק ארליכסון המפורסם מסקירות המאמרים.
בפרק זה נדבר על הדרך מאוטו-אנקודר אל
VAE
לצורך יצירה של דאטא סינטתי.
ונדבר על ההבדלים מול
GAN

בפרק זה נחזור לבסיס ונדבר על עצי החלטה, המודל הבסיסי והאינטואטיבי ביותר - שעדיין עובד יותר טוב על דאטא טבלאי.
נדבר על שיטות אימון חמדניות, ועל שימוש באנטרופיה כקירוב.
ונתאר מה ההבדל בין שיטות ה
ensemble
הנפוצות, בוסטינג לעומת באגינג.

נראה שלמידה ניגודית מקבלת המון תשומת לב לאחרונה, בעיבוד תמונה, טקסט ואפילו דאטא טבלאי.
נדבר על המאמר פורץ הדרך של הינטון
SimCLR
ונשווה אותו אל מול שיטות קלאסיות של הורדת מימד.

בהמשך לסיקור החדשותי של זילו, והחיזוי מחירי נדלן שהביאו להפסדים של מיליארדים - תמיר ואורי מתוודאים על פדיחות שעשו בפרויקטים.
מה קורה כשהמודל מושלם אבל תהליך יצירת הדאטא פחות ? איך פרויקט תיוג יכול להשתבש ולהתפוצץ בפנים, וכמובן - כמה חשוב לקרוא את האותיות הקטנות בדוקמנטציה.

בפרק זה אירחנו את אמיר עברי להסביר לנו על עיבוד קול, מה הם השלבים השונים בפייפליין של
Speech recognition
ועל האתגרים בתחום. בפרק נדבר על שיטות כגון
MFCC
לעיבוד אותות שמע, וכיצד אפשר להתמודד עם המימד הגבוה עםטכניקות כמו
Diffusion maps
כדי לאפשר עיבוד בזמן אמת.

על מהפכת הדיפ לרנינג לא צריך להרחיב, כולנו מכירים וחלקנו אף מימשנו.
אבל למה לעזאזל הדבר הזה עובד ? בפרק זה אירחנו את גלעד יהודאי, סטודנט לדוקטורט לתחום ושאלנו אותו את השאלות הקשות.
נלמד מה זה "אוברפיטינג שפיר" מה היא תופעת ה"ירידה הכפולה" ומה הם שלושת סוגי הטעויות בלמידה.

בפרק זה אורי מארח את רעות צרפתי לדבר על עיבוד שפה בעברית.
מה ההבדל בכלל בין עברית לאנגלית ? למה זה יותר קשה ?
האם החיים היו יותר קלים אם היינו כותבים עם ניקוד ?
ודיברנו על ההבדלים הבלשניים של שפות שמיות (עברית וערבית) אל מול שפות הודו אירופאיות.
 

קיבלתם פעם דאטאסט עם "כל הדברים שחשוב לזהות" אבל בלי אף דוגמא שלילית ?
אני בטוח שכן, אפשרות אחת לפתרון היא למדל את הבעיה כקלאסיפיקציה ואיכשהו להמציא דוגמאות שליליות.
או, לחילופין למדל את הבעיה כ
Positive Unlabeled Learning
אבל מה זה ?
שי פלצ'י יסביר לנו ויספר על הספריה שלו
pu-learn

Tamir Nave and Uri Goren introduce themselves and the new podcast format.