ExplAInable

אמיר ואורי נסעו במסגרת עבודתם בארגמקס לכנס הייסטאק
HayStack2023

המתמקד בחיפוש, ואימלקו לכם את הפרק לעשרים דקות צפופות על החידושים בתחום החיפוש בעידן ה

Language models

דיברנו על ארכיטקטורות חיפוש ובנוסף כוסו האלגוריתמים הבאים

• Splade
• Hyde
• Search augmentation with LLM

בפרק זה אירחנו את רותם דמבו ועומר דודי, שסיפרו לנו על המעבר שעשו בשנה האחרונה, מתפקיד של אנליסט לתפקיד של מדען נתונים.
דיברנו על הפערים "התרבותיים" בין המקצועות, אילו יתרונות יש לאנליסט שמחפש להכנס לתחום מדעי הנתונים, אילו השלמות כדאי לעשות ואיזה טיפים יש להם לתת למי שנכנס לתחום.
הם יספרו על ההחלטה לעשות את המעבר, על הלימודים בתוכנית Y-DATA, על איך התוכנית סייעה להם במעבר ועל מה הם עושים כיום.

קשה לעבור ברחוב היום בלי לשמוע מישהו מספר לחברו על צ'אט ג'י פי טי או
LLM

אחד החידושים באימון שלו, למעשה ב
InstructGPT
היו השימוש בלמידה חיזוקית על בסיס דאטא מתויג אנושי בתהליך הדגימה

נספר על אלגוריתם ה
RLHF
ושילובו בתוך מודלי השפה
LLM

בפרק זה נדבר עם אוהד מדילטייל, העוסק בניתוח סיבתיות.

אנחנו כולנו למדנו בטירונות דאטא סיינס ש

Correlation does not imply causation

אבל מה כן ? האם חייבים לבצע ניסויים מדוקדקים? והאם זה רלוונטי רק לעולם הרפואה או לכולנו ?

קישורים:

1. DoWhy tutorials
2. אלגוריתמים - EconML docs
3. Guide - Athey, Stuart, Vogelstein 2021

מאמר של אוהד  https://arxiv.org/abs/2207.01722

מאמר Ascarza

וקטורים, וקטורים בכל מקום ! דיברנו על מילים שהופכות לוקטורים, מסמכים שהופכים לוקטורים, תמונות שהופכות לוקטורים.

אבל ברוב המקרים, נדרש חיפוש של וקטורים דומים למשימות של קלאסיפיקציה, דירוג ואפילו זיהוי אנומליות.

חיפוש וקטורי בקנה מידה גדול זו בעיה הנדסית לא פשוטה, עם אילוצי זמן ריצה וזכרון.

בפרק קצרצר זה, נסקור שלושה אלגוריתמים לחיפוש מקורב ונדבר על סוגי הוקטורים המתאימים.

פרק נוסף בתחום הלמידה החיזוקית, הפעם צוללים לפרטים הטכניים עם התאוריה מאחורי
Replay Buffer
סוכן, יכול ללמוד רק מהפעולות שלו - מה שנקרא

On Policy
או למידה גם מפעולות של סוכנים אחרים, מה שנקרא

Off Policy
בגישת הריפליי באפר, שומרים "הקלטה" של פעולות עבר ותוצאות עבר - ודוגמים מתוכן לצרכי הלמידה.

שירלי תספר לנו על המחקר שלה לגבי השפעת גודל הבאפר, והשיפור בתוצאות של אימוני מודלי
RL

פרק זה הוא חסות מיוחד בשיתוף אנבידיה, שמוקדש לג'וניורים.

אנבידיה הפיקה את כנס ה
GTC
עם דגש מיוחד השנה של גנרטיב - להרשמה לחצו פה

בפרק ראיינו חמישה דאטא סיינטיסטים טריים: צחי מורד, טלחיים דמארי, נתי מגור, דין עזרא ואבי חביב.

בפרק זה אירחנו את איתן נצר, מ

data heroes

לדבר על בחירה חכמה של דגימות לצורך אימון מודלים.

אנחנו בעידן הדאטא, נאספים טרות של אירועים מדי יום - אבל המודל שלנו לאו דווקא מרוויח מכל השפע הזה.
האם אפשר להגיע לביצועים דומים עם שבריר הדאטא ובחירה חכמה של הדגימה ?

איתן יספר לנו על גישת ה

core set

שחקר, והחליט לימים להקים את דאטאהירוז על מנת להנגיש את הטכנולוגיה.

מבין המשקיעים בחברה, נמצא גם
Andrew Ng

שהוא מאמין גדול ב

Data Centric AI

קישורים:

• https://dataheroes.ai/
• https://dataheroes.ai/introduction-to-coresets/