ExplAInable

בפרק הזה, דוד שוקרון,

Head of DS & AI

בביטוח ישיר, מספק הצצה לעולם מדעי הנתונים בתעשיית הביטוח. נשמע ממנו על ההבדלים בין אקטואריה ל-Data Science,

ועל איך משלבים DS במערכות ותיקות של חברות ביטוח

דוד יסביר על יישומי DS בתעשייה עתירת נתונים כמו ביטוח, בשימוש בכלים ומודלים שונים, כולל השאלה אם יש צורך בכלים ייחודיים או שניתן להסתפק במוצרי מדף קיימים. בנוסף, נבין איך מודלי שפה משפיעים על תעשיית הביטוח, ומה הכיוונים העתידיים שמעצבים את התחום בעקבות החידושים האחרונים.

.

בפרק זה, אנחנו נשוחח עם אלעד נחמיאס

CTO של Bridgewise,

על השימוש במודלי שפה גדולים (LLMs) בתחום ההשקעות. אלעד יסביר לנו איך משלבים טכנולוגיות מתקדמות כדי לשפר  תהליכי הייעוץ והאנליזה, תוך התמודדות עם אתגרים כמו דיוק הנתונים, הטיות פוטנציאליות ושמירה על פרטיות המידע.

נשמע על האתגרים הטכניים והאתיים של יישום

LLMs, איך Bridgewise מוודאת שהפתרונות שלה נשארים שקופים ואחראיים, ומה החזון העתידי שלה לשימוש בטכנולוגיה זו בתעשיית ההשקעות.

בפרק הזה, נצלול יחד עם לירון יצחקי אלרהנד ל

Interleaving Retrieval with Chain of Thought (IRCoT) 

שיטה לשיפור מערכות שאלה ותשובה על ידי הרחבה איטרטיבית של תהליך חשיבה ואחזור מידע רלוונטי. נדבר על טכניקות שונות של אחזור אדפטיבי, נשווה את יעילותן על סמך מורכבות השאלה, ונדגיש את החשיבות של בחירת הגישה הנכונה לתרחישים שונים

המלצות של לירון למי שמועניין ללמוד עוד:

https://arxiv.org/abs/2212.10509

https://github.com/StonyBrookNLP/ircot/tree/main

 https://colab.research.google.com/github/pathwaycom/pathway/blob/main/examples/notebooks/showcases/mistral_adaptive_rag_question_answering.ipynb

https://arxiv.org/abs/2403.14403

לא רק היופי הוא בעיניי המתבונן, מסתבר שגם הדימיון הסמנטי

בפרק הזה ענבל תספר לנו איך התגלגלה מטוקיו ל

 בגונג senior staff researcher 

כשחושבים על אמבדינגז, הרבה פעמים חושבים על חיפוש וקטורי ו
RAG

נדבר על החשיבות של אמבדינג טוב דווקא בשלב הכרת הדאטא ובחירת דוגמאות מעניינות לאימון.

נסקור את ההיסטוריה של אמבדינג, ללא הקשר, עם הקשר, ועד
Task aware embedding
שהוא צעד ביניים למודל שפה מלא

לינקדאין של ענבל

E5

MTEB

קישורים:

• אורי גוטליב
• נטע בר
• wids il facebook
• Wids-linkdin
• קהילת באות

אינטל העולמית נמצאת השבוע בכותרות בעקבות ההצהרה על הצמצומים, וזו הזדמנות מעולה להזכיר על הפעילות המדהימה של קבוצת הדאטא סיינס של אינטל ישראל.
החודש פורסם כי הקבוצה

AI Solutions Group

זכתה בפרס הארגון המצטיין העולמי של אינטל.

בפרק זה ד"ר אמיתי ערמון יספר לנו על התפקיד שלו בתור ה

Chief Data Scientist

של הקבוצה, מה היא עושה? מה האתגרים היחודיים שלהם? ואיך מתנהלת העבודה של 250 עובדים שבונים ביחד מוצרים מבוססי בינה מלאכותית?

נדבר על פרוייקטים לדוגמא, על ללמים ועל המאמר שכתב

Tabular Data: Deep Learning is Not All You Need

שהגיע השבוע לאלף ציטוטים.

Tabular Data: Deep Learning is Not All You Need

עמוד הלינקדאין של אמיתי

1. LF AI & Data website: https://lfaidata.foundation/
2. AI Open Source landscape: https://landscape.lfai.foundation/
3. Generative AI Commons website: https://genaicommons.org/
4. Generative AI Commons - Get Involved guide: https://docs.google.com/presentation/d/1Ie0NKJ4N5u3UINUdiwoA7pBYtaRrUdH0gEcMUo9M9Y0/edit?pli=1#slide=id.g2c0160abebd_0_72
5. OSI - open source AI initiative - latest definition: https://opensource.org/deepdive/drafts/the-open-source-ai-definition-draft-v-0-0-8
6. OSI - Open Source AI initiative discussion forum: https://discuss.opensource.org/
7. Connect with me on LinkedIn: https://www.linkedin.com/in/ofer-hermoni/

• Duelling bandits
• Recsim
• טווח ארוך לעומת טווח קצר במערכות המלצה

• The netflix prize
• Very recent example from the pentagon
• How one man’s pay-to-use toilet gag revealed Google Maps can be used to track people
• Sweeney’s attack
•  

בפרק זה אמיר שחר יספר על שיטה חדשנית שפרסם לשילוב מודלי שפה יחד עם אלגוריתמים.

לפני 20 שנים, כנראה שאם הייתם אומרים AI הייתם מתכוונים לאלגוריתמי חיפוש בעצים.

אלגוריתמי חיפוש כמו

A Star

מנצחים מסטרים בשח מט, ואפילו עוזרים לנו להתמצא בעיר עם Waze.

למעשה, אם מסתכלים עמוק בתוך LLM מגלים גם בו שימושים באלגוריתמי חיפוש.

אמיר יספר מנסיונו איך אפשר לשפר אלגוריתמים, ובפרט אלגוריתמי חיפוש, על ידי שילובם עם מודלי שפה גדולים.

קישורים

Attention is All You Need

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

End-to-End Object Detection with Transformers

Vision-Transformer-papers

https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a

https://paperswithcode.com/methods/category/vision-transformer

קישורים

• Ai-junk

• כתבה למטיבי לכת בעברית על RL

• DeepMind is Using AI to Teach Robots to Play Soccer

נתנאל, דאטא סיינטינסט ותיק שמוביל היום את המחקר בדאבל וריפיי ידבר איתנו על בעיה כואבת אך נפוצה.

גייסנו תקציבים, כוח אדם, ועם הרבה רצון ומוטיבציה ניגשנו לפרויקט חדש - פתחנו את מכסה המנוע, וגילינו לצערינו שאין מספיק נתונים- מה הלאה ?

נדבר על שלוש טקטיקות שאפשר לנקוט, בין אם זה תיוג עצמאי ורכישת דאטא, שימוש במודלים כגון

Label spreading, transfer learning, kde

או שימוש במודלים אנליטיים יותר, כגון שיטות בייסיאניות או מודלים פיסיקלים.

יצא לנו הרבה לדבר על מודלי שפה גדולים לאחרונה, ועל השימושים שלהם.

למעט שימוש בצ׳אטבוט או כעזר לכתיבה, לרוב אנחנו רוצים לקבל את הפלט של המודל בפורמט כלשהו כמו

Json / Data Class

נדבר על שלושת השלבים ביצירת הפלט, הטוקנייזר, הטרנספורמר, והמפענח.

ונסביר איך אפשר להתערב במפענח כדי לאלץ את המודל כדי לקבל תשובות במבנה מסוים, להכריח את מודל לענות ״כן״ או ״לא״, לאלץ את התשובה להיות מספרית, מתוך רשימה סגורה וכדומה.
ספריות שימושיות:

JSONFormer - https://github.com/1rgs/jsonformer

OpenAI Function calls - https://openai.com/blog/function-calling-and-other-api-updates

O

Data Operations IL

https://www.linkedin.com/groups/9236026/

Links:

https://www.institutdesactuaires.com/global/gene/link.php?doc_id=16273#:~:text=AGLM1%20is%20defined%20as,coding%20methodologies%20of%20dummy%20variables.

https://github.com/kkondo1981/aglm

GAM - Generalized additive models

https://medium.com/just-another-data-scientist/building-interpretable-models-with-generalized-additive-models-in-python-c4404eaf5515

בפרק זה אירחנו את מורן קורן, חוקר ומרצה לתורת המשחקים מאוניברסיטת בן גוריון.
דיברנו בעבר שימוש בערכי שייפלי לפרשנות מודלים, ערכי שייפלי הם נושא מחקר פעיל בתורת המשחקים והחלטנו להעמיק ולשפוך אור על תורת המשחקים ואיך הרעיונות משלימים את הנחקר בלמידת מכונה.

דיברנו על המונחים, מהו שיווי משקל ? איך מגדירים משחקים לפי ידיעה שלמה או גורל, על אסטרטגיה אופטימלית, ואיפה תורת המשחקים פוגשת אותנו כאנשי דאטא.

איך אפשר להשתמש בתורת המשחקים לצורך איסוף דאטא של מודלים כדי למנוע הטייה באיסוף הנתונים.

ונדבר על רעיונות מתורת המשחקים שהשפיעו על תחום המכרזים שמעסיק דאטא סיינטיסטים רבים.

קישורים:

• שייפלי: https://christophm.github.io/interpretable-ml-book/shapley.html
• https://research.ibm.com/publications/strategic-classification
• On learning optimal contracts: https://www.cs.cornell.edu/home/kleinber/aer18-fairness.pdf

אמיר ואורי נסעו במסגרת עבודתם בארגמקס לכנס הייסטאק
HayStack2023

המתמקד בחיפוש, ואימלקו לכם את הפרק לעשרים דקות צפופות על החידושים בתחום החיפוש בעידן ה

Language models

דיברנו על ארכיטקטורות חיפוש ובנוסף כוסו האלגוריתמים הבאים

• Splade
• Hyde
• Search augmentation with LLM

בפרק זה אירחנו את רותם דמבו ועומר דודי, שסיפרו לנו על המעבר שעשו בשנה האחרונה, מתפקיד של אנליסט לתפקיד של מדען נתונים.
דיברנו על הפערים "התרבותיים" בין המקצועות, אילו יתרונות יש לאנליסט שמחפש להכנס לתחום מדעי הנתונים, אילו השלמות כדאי לעשות ואיזה טיפים יש להם לתת למי שנכנס לתחום.
הם יספרו על ההחלטה לעשות את המעבר, על הלימודים בתוכנית Y-DATA, על איך התוכנית סייעה להם במעבר ועל מה הם עושים כיום.

קשה לעבור ברחוב היום בלי לשמוע מישהו מספר לחברו על צ'אט ג'י פי טי או
LLM

אחד החידושים באימון שלו, למעשה ב
InstructGPT
היו השימוש בלמידה חיזוקית על בסיס דאטא מתויג אנושי בתהליך הדגימה

נספר על אלגוריתם ה
RLHF
ושילובו בתוך מודלי השפה
LLM

בפרק זה נדבר עם אוהד מדילטייל, העוסק בניתוח סיבתיות.

אנחנו כולנו למדנו בטירונות דאטא סיינס ש

Correlation does not imply causation

אבל מה כן ? האם חייבים לבצע ניסויים מדוקדקים? והאם זה רלוונטי רק לעולם הרפואה או לכולנו ?

קישורים:

1. DoWhy tutorials
2. אלגוריתמים - EconML docs
3. Guide - Athey, Stuart, Vogelstein 2021

מאמר של אוהד  https://arxiv.org/abs/2207.01722

מאמר Ascarza

וקטורים, וקטורים בכל מקום ! דיברנו על מילים שהופכות לוקטורים, מסמכים שהופכים לוקטורים, תמונות שהופכות לוקטורים.

אבל ברוב המקרים, נדרש חיפוש של וקטורים דומים למשימות של קלאסיפיקציה, דירוג ואפילו זיהוי אנומליות.

חיפוש וקטורי בקנה מידה גדול זו בעיה הנדסית לא פשוטה, עם אילוצי זמן ריצה וזכרון.

בפרק קצרצר זה, נסקור שלושה אלגוריתמים לחיפוש מקורב ונדבר על סוגי הוקטורים המתאימים.

פרק נוסף בתחום הלמידה החיזוקית, הפעם צוללים לפרטים הטכניים עם התאוריה מאחורי
Replay Buffer
סוכן, יכול ללמוד רק מהפעולות שלו - מה שנקרא

On Policy
או למידה גם מפעולות של סוכנים אחרים, מה שנקרא

Off Policy
בגישת הריפליי באפר, שומרים "הקלטה" של פעולות עבר ותוצאות עבר - ודוגמים מתוכן לצרכי הלמידה.

שירלי תספר לנו על המחקר שלה לגבי השפעת גודל הבאפר, והשיפור בתוצאות של אימוני מודלי
RL

פרק זה הוא חסות מיוחד בשיתוף אנבידיה, שמוקדש לג'וניורים.

אנבידיה הפיקה את כנס ה
GTC
עם דגש מיוחד השנה של גנרטיב - להרשמה לחצו פה

בפרק ראיינו חמישה דאטא סיינטיסטים טריים: צחי מורד, טלחיים דמארי, נתי מגור, דין עזרא ואבי חביב.

בפרק זה אירחנו את איתן נצר, מ

data heroes

לדבר על בחירה חכמה של דגימות לצורך אימון מודלים.

אנחנו בעידן הדאטא, נאספים טרות של אירועים מדי יום - אבל המודל שלנו לאו דווקא מרוויח מכל השפע הזה.
האם אפשר להגיע לביצועים דומים עם שבריר הדאטא ובחירה חכמה של הדגימה ?

איתן יספר לנו על גישת ה

core set

שחקר, והחליט לימים להקים את דאטאהירוז על מנת להנגיש את הטכנולוגיה.

מבין המשקיעים בחברה, נמצא גם
Andrew Ng

שהוא מאמין גדול ב

Data Centric AI

קישורים:

• https://dataheroes.ai/
• https://dataheroes.ai/introduction-to-coresets/

בפרק זה נציג את אתגר הלווינות החדש בסדרת MAFAT Challenge.

אירחנו את ליאל ממפא"ת ואת שי ועידן מ-Webiks.

דיברנו על מהפכת החלל, האתגר בזיהוי אובייקטים מתצלומי לוויין במאפיינים שונים וההבדלים ביחס לגילוי אובייקטים קלאסיים.

קישור לתחרות:
https://codalab.lisn.upsaclay.fr/competitions/9603

זיהוי אנומליות הוא נושא שימושי למגוון בעיות, זיהוי סנסורים דפוקים, אאוטליירים בדאטא או התנהגות חשודה.

הבעיה היא שזיהוי אנמליות בפני עצמו הא לא תמיד שימושי, אם אין פעולה שאפשר לבצע בעקבות החריגה.

נדבר על הגישות הקלאסיות לאנומלי, כגון

* Density estimation

* Auto regressive

* Distance based measures

ועל הבעייתיות שנובעת מחישוב מרחקים במימדים גבוהים.

אנדרס יציג את הגישה ההירכית שעבדה להם בריסקיפייד, המבוססת על אימון מספר גדול (6000) של מודלים ברמות שונות, והפעלת לוגיקה סטטיסטית על החריגות של כל מודל בפני עצמו.

הגישה שונה מגישות קודמות, שכן כל מודל משויך למטריקה - אזי אפשר לא רק לחזות אנומליות , אלא גם להסביר מדוע זו אנומליה ולסנן אך ורק לאנומליות עבורן יש פעולה שאפשר לנקוט.

קישורים:

problems and challenges related to anomaly detection on big data

The Curse of Dimensionality

Andres’ talk about their "new approach"

פרק זה הוא פרק סולו של אורי, בוא הוא יספר על החוויה שלו בפתיחת משרת ג'וניור בארגמקס.

המשרה זכתה לחשיפה גבוהה ברשתות החברתיות והגיעה ל40 אלף איש בעקבות שיטת הגיוס הלא שגרתית.

אורי יספר על מבחן הבית, ההיענות המפתיעה של מועמדים והביקורות שקיבל מקולגות לתחום.

באם יש לכם נסיון או מומחיות בתחום גיוס הג'וניורים, נשמח לפידבק בקבוצת הטלגרם שלנו

https://t.me/explainablepodcast

לעיון במבחן הבית:

https://argmax.ml/jr

בפרק זה אירחנו את חי מרון מ

nvidia

לדבר על עיבוד גרפים עם רשתות נוירונים.

נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית.

נדבר על 4 הגישות הרווחות למידול

1. שיטות ספקטרליות
2. מודלי העברת הודעות
3. רשתות אקוויורינטיות
4. וכמובן, טרנספורמרים

לקריאה נוספת:

https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf

הרצאה של חגי על יצוג גרפים כסימטריות

https://www.youtube.com/watch?v=k3E3XyMtQcA&list=PL7VfmMOOwNlJ5PndlhiMwjvqDTA6m1Z9i&index=2&t=120s

בפרק קודם דיברנו על קודקס, מודל השפה שמאחורי

Github Co-Pilot

בפרק זה, החלטנו להעמיק ולראיין את ערן יהב, חוקר באקדמיה והמוח מאחורי

TabNine

ואורי אלון, פוסט דוקטורט בתחום שחוקר את הנושא הרבה לפני שזה היה מגניב.

נדבר על ההיסטוריה של התחום, גישות מבוססות גרפים, דקדוק ומה הקשר בין שפת התכנות ליכולת החיזוי.

כמו כן נדבר על אתגרים מוצריים ב

TabNine

ועל המעטפת הנדרשת להפיכת מודל למוצר שאנשים משתמשים בו ומרוצים ממנו.

נראה שעולם המודלים הגיעה לבשלות, לא פעם יוצא לנסות כמה מודלים שונים ולהגיע לאותן מטריקות.

הטרנד של

data centric ai

שמוביל
Andrew Ng

דוגל בגישה שהפוקוס צריך לעבור לבחירה נכונה של הדאטא, ויצירה חכמה של דאטא סינטתי יותר מאשר אופטימיזציה של מודלים.

סיגל שקד תספר לנו על הגישה החדשה וההבדלי מונחים אל מול גישות קלאסיות של

resampling / augmentation

קישורים רלוונטים:

• imbalanced-learn
• TGAN
• CTGAN
• TABDDPM
• SDV

Commercial: gretel, datomize

בפרק זה אירחנו את שי פרח ממכון וייצמן, מומחה להוראת המדעים.

בעידן שלנו, ללמוד לתכנת זה כישור יסוד כמו קריאה וכתיבה בעידן המחשב.

האם הגיע המקום לחשיבה בשיטת

ai4all

על משקל תנועת ה

coding4all

הפופולארי.

דיברנו על הכשרות בתחום הבינה המלאכותית בתוכנית הלימודים.

מה ההבדל בין "מדעי המחשב הקלאסי" לבין אפיון בעיה כ"למידת מכונה" מנקודת המבט של המהנדס.

מייק, אורח קבוע של הפודקאסט ידבר איתנו על

Normalized Flows

מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל

Diffusion model, GANS and VAE

נדבר על ההבדלים בין המודלים, על היתרון ב

density estimations

ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות

בפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות..

חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים.

בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות

OOD

חריגה סמנטית, אובייקט לא מוכר.

ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)

נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות

קרדיט למחקר משותף: מתן טור פז

תמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש.

בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים.

נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים.

איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל

AI

והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט.

הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של

Program Synthesis

העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה.

אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי.

ונדבר על קודקס, מודל השפה ש

Open AI

אימנו על גיטהאב, וכיצד הוא עובד.

כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.

בפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס.

שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר.

ששת המאמרים הם:

שקד גם כתב בהרחבה במדיום פה:

https://towardsdatascience.com/6-papers-every-modern-data-scientist-must-read-1d0e708becd

בפרק זה אירחנו את זיו פרוינד שהכיר לנו מונח חדש לבעיה נפוצה.

מכירים את זה שאימנתם מודל שעובד מעולה כשמסווגים 10 מחלקות, אבל פתאום כשמגיעים לשטח מגלים שיש עוד 12 מחלקות שלא חשבתם עליהם ומבלבלות את המודל ?

זיו יספר על נסיונו בסיווג סיגנלים באלביט, ויספר על גישות לפתרון הבעיה.

נשמע לכם כמו קלאסטרינג ? גם לנו - נדבר על ההבדלים ועל שימוש בשיטות כמו

Contrastive

ללמידת ייצוגים מוכוונת לבעיית הקלאסיפיקציה שתבוא בהמשך.

[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.

[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.

[1]Hsu, Yen-Chang, ZhaoyangLv, and Zsolt Kira. "Learning to cluster in order to transfer across domains and tasks.” ICLR 2018

[1]Yang, Bo, et al. "Towards k-means-friendly spaces: Simultaneous deep learning and clustering." international conference on machine learning. PMLR, 2017.

[1]Geng, Chuanxing, Sheng-jun Huang, and Songcan Chen. "Recent advances in open set recognition: A survey." IEEE transactions on pattern analysis and machine intelligence 43.10 (2020): 3614-3631.

[1]Min, Erxue, et al. "A survey of clustering with deep learning: From the perspective of network architecture." IEEE Access 6 (2018): 39501-39514.

בפרק זה נראיין את איתי מרגולין על אחת הטכניקות הפרקטיות בתעשייה שכל עסקן דיפ לרנינג חייב להכיר.

מולטי-טאסק זו למידה של מספר משימות במקביל, ולמרות שהמונח קיים כבר עשרות שנים, הוא זכה להכרה מחדש עם פרוץ דיפ לחיינו.

נדבר על מתי למידה של מספר משימות מועילה, מתי היא מזיקה ?

מה ההבדל מול
Transfer learning ?
ואיך משלבים כמה מטרות לפונקציית לוס אחת

כמשתמשים אנחנו נחפשים למערכות המלצה כל הזמן, בין אם זה בסופר בקניות או בגלילת סרטים בנטפליקס.

בפרק זה נדבר עם דנה, על איך טאבולה, ענקית ההמלצות העולמית ממליצה לנו על כתבות דומות כשאנחנו גולשים באינטרנט.

נדבר על המלצות מבוססות תוכן בלבד

content filtering

המלצות מבוססות אינטראקציות בלבד, בהשראת פרס נטפליקס 2009

collaborative filtering

ונדבר על מימושים כגון וריאציות על

matrix factorization

ו

factorization machines

כדי לשלב גם תכנים וגם התנהגות משתמשים להמלצה אחת.

כמו כן נדבר על איך טאבולה עושים

Transfer learning

כשיש טראפיק מועט, או כשיש תלות גדולה בין אתרים.

בפרק זה נדבר על זיהוי אובייקטים בתמונה, ונארח את אברהם רביב - דוקטורנט בתחום בבר אילן ופעיל מאוד בקהילה עם הסקירות המעולות שלו.

נדבר על בעיות בראיה ממוחשבת, מקלאסיפיקציה, דרך זיהוי אובייקטים ועד סגמנטציה - ועל הקושי בתיוג.

זיהוי אובייקטים יכול להיות ממודל או כבעיה דו שלבית, הכוללת שלב נקודות עניין ואז קלאסיפיקציה או יחדיו - ונזכיר את

YOLO

שהיה מודל חלוצי בתחום.

נדבר על המעבר מרשתות

CNN

לטרנספורמרים, ועל המודל

DETR

סקירה של אברהם רביב על דיטר:

https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/deepnightleaners%20reviews/DETR.pdf

ראיון מיוחד עם מייק ארליכסון האחד והיחיד על מודל גנרטיבי "חדש".

Diffusion Models
הם שיטה חדש לפעפוע רעש, ואימון מודל להפוך רעש  על ידי סדרה של מודלים לתמונות סופר איכותיות.

נדבר על המאמר:

Diffusion models beat gans on image synthesis

שמראה שמודלי דיפוזיה מצליחים להביס מודלים קודמים כגון

GANs.
ונסקור את המטריקות לאיכות תמונה שנבדקו, כמו כן נדבר על החסרונות של
DDPM
לעומת
VAE & GANsץ

בפרק זה נדבר עם אורן רזון שמוביל את

superwise

על שלושת השלבים של דיפלוימנט של מודלי למידת מכונה.

נדבר על מה יכול להשתבש בפרודקשן כשמודל מתיישן והעולם מתיישן, ואיך ניתן להיות עם יד על הדופק עם
Monitoring

קישורים רלוונטים:

Building your MLOps roadmap

למידת מכונה נורא כיפית ופשוטה כשמורידים מחברת מקאגל וכל הדאטא יושב בקובץ על המחשב ליד, אבל בחיים האמיתיים המצב לא כ"כ פשוט.

בפרק זה אסף פנחסי (יועץ בתחום, בוגר פייפל ובכיר בזברה מדיקל לש') לספר לנו על החיים האמיתיים.

שאלנו את אסף את כל השאלות הקשות: מחברות או קוד ? האם

feature store

זה משהו שאנחנו צריכים, ומתי הוא לא מתאים ?

וכמובן, מה ההבדל בין

ML engineering

ל

MLops

?

סטטיסטיקאים נחצים ל2 מחנות: הסטטיסטיקאים הקלאסיים-תדירותיים, והסטטיסטיקאים הבייסיאנים.

סטטיסטיקה בייסיאנית היא גישה שונה לסטטיסטיקה, שמנסה לדון בסבירות לא רק של הדאטא הנצפה בהנתן השערה, אלא גם בסבירות של הפרמטרים של ההתפלגות.

מודלים רבים כגון

GMM, Naive Bayes  ו Latent Dirrechlet allocation

מתבססים על סטטיסטיקה בייסיאנית, ולאחרונה גם רשתות נוירונים זוכות לפרשנות בייסיאנית.

בפרק נדבר על ההבדלים, ועל האומדים השונים של 2 הגישות.

בפרק זה אירחנו את ברק אור לספר לנו על ניווט אינרציאלי.

כשאנחנו חושבים על ניווט, אנחנו חושבים על גוגל מאפס, ווייז ושלל אפליקציות שמשתמשות ב

GPS.

אבל לג'י פי אס יש מגבלות, ויש דרכים נוספות לנווט - כגון מדדי תאוצה, מהירות ומצפן.

ברק יספר לנו על אלגוריתם קלמן פילטר ששרד את מבחן הזמן ועל הרחבות שלו עם למידת מכונה.

בפרק זה ראיינו את רועי טבח שייספר לנו על האתגרים בעולם הסייבר,

דיברנו על שימוש  באנומלי דטקשן להתראה על אירועים חשודים בלוגים של מערכות.

ודיברנו על מירוץ החימוש הנצחי בין התוקפים למגינים

כבר התרגלנו בעולם המשין לרנינג, ששום מודל לא שורד יותר משנה-שנתיים בתור ה

SOTA

עד שמגיעה גישה חדשה שטורפת את הקלפים.

לכן מעניין דווקא לדבר על

PPO

שנשאר הגישה הדומיננטי ב

Reinforcement learning

כבר חמש שנים, ולא נראה שהוא הולך לשום מקום.

נלמד על הבעיתיות של למידה רק עם גרדיאנט, ונדבר על מה זה "גרדיאנט טבעי"

בפרק זה אירחנו את דניאל חן מפייבר, לדבר על אלגוריתמי בנדיטים.

Multi armed bandit

היא גרסה מנוונת של

Reinforcement learning

אבל שימושית מאוד, עם אלגוריתמים ייחודיים לפתרון יעיל.

נדבר על שימושים בעולמות הפרסום, תימחור דינמי, ואיך מכניסים קונטקסט לבנדיטים ושומרים על שפיות.

פרק מהארכיון, עם מייק ארליכסון המפורסם מסקירות המאמרים.

בפרק זה נדבר על הדרך מאוטו-אנקודר אל

VAE

לצורך יצירה של דאטא סינטתי.

ונדבר על ההבדלים מול

GAN

בפרק זה נחזור לבסיס ונדבר על עצי החלטה, המודל הבסיסי והאינטואטיבי ביותר - שעדיין עובד יותר טוב על דאטא טבלאי.

נדבר על שיטות אימון חמדניות, ועל שימוש באנטרופיה כקירוב.

ונתאר מה ההבדל בין שיטות ה

ensemble

הנפוצות, בוסטינג לעומת באגינג.

נראה שלמידה ניגודית מקבלת המון תשומת לב לאחרונה, בעיבוד תמונה, טקסט ואפילו דאטא טבלאי.

נדבר על המאמר פורץ הדרך של הינטון

SimCLR

ונשווה אותו אל מול שיטות קלאסיות של הורדת מימד.

בהמשך לסיקור החדשותי של זילו, והחיזוי מחירי נדלן שהביאו להפסדים של מיליארדים - תמיר ואורי מתוודאים על פדיחות שעשו בפרויקטים.

מה קורה כשהמודל מושלם אבל תהליך יצירת הדאטא פחות ? איך פרויקט תיוג יכול להשתבש ולהתפוצץ בפנים, וכמובן - כמה חשוב לקרוא את האותיות הקטנות בדוקמנטציה.

בפרק זה אירחנו את אמיר עברי להסביר לנו על עיבוד קול, מה הם השלבים השונים בפייפליין של

Speech recognition

ועל האתגרים בתחום. בפרק נדבר על שיטות כגון

MFCC

לעיבוד אותות שמע, וכיצד אפשר להתמודד עם המימד הגבוה עםטכניקות כמו

Diffusion maps

כדי לאפשר עיבוד בזמן אמת.

על מהפכת הדיפ לרנינג לא צריך להרחיב, כולנו מכירים וחלקנו אף מימשנו.

אבל למה לעזאזל הדבר הזה עובד ? בפרק זה אירחנו את גלעד יהודאי, סטודנט לדוקטורט לתחום ושאלנו אותו את השאלות הקשות.

נלמד מה זה "אוברפיטינג שפיר" מה היא תופעת ה"ירידה הכפולה" ומה הם שלושת סוגי הטעויות בלמידה.

בפרק זה אורי מארח את רעות צרפתי לדבר על עיבוד שפה בעברית.

מה ההבדל בכלל בין עברית לאנגלית ? למה זה יותר קשה ?

האם החיים היו יותר קלים אם היינו כותבים עם ניקוד ?

ודיברנו על ההבדלים הבלשניים של שפות שמיות (עברית וערבית) אל מול שפות הודו אירופאיות.

קיבלתם פעם דאטאסט עם "כל הדברים שחשוב לזהות" אבל בלי אף דוגמא שלילית ?

אני בטוח שכן, אפשרות אחת לפתרון היא למדל את הבעיה כקלאסיפיקציה ואיכשהו להמציא דוגמאות שליליות.

או, לחילופין למדל את הבעיה כ

Positive Unlabeled Learning

אבל מה זה ?

שי פלצ'י יסביר לנו ויספר על הספריה שלו

pu-learn