אינטל לאבס ישראל מפתחים בינה מלאכותית נגישה לכולם עם חומרה עוצמתית

חוקר אינטל משה וסרבלט מתאר כיצד מפתחים במעבדות החברה חדשנות מתקדמת בבינה מלאכותית, קוגניציה ועיבוד שפה טבעית, בשיתוף פעולה עם חברות סטארט-אפ והאקדמיה הישראלית, בכל הטווח החל ממדע בסיסי ועד למעבדי גאודי שפותחו בישראל

תחום הבינה המלאכותית מתפתח במהירות, וחלק משמעותי ממנו נעשה בישראל. ביקשנו לברר עם משה וסרבלט, חוקר בכיר במעבדות אינטל בישראל, מה עושים במעבדות כדי לשפר את מערכות הבינה המלאכותית. מסתבר שהמעבדה עובדת בשיתופי פעולה עם חוקרים מהתעשייה ואף עם האקדמיה (כולל פרסום מאמרים משותפים) לשיפור מודלי שפה, לדאוג שהם יהיו בני קיימא מבחינת צריכת האנרגיה וגם שיפור פתרונות של עיבוד שפה טבעית ומחקרים נוספים המשתרעים מהמדע הבסיסי ועד למדע היישומי.

במה בדיוק עוסקים החוקרים במעבדות המחקר של אינטל? איזה מחקר מתבצע כאן בישראל?

וסרבלט: “אינטל לאבס עובדת על פתרונות בתחומי החומרה, התוכנה, הרישות והאבטחה, כמו גם על מודלים וארכיטקטורות מחשוב חדשניים. בישראל, צוות אינטל לאבס מתמקד בפיתוח טכנולוגיות של בינה מלאכותית קוגניטיבית ועיבוד שפה טבעית. המטרה היא ליצור פתרונות שישפיעו על מגוון רחב של תעשיות.

מחקר משותף עם Hugging Face

“אחד משיתופי הפעולה המשמעותיים של אינטל לאבס ישראל הוא עם  Hugging Face, חברה מובילה בתחום הבינה המלאכותית. יחד, הצלחנו להשיג שיפור משמעותי בביצועים של מודלים ליצירת תוכן בעזרת בינה מלאכותית כשהם רצים על חומרת אינטל. לדוגמה, הצלחנו לשפר יותר מפי 7 את מודל השפה Starcoder במעבדי Intel Xeon  תוך שימוש בטכניקות אופטימיזציה חדשניות. התוצאות של שיתוף פעולה זה זמינות כעת ללקוחות, ומאפשרות להפעיל מודלים מתקדמים על פלטפורמות של אינטל בצורה יעילה ונגישה יותר. ראו בלוג ודמו.”

“תחום מחקר נוסף מתמקד ביצירת חוויות מציאות מדומה מרתקות בעזרת מודלים. החוקרות גבריאלה בן מלך ואסטלה אפללו בשיתוף פעולה עם חברת הסטארט-אפ הישראלית Blockade Labs, פיתחו טכנולוגיה שמסוגלת להפוך תיאורי טקסט של המשתמש לסביבות תלת-ממדיות מרהיבות ב-360 מעלות. באמצעות מודל בינה מלאכותית מתקדם בשם  LDM3D, המערכת שלנו יכולה ליצור תמונות תלת-ממדיות מציאותיות מתיאורי טקסט פשוטים, ובכך לאפשר חוויות אינטראקטיביות. כאן ניתן למצוא מידע על כך בגיטהאב ודמו.” 

“יתר על כן, אינטל לאבס ישראל מילאה תפקיד בקידום מנהיגות בינה מלאכותית באמצעות פיתוח פתרונות האצה כגון מאיצי Intel Gaudi, המספקים יעילות אנרגטית משופרת והסקה מהירה יותר בהשוואה לפתרונות אחרים. אנו מציעים גם LLMs מותאמים במעבדי Xeon, המדגימים ביצועים טובים והאצות מדור לדור.

צוות הבינה המלאכותית הקוגניטיבית שיפר את ביצועי Gaudi, מספק 60% יותר כוח והסקה מהירה פי 1.4 לעומת H100, ואופטימיזציה של Xeon לביצועים משופרים עד פי 10.

מידע נוסף ניתן למצוא במאמר פורבס ופוסט.”

האם תוכל לדון בחשיבות של שותפויות אינטל, כמו זו עם Hugging Face, בקידום מחקר בינה מלאכותית?

וסרבלט: “אינטל משתפת פעולה עם מובילי תעשייה וחברות סטארט-אפ במטרה להאיץ את פיתוח טכנולוגיות בינה מלאכותית. השותפויות הללו מאפשרות לאינטל ליישם את הידע שלה בחומרה ובתוכנה.

“השותפות שלנו עם Hugging Face היא דוגמה מובהקת לאופן שבו שיתוף פעולה יכול לקדם חדשנות. ספריית ה-Transformers של Hugging Face זכתה לאימוץ עצום, כולל באמצעות ספקי שירותי ענן גדולים כמו Azure, AWS ו-Google Cloud.

השותפות בין אינטל לאבס ל-Hugging Face מצליחה להביא חידושים בחומרות Intel Xeon, Gaudi ו-GPU, וכן בתוכנת Intel AI, לקהילת ה-Transformers באמצעות אינטגרציה בקוד פתוח. זה מאפשר למפתחים לעבוד בצורה חלקה ויעילה עם הטכנולוגיות הללו”.

מחקרים בשיתוף האקדמיה

האם תוכל להדגיש כמה מהפרסומים האחרונים במחקר שיצאו משיתופי הפעולה של אינטל לאבס ישראל עם האקדמיה הישראלית?

וסרבלט: “שיתופי הפעולה שלנו עם אוניברסיטאות ישראליות מובילות היו פוריים מאוד, והובילו למספר פרסומים בולטים בתחומי הבינה מלאכותית ועיבוד השפה הטבעית. אחת מהעבודות המשותפות האחרונות שלנו עם האוניברסיטה העברית היא “TangoBERT: Reducing Inference Cost by using Cascaded Architecture“, עם עמיתיי יונתן ממו, אורן פרג ופרופ’ רועי שוורץ. מאמר זה, שהוצג ב-AAAI 23, חוקר שיטות להאצת המהירות של מודלים מבוססי טרנספורמר, הנפוצים בשימוש במשימות NLP. על ידי הצעת ארכיטקטורה אופטימלית, הצלחנו להפחית משמעותית את עלות ההסקה (ההרצה בזמן אמת) תוך שמירה על ביצועים גבוהים”.

“מאמר מעניין נוסף הוא עם השותפים שלנו באוניברסיטת תל אביב “Transformer Language Models without Positional Encodings Still Learn Positional Information“, שנכתב במשותף על ידי פיטר איז’ק, עדי חביב, אורי רם, אופיר פרס ועומר לוי, והוצג ב-EMNLP 2022. עבודה זו מאתגרת את החוכמה המקובלת לגבי תפקיד המקודדים הקיימים במודלי טרנספורמר, ששינו את פני ה-NLP בשנים האחרונות. הממצאים מרמזים כי גם ללא מקודדים מיקומיים מפורשים, מודלי טרנספורמר עדיין יכולים ללמוד מידע מיקומי, ופותחים אפשרויות חדשות לעיצוב מודלים ויעילות.”

“היינו נוכחים גם בכנס ICML 23 (כנס בינלאומי מוביל בלמידת מכונה) והיינו שותפים למאמר עם פרופ’ אביב תמר מהטכניון “Learning Control by Iterative Inversion“. פרופ’ תמר הוא מומחה ללמידת חיזוקים וקשריה ללמידת ייצוגים, תכנון ואופטימיזציה.”

מודל גדול לשפה העברית

וסרבלט: ״במסגרת המחקר המתקדם של אינטל לאבס ישראל בתחומי ה-NLP והבינה המלאכותית, צוות חוקרים הכולל את פטר איזאק, דניאל פליישר, ומשה ברצ’אנסקי שיתף פעולה עם עמותת דיקטה, מפא”ת והאיגוד הישראלי לטכנולוגיות שפת אנוש בפיתוח Dicta-LM 2.0 – מודל שפה גדול וייחודי המותאם במיוחד לעיבוד השפה העברית. המודל, שזמין בצורה פתוחה וחופשית לשימוש, עבר אימון נרחב על מיליארדי מילים ומאות מיליארדי טוקנים בעברית ואנגלית באמצעות מאיצי Gaudi 2 של אינטל. Dicta-LM 2.0 מהווה פריצת דרך ביכולות הבינה המלאכותית בעברית ופותח אפשרויות חדשות ומגוונות ליישומי NLP, החל מצ’אטבוטים, סיכומים, תיקון שגיאות וכלה בכלי תרגום מתקדמים. אלו רק מספר דוגמאות למחקר שיוצא משיתופי הפעולה שלנו עם האקדמיה הישראלית.״

העומק והגיוון של הבינה המלאכותית קטנים מאלו האנושיים

היכן אתה רואה את הפריצה הבאה ב-NLP ולמידה עמוקה?

וסרבלט: “הפריצה הבאה ב-AI תכלול מעבר משיטות סטטיסטיות טהורות לגישה קוגניטיבית יותר, שתקרב אותנו להבנה ולהיסק ברמה דמוית אדם.”

“אחת המגבלות של AI כיום היא ההסתמכות הכבדה שלה על ממצאים סטטיסטיים וכמויות עצומות של נתונים. בעוד שגישה זו הובילה להתקדמות משמעותית, היא עדיין נופלת בחסר בתפיסת העומק והגוון של קוגניציה אנושית. הפריצה הבאה תתאפיין במערכות AI עם יכולות להבנה עמוקה יותר של העולם, בדומה לקוגניציה אנושית, ותאפשר פיתוח בינה מלאכותית הניתנת להסבר והתאמה.

“הפריצה הזו עשויה לכלול שילוב של חשיבה סימבולית וייצוג ידע לצד למידה סטטיסטית. על ידי שילוב יכולות ידע וחשיבה מובנות במודלי AI, נוכל ליצור מערכות שלא רק מעבדות ומייצרות שפה, אלא גם מבינות את המושגים, היחסים וההשלכות הבסיסיים.”

“בתחום הלמידה העמוקה, נמשיך לראות את פיתוחם של מודלים אדירים עם עשרות ומאות טריליוני פרמטרים. מודלים אלה יאפשרו ביצוע ויצירה של משימות מורכבות, ידחפו את גבולות מה ש-AI יכול להשיג. עם זאת, תהיה גם התמקדות גוברת בפיתוח מודלי שפה קטנים ויעילים יותר שיכולים להתחרות בביצועים של העמיתים הגדולים יותר שלהם בתחומים ספציפיים כמו רפואה, משפטים וכתיבת קוד. מודלים כמו phi-3 של מיקרוסופט ו-StarCoder-2 של Hugging Face הם דוגמאות למגמה זו לקראת מודלים מיוחדים וקומפקטיים.

“ככל שאנו מתקדמים לקראת AI קוגניטיבי ומיוחד יותר, אנו יכולים לצפות לפריצות דרך בתחומים כמו הבנת שפה טבעית, היסק ויצירה. מערכות AI יהפכו טובות יותר בניהול שיחות תלויות הקשר, במתן המלצות מותאמות אישית ובסיוע במשימות מורכבות הדורשות הבנה עמוקה יותר של העולם.”

“העתיד של AI טמון בפיתוח מערכות שיכולות לחשוב ולהסיק כמו בני אדם תוך ניצול העוצמה של למידה סטטיסטית ועיבוד נתונים בקנה מידה גדול. על ידי שילוב החוזקות של שתי הגישות, נוכל ליצור AI שהוא לא רק בעל יכולות גבוהות, אלא גם ניתן להסבר, להתאמה ובהלימה לערכים אנושיים.”

שילוב של מחקר מדעי ויישומי

האם המחקר שמתבצע באינטל לאבס הוא מדעי או יישומי?

וסרבלט: “באינטל לאבס, אנו מבצעים שילוב של מחקר מדעי ויישומי, המאפשר לנו לקדם את ההבנה הבסיסית של AI ו-NLP תוך פיתוח פתרונות מעשיים. המחקר המדעי שלנו לא מתמקד רק בפתרונות מידיים, אלא גם בסוגיות ארוכות טווח כמו מידול שינויי אקלים והבנה של קשרים סיבתיים. לדוגמה, במחקר שביצעו לאחרונה רענן יחזקאל, יניב גורביץ’ ושאמי ניסימוב, פותחה שיטה לפירוש המשמעות של מנגנון תשומת הלב במודלים מתקדמים של למידת מכונה. השיטה שלנו מסוגלת לגלות קשרים סיבתיים בנתונים באופן אוטומטי, ללא צורך בדוגמאות רבות. הדגמנו את היעילות של הגישה במשימות כמו ניתוח סנטימנט ומערכות המלצה, שם היא סיפקה הסברים ברורים יותר לאופן שבו המודלים מגיעים למסקנות שלהם.

“מחקר מדעי מסוג זה עוזר לנו להעמיק את ההבנה שלנו לגבי העקרונות והמנגנונים הבסיסיים של AI ו-NLP, ומניח את היסודות לפריצות דרך וחידושים עתידיים.”

“מצד שני, המחקר היישומי שלנו מתמקד ביישומים מיידיים ומעשיים יותר, לעיתים קרובות מונע על ידי צרכי הלקוחות והשותפים שלנו. לדוגמה, החוקרים גיא בודוך, אופיר צפריר ואיגור מרגוליס  פיתחו צ’אטבוט שיכול לרוץ במחשבים אישיים באמצעות מודל Phi-2 של מיקרוסופט בפלטפורמת ה-Intel® Core™ Ultra. עבודה זו, המקודמת על ידי Hugging Face והוצגה בכנס המפתחים של מיקרוסופט Build  מחישה את המאמצים שלנו להביא יכולות AI למכשירי קצה, הופכת אותן לנגישות ויעילות יותר. “

“דוגמה נוספת למחקר היישומי שלנו היא SetFitABSA מאת רונן לפרדון, מסגרת לניתוח סנטימנט מבוסס היבטים  שפותחה בשיתוף פעולה עם Hugging Face. מסגרת זו מאפשרת ניתוח רגשות מפורט עם רק מספר מועט של דוגמאות מתויגות, ומדגימה ביצועים מיטביים במעבדי Intel CPU שעולה על מודלים מובילים גדולים יותר.

“יש לנו גם פרויקטים כמו NeuroPrompts מאת שחר רוזנמן, המיישמת למידת חיזוקים למודלי שפה גדולים עבור הנדסת הנחיות אוטומטית. מחקר זה, שהתקבל ל-EACL’24 והופיע בכתבה המובילה של IEEE Spectrum, נועד לשפר את ההנחיות הניתנות על ידי בני אדם למערכות AI גנרטיביות, ולשפר את הדיוק והרלוונטיות של התוצאות המופקות.”

באמצעות מחקר מדעי ויישומי, אנו דוחפים את גבולות ה-AI וה-NLP ומפתחים פתרונות מעשיים לשימוש בעולם האמיתי. גישה זו מאפשרת לנו להוביל את מחקר ה-AI ולהביא לערך עבור הלקוחות והשותפים שלנו”.

אתגרים בתרגום מחקר אקדמי

מהם האתגרים בתרגום מחקר אקדמי לפתרונות AI מוכנים לייצור באינטל?

וסרבלט: “אחד האתגרים העיקריים הוא גישור על פער הידע בין שלב המחקר האקדמי לשלב הפיתוח המעשי בתוך חברה. “באקדמיה, חוקרים מתמקדים לעיתים קרובות בהוכחת היתכנות או בעבודה עם נתונים מוגבלים, בעוד שסביבות ייצור דורשות פתרונות עמידים שיכולים לטפל בנתונים מהעולם האמיתי, שלעיתים קרובות הם רועשים ובלתי צפויים.

אתגר נוסף הוא המורכבות של יישום הטכנולוגיות הללו בפועל. מערכות בינה מלאכותית שפותחו במחקר עשויות להיות מתוחכמות מאוד, אך כדי להתאים ולהפעיל אותן בסביבות ייצור נדרשת מומחיות טכנית רבה. המעבר מרעיון מחקרי לפתרון מעשי בשטח הוא מאתגר, כי צריך להבין היטב את המחקר המורכב וגם את הדרישות של הסביבה שבה רוצים ליישם את הפתרון. ההבדלים בין העולם האקדמי לשטח מקשים על הפיכת המחקר לפתרון מעשי שעובד בצורה חלקה.

“מחסור בנתונים הוא גם אתגר משמעותי. מערכות בינה מלאכותית נסמכות מאוד על כמויות גדולות של נתונים איכותיים לאימון. עם זאת, בעת פריסת פתרונות אלה בייצור, עשוי להיות חוסר התאמה בין נתוני האימון לנתונים שנתקלים במערכת בעולם האמיתי. פער זה עלול לגרום לשגיאות משמעותיות בפלט ולקבלת החלטות מוטה, שעלולות להיות להן השלכות חמורות ביישומים בעולם האמיתי.”

בינה מלאכותית בטוחה

“לבסוף, אינטל מחויבת לפיתוח ושימוש אחראי בבינה מלאכותית בכל שלבי המחקר והייצור. לשם כך, הקמנו נהלי פיקוח מחמירים, השקענו במחקר ושיתופי פעולה.  בנוסף, אינטל לאבס חוקרת נושאים כמו פרטיות, אבטחה, בטיחות, שיתוף פעולה בין אדם ל-AI, מידע מטעה, קיימות, יכולת הסבר ושקיפות. אנו גם משתפים פעולה עם מוסדות אקדמיים ברחבי העולם כדי לקדם פיתוח אתי וממוקד משתמש של בינה מלאכותית.” מסביר וסרבלט.

מערך עצום של נתוני אקלים

האם תוכל לספק פרטים נוספים על מערך הנתונים ClimateSet שפותח על ידי אינטל לאבס ישראל בשיתוף עם מכון מילה קוויבק לבינה מלאכותית ואוניברסיטת מונטריאול?

וסרבלט: “בוודאי, ClimateSet הוא מערך נתונים רחב היקף של מודלים אקלימיים שפותח בשיתוף עם מכון קוויבק לבינה מלאכותית (Mila) ואוניברסיטת מונטריאול. המטרה העיקרית של מאגר נתונים זה היא לאפשר לחוקרים ולעוסקים בלמידת מכונה לחזות במהירות תרחישים חדשים של שינויי אקלים ולבנות יישומים הממוקדים באקלים. החוקר המוביל של אינטל לאבס ישראל הוא יניב גורביץ”.

“הפיתוח של ClimateSet הונע על ידי הצורך בנתונים מגוונים ואיכותיים כדי לאמן מודלי למידת מכונה למחקר ויישומים של שינויי אקלים. על ידי אספקת מאגר נתונים מקיף ומטופל היטב, אנו שואפים להאיץ את פיתוח פתרונות ה-AI שיכולים לעזור לנו להבין טוב יותר, לחזות ולהפחית את השפעות שינויי האקלים.”

“אחד המאפיינים העיקריים של ClimateSet הוא הכללתו של מגוון רחב של משתני אקלים, כמו טמפרטורה, משקעים, מפלס פני הים ועוד. משתנים אלה מסופקים ברזולוציות מרחביות וזמניות שונות, המאפשרות לחוקרים למדל שינויי אקלים בסולמות וגרנולריות שונים. המידע נלקח ממודלים אקלימיים מובילים ומערכי נתונים תצפיתיים, ומבטיח את האמינות והדיוק שלו.”

“היבט חשוב נוסף של ClimateSet הוא היכולת שלו לתמוך בהשלכה מהירה של תרחישי שינוי אקלים חדשים. על ידי ניצול מאגר נתונים זה, חוקרים ומפתחים יכולים לחקור עתידים אפשריים שונים ולהעריך את ההשפעות הפוטנציאליות של מדיניות והתערבויות אקלים שונות. זה מאפשר גישה פרואקטיבית ומושכלת יותר להפחתת והסתגלות לשינויי אקלים.”

“אנו מאמינים כי ClimateSet ישמש כמשאב בעל ערך לקהילת הלמידה העמוקה, ויעצים חוקרים ויזמים ליצור אפליקציות שיכולות לתרום למאבק בשינויי האקלים”.

עתיד טכנולוגית הבינה המלאכותית

כיצד ההתקדמות של אינטל ב-NLP ובלמידה עמוקה מעצבת את עתיד טכנולוגיית AI?

וסרבלט: “ההתקדמות של אינטל ב-NLP ובלמידה עמוקה מעצבת את עתיד טכנולוגיית ה-AI במספר דרכים מרכזיות.”

“בחזית החומרה, אינטל מפתחת מעבדים ייעודיים לבינה מלאכותית, כמו Intel Gaudi ו-NPU. מעבדים אלה מספקים ביצועים גבוהים ויעילות אנרגטית משופרת המותאמים במיוחד למשימות עיבוד שפה טבעית. על ידי הצעת פתרונות חומרה מתמחים, אינטל מאפשרת לעסקים ולחוקרים להתמודד עם עומסי NLP מורכבים יותר תוך אופטימיזציה של משאבי מחשוב.”

“בנוסף לקידום החומרה, אינטל משקיעה בפיתוח פתרונות תוכנה המותאמים לחומרת ה-AI שלה. לדוגמה,  Intel® oneAPI  הוא מודל תכנות מאוחד המאפשר למפתחים לנצל באופן מלא את הפוטנציאל של חומרת ה-AI  של אינטל במגוון ארכיטקטורות.”

“מבחינת התוכנה, אינטל מפתחת גם ספריות תוכנה פתוחות וחינמיות כמו  Intel® OpenVINO, המספקות למפתחים כלים קלים לשימוש למשימות NLP נפוצות. ספריות אלו מאפשרות למפתחים לכתוב, לבדוק ולפרוס מודלי NLP בקלות ובמהירות, ומורידות את רף הכניסה לפיתוח AI ומאיצות את אימוץ טכנולוגיות NLP.”

“יתר על כן, אינטל לאבס ישראל תורמת באופן פרואקטיבי לקהילת ה-הבינה המלאכותית על ידי פיתוח ספריות מחקר וכן מודלים יעילים בחינם. למשל fastRAG  ו-SetFit, שתי ספריות שפותחו על ידי אינטל לאבס ישראל, צברו יותר מ-1.5 מיליון הורדות בשנה האחרונה, המדגימות את הפופולריות והשימושיות שלהן בקהילת המחקר והפיתוח.”

“חוקרת אינטל לאבס ישראל שירה גוסקין תרמה גם מודלים כמו Dynamic TinyBERT , שהורד כ-500 אלף פעמים במרץ 2024 בלבד. מודלים אלה ממחישים את המחויבות של אינטל לקידום מחקר NLP ולאספקת כלים מעשיים למפתחים וחוקרים.”

“לאחרונה, אינטל לאבס ישראל פרסמה מודל חדשני בשם NeuralChat 7B, שהשיג את הדירוג הגבוה ביותר ב- Open LLM Leaderboard.  מודל שזכה להכרה נרחבת, עם מאות ביקורות ועשרות קליפים ברשת. NeuralChat  ממחיש את מובילותה של אינטל בפיתוח טכנולוגיות NLP. צוות הבינה המלאכותית הקוגניטיבית אימן מספר LLM מולטי-מודליים המבוססים על מודל ה-Gemma LLM  של גוגל ב-Gaudi  ומפרסם אותם באמצעות  Hugging Face.”

“התוצאה היא קידום המחקר בתחומי NLP ספציפיים, כמו יצירת תוכן, סיכום מסמכים וסיווג. על ידי אספקת כלים פשוטים אך עוצמתיים לקהילת המחקר והמפתחים ליישום מחקר ופיתוח מתקדמים תוך שימוש בחומרת אינטל, אינטל מאיצה את קצב החדשנות ב-AI ו-NLP.”