The tremendous success of the Machine Learning paradigm heavily relies on the development of powerful optimization methods, and the canonical algorithm for training learning models is SGD (Stochastic Gradient Descent). Nevertheless, the latter is quite different from Gradient Descent (GD) which is its noiseless counterpart. Concretely, SGD requires a careful choice of the learning rate, which relies on the properties of the noise as well as the quality of initialization. It further requires the use of a test set to estimate the generalization error throughout its run. In this talk, we will present a new SGD variant that obtains the same optimal rates as SGD, while using noiseless machinery as in GD. Concretely, it enables to use the same fixed learning rate as GD and does not require to employ a test/validation set. Curiously, our results rely on a novel gradient estimate that combines two recent mechanisms which are related to the notion of momentum. Finally, as much as time permits, I will discuss several applications where our method can be extended.
Short Bio
Kfir Y. Levy is an Assistant Professor in the Electrical and Computer Engineering Department at Technion – Israel Institute of Technology. Kfir’s research is focused on Machine Learning, AI, and Optimization, with a special interest in designing universal methods that apply to a wide class of learning scenarios. Kfir did his postdoc in the Institute for Machine Learning at ETH Zurich. He is a recipient of the Alon fellowship, the ETH Zurich Postdoctoral fellowship, as well as the Irwin and Joan Jacobs fellowship. He received all of his degrees from the Technion.
השתתפות בסמינר תיתן קרדיט שמיעה = עפ"י רישום שם מלא + מספר ת.ז. בדף הנוכחות שיועבר באולם במהלך הסמינר
M.Sc. student under the supervision ofDr. Jonatan Ostrometzky
Sunday, 2nd June 2024, at 15:00
Room 011, Kitot Building, Faculty of Engineering
Vapor Density field estimation using commercial microwave links and temperature
Abstract
Accurate water vapor density measurement is crucial for weather models, health risk management, industrial management, and many other applications. A support vector machine algorithm for estimating water vapor density at a reference weather station using the received signal level values measured at a commercial microwave link has already been proposed. We leverage on the preliminary potential presented, and propose enhanced machine learning models that utilize more commercial microwave links with temperature measurements inside a given area to estimate a a reference weather stations humidity measurements. We then show how this could be expanded to estimate a 3-dimensional water vapor density field with even higher accuracy by taking into consideration the elevation via the humidity-elevation profile. Specifically, we show that the accuracy achieved by the proposed approach (in a sense of the root mean square error at a given location) was almost three times better when compared with previously presented models that utilize a single commercial microwave link.
השתתפות בסמינר תיתן קרדיט שמיעה = עפ"י רישום שם מלא + מספר ת.ז. בדף הנוכחות שיועבר באולם במהלך הסמינר
חוקרים מאוניברסיטת תל אביב ומהמעבדה הלאומית לוס אלאמוס בארה"ב פיתחו מטא-חומר מכני חדיש, שיכול לזכור את הסדר של הפעולות שבוצעו עליו, במידה רבה כמו מחשב שעוקב אחרי רצף של פקודות. בניגוד לחומרים רגילים שמגיבים לפעולות שנעשות עליהם בצורה שאינה תלויה בסדר הפעולות, המטא-חומר החדש – שנקרא צ'אקו על שם אתר ארכיאולוגי בניו-מקסיקו – מפגין התנהגות התלויה בהיסטוריה. בכך, הוא פותח כיוונים ליישומים מלהיבים באחסון זיכרון, רובוטיקה, ואפילו חישוב מכני.
המחקר נערך בהובלת צוות החוקרים: חביבה סירוטה-כץ, דור שוחט, ד"ר קארל מריגן, פרופ' יואב לחיניופרופ' יאיר שוקף מאוניברסיטת תל אביב וד"ר קריסטיאנו ניסולי ממעבדת לוס אלאמוס בארה"ב. המחקר פורסם בכתב העת המדעי Nature Communications
בסרטון: ניתן לראות את המחקר בפעולה
מטא-חומר הוא מבנה מתוכנן המורכב מאבני בניין שהן הרבה יותר גדולות מאטומים או מולקולות. התכונות הפיזיקליות של מטא-חומרים נקבעות במידה רבה מהסידור של אבני הבניין האלו במרחב. המחקר הנוכחי עוסק במטא-חומר מכני המורכב ממערך של קורות גמישות, שיכולות להתכופף בקלות תחת לחץ. כדי לקבל תכונות ייחודיות, החוקרים בנו מטא-חומר עם תיסכול פנימי מובנה - כלומר בצורה בה הסידור הגיאומטרי של הקורות לא מאפשר לכל הקורות להגיב ללחיצה חיצונית כפי שהיו רוצות.
"החומר הזה הוא כמו מכשיר מכני לאחסון זיכרון, שיכול לזכור את רצף הקלטים שלו", מסביר דור שוחט, דוקטורנט באוניברסיטת תל אביב שהשתתף במחקר. "לכל אחת מאבני הבניין המכניות שלו יש שני מצבים אפשריים, ממש כמו ביט בודד של זיכרון."
הסוד מאחורי יכולות הזיכרון של צ'אקו טמון בתכנון הייחודי שלו, ששואב השראה מעיקרון התסכול הגיאומטרי המצוי במערכות מגנטיות, הידועות ביכולות שלהן לאגור מידע. בדומה לאופן שבו תסכול גיאומטרי יכול למנוע ממספר גדול של מגנטים להסתדר במצב פשוט, אבני הבניין של צ'אקו ממוקמות בצורה שמונעת מהן למצוא בקלות מצב מסודר ועם אנרגיה נמוכה. התסכול המבוקר הזה יוצר מספר עצום של מצבים שונים אך דומים אנרגטית, ותכונה זו היא שמאפשרת לחומר לזכור את רצף הפעולות שהוא חווה.
"על ידי תכנון מדויק של גיאומטריית החומר, אנחנו יכולים לשלוט על הדרך בה הוא מגיב לכוחות חיצוניים," מוסיפה חביבה סירוטה-כץ, דוקטורנטית נוספת המעורבת במחקר. "זה מאפשר לנו ליצור התנהגויות מורכבות ולא מסודרות בתוך מבנה פשוט ומסודר." היכולת של צ'אקו לזהות רצפי פעולות מבוסס על האופי הלא-אַבֶּלִי שלו: סדר הפעולות משפיע על התוצאה. לדוגמא, היפוך של שתי יחידות בתוך החומר בסדר אחד יכול להוביל למצב סופי שונה מזה שנקבל אם נהפוך את אותן יחידות בסדר הפוך. הרגישות הזו להיסטוריה אפשרה לחוקרים לקודד מידע לרצף הפעולות, ולאחר מכן לקרוא את הזיכרון הזה על ידי התבוננות במצב הסופי של החומר.
החוקרים מסכמים: המחקר מקשר בין עולמות המגנטיות והמכניקה. בגלל שלחומרים מגנטיים יש שלל התנהגויות ייחודיות שבדרך כלל לא מופיעות בחומרים מכניים, העקרונות התכנוניים מאחורי צ'אקו מציעים גישה חדשנית לקבלת חומרים מכניים עם תכונות ותגובות ראויות לציון. החוקרים מציעים שפיתוח עקרונות אלו יאפשר יצירת חומרים חכמים בעלי זיכרון ויכולות לבצע חישובים.
