The tremendous success of the Machine Learning paradigm heavily relies on the development of powerful optimization methods, and the canonical algorithm for training learning models is SGD (Stochastic Gradient Descent). Nevertheless, the latter is quite different from Gradient Descent (GD) which is its noiseless counterpart. Concretely, SGD requires a careful choice of the learning rate, which relies on the properties of the noise as well as the quality of initialization. It further requires the use of a test set to estimate the generalization error throughout its run. In this talk, we will present a new SGD variant that obtains the same optimal rates as SGD, while using noiseless machinery as in GD. Concretely, it enables to use the same fixed learning rate as GD and does not require to employ a test/validation set. Curiously, our results rely on a novel gradient estimate that combines two recent mechanisms which are related to the notion of momentum. Finally, as much as time permits, I will discuss several applications where our method can be extended.
Short Bio
Kfir Y. Levy is an Assistant Professor in the Electrical and Computer Engineering Department at Technion – Israel Institute of Technology. Kfir’s research is focused on Machine Learning, AI, and Optimization, with a special interest in designing universal methods that apply to a wide class of learning scenarios. Kfir did his postdoc in the Institute for Machine Learning at ETH Zurich. He is a recipient of the Alon fellowship, the ETH Zurich Postdoctoral fellowship, as well as the Irwin and Joan Jacobs fellowship. He received all of his degrees from the Technion.
השתתפות בסמינר תיתן קרדיט שמיעה = עפ"י רישום שם מלא + מספר ת.ז. בדף הנוכחות שיועבר באולם במהלך הסמינר
M.Sc. student under the supervision ofDr. Jonatan Ostrometzky
Sunday, 2nd June 2024, at 15:00
Room 011, Kitot Building, Faculty of Engineering
Vapor Density field estimation using commercial microwave links and temperature
Abstract
Accurate water vapor density measurement is crucial for weather models, health risk management, industrial management, and many other applications. A support vector machine algorithm for estimating water vapor density at a reference weather station using the received signal level values measured at a commercial microwave link has already been proposed. We leverage on the preliminary potential presented, and propose enhanced machine learning models that utilize more commercial microwave links with temperature measurements inside a given area to estimate a a reference weather stations humidity measurements. We then show how this could be expanded to estimate a 3-dimensional water vapor density field with even higher accuracy by taking into consideration the elevation via the humidity-elevation profile. Specifically, we show that the accuracy achieved by the proposed approach (in a sense of the root mean square error at a given location) was almost three times better when compared with previously presented models that utilize a single commercial microwave link.
השתתפות בסמינר תיתן קרדיט שמיעה = עפ"י רישום שם מלא + מספר ת.ז. בדף הנוכחות שיועבר באולם במהלך הסמינר
חוקרים מאוניברסיטת תל אביב ומהמעבדה הלאומית לוס אלאמוס בארה"ב פיתחו מטא-חומר מכני חדיש, שיכול לזכור את הסדר של הפעולות שבוצעו עליו, במידה רבה כמו מחשב שעוקב אחרי רצף של פקודות. בניגוד לחומרים רגילים שמגיבים לפעולות שנעשות עליהם בצורה שאינה תלויה בסדר הפעולות, המטא-חומר החדש – שנקרא צ'אקו על שם אתר ארכיאולוגי בניו-מקסיקו – מפגין התנהגות התלויה בהיסטוריה. בכך, הוא פותח כיוונים ליישומים מלהיבים באחסון זיכרון, רובוטיקה, ואפילו חישוב מכני.
המחקר נערך בהובלת צוות החוקרים: חביבה סירוטה-כץ, דור שוחט, ד"ר קארל מריגן, פרופ' יואב לחיניופרופ' יאיר שוקף מאוניברסיטת תל אביב וד"ר קריסטיאנו ניסולי ממעבדת לוס אלאמוס בארה"ב. המחקר פורסם בכתב העת המדעי Nature Communications
בסרטון: ניתן לראות את המחקר בפעולה
מטא-חומר הוא מבנה מתוכנן המורכב מאבני בניין שהן הרבה יותר גדולות מאטומים או מולקולות. התכונות הפיזיקליות של מטא-חומרים נקבעות במידה רבה מהסידור של אבני הבניין האלו במרחב. המחקר הנוכחי עוסק במטא-חומר מכני המורכב ממערך של קורות גמישות, שיכולות להתכופף בקלות תחת לחץ. כדי לקבל תכונות ייחודיות, החוקרים בנו מטא-חומר עם תיסכול פנימי מובנה - כלומר בצורה בה הסידור הגיאומטרי של הקורות לא מאפשר לכל הקורות להגיב ללחיצה חיצונית כפי שהיו רוצות.
"החומר הזה הוא כמו מכשיר מכני לאחסון זיכרון, שיכול לזכור את רצף הקלטים שלו", מסביר דור שוחט, דוקטורנט באוניברסיטת תל אביב שהשתתף במחקר. "לכל אחת מאבני הבניין המכניות שלו יש שני מצבים אפשריים, ממש כמו ביט בודד של זיכרון."
הסוד מאחורי יכולות הזיכרון של צ'אקו טמון בתכנון הייחודי שלו, ששואב השראה מעיקרון התסכול הגיאומטרי המצוי במערכות מגנטיות, הידועות ביכולות שלהן לאגור מידע. בדומה לאופן שבו תסכול גיאומטרי יכול למנוע ממספר גדול של מגנטים להסתדר במצב פשוט, אבני הבניין של צ'אקו ממוקמות בצורה שמונעת מהן למצוא בקלות מצב מסודר ועם אנרגיה נמוכה. התסכול המבוקר הזה יוצר מספר עצום של מצבים שונים אך דומים אנרגטית, ותכונה זו היא שמאפשרת לחומר לזכור את רצף הפעולות שהוא חווה.
"על ידי תכנון מדויק של גיאומטריית החומר, אנחנו יכולים לשלוט על הדרך בה הוא מגיב לכוחות חיצוניים," מוסיפה חביבה סירוטה-כץ, דוקטורנטית נוספת המעורבת במחקר. "זה מאפשר לנו ליצור התנהגויות מורכבות ולא מסודרות בתוך מבנה פשוט ומסודר." היכולת של צ'אקו לזהות רצפי פעולות מבוסס על האופי הלא-אַבֶּלִי שלו: סדר הפעולות משפיע על התוצאה. לדוגמא, היפוך של שתי יחידות בתוך החומר בסדר אחד יכול להוביל למצב סופי שונה מזה שנקבל אם נהפוך את אותן יחידות בסדר הפוך. הרגישות הזו להיסטוריה אפשרה לחוקרים לקודד מידע לרצף הפעולות, ולאחר מכן לקרוא את הזיכרון הזה על ידי התבוננות במצב הסופי של החומר.
החוקרים מסכמים: המחקר מקשר בין עולמות המגנטיות והמכניקה. בגלל שלחומרים מגנטיים יש שלל התנהגויות ייחודיות שבדרך כלל לא מופיעות בחומרים מכניים, העקרונות התכנוניים מאחורי צ'אקו מציעים גישה חדשנית לקבלת חומרים מכניים עם תכונות ותגובות ראויות לציון. החוקרים מציעים שפיתוח עקרונות אלו יאפשר יצירת חומרים חכמים בעלי זיכרון ויכולות לבצע חישובים.
Speaker: Alon Kipnis - School of Computer Science, Reichman University
011 hall, Electrical Engineering-Kitot Building
Monday, May 27th, 2024
12:00-13:00
The minimax risk in testing uniformity under missing ball alternatives
Abstract
We study the problem of testing the goodness of fit of a sample to a uniform distribution over many categories. We consider a minimax setting in which the class of alternatives is obtained by the removal of an Lp ball of radius r around the uniform rate sequence. We provide an expression describing the asymptotic minimax risk in terms of r, p, the number of categories, and the size of the sample.
Our result settles an open question related to works on identity testing in computer science and nonparametric hypothesis testing on distributions in mathematical statistics. It allows the comparison of the many estimators previously proposed for this problem at the constant level, rather than at the rate of convergence of the risk or the scaling order of the sample complexity.
The minimax test mostly relies on collisions in the very small sample limit but behaves like the chi-squared test for moderate and large sample sizes. Empirical studies over a range of problem parameters show that our asymptotic estimate of the minimax risk is accurate in finite samples and that the asymptotic minimax test is significantly better than the chi-squared test or a test that only uses collisions.
Short Bio
Alon Kipnis is a senior lecturer at the School of Computer Science at Reichman University. He received the Ph.D. in electrical engineering from Stanford University in 2017. Between 2017-2021 he was a postdoctoral research scholar and a lecturer at the Department of Statistics at Stanford, advised by David Donoho. Dr. Kipnis' research combines mathematical statistics, information theory, signal processing, and ambitious data science.
השתתפות בסמינר תיתן קרדיט שמיעה = עפ"י רישום שם מלא + מספר ת.ז. בטופס הנוכחות שיועבר באולם במהלך הסמינר
