EE ZOOM Seminar: Can Implicit Bias Explain Generalization?

13 במאי 2020, 15:00 
zoom  

+ מספר ת.ז.  בצ'אט

Join Zoom Meeting

https://zoom.us/j/94007495169
Meeting ID: 940 0749 5169

Speaker: Assaf Dauber

M.Sc. student under the supervision of Prof. Meir Feder

 

Wednesday, May 13th, 2020 at 15:00

 

Can Implicit Bias Explain Generalization?

Abstract

The notion of implicit bias, or implicit regularization, has been suggested as a means to explain the surprising generalization ability of modern-days overparameterized learning algorithms. This notion refers to the tendency of the optimization algorithm towards a certain structured solution that often generalizes well. Recently, several papers have studied implicit regularization and were able to identify this phenomenon in various scenarios.

In this seminar, we revisit this paradigm in arguably the simplest non-trivial setup, and study the implicit bias of Stochastic Gradient Descent (SGD) in the context of Stochastic Convex Optimization. As a first step, we provide a simple construction that rules out the existence of a  distribution-independent implicit regularizer that governs the generalization ability of SGD.

We then demonstrate a learning problem that rules out a very general class of distribution-dependent implicit regularizers from explaining generalization, which includes strongly convex regularizers as well as non-degenerate norm-based regularizations. Certain aspects of our constructions point out to significant difficulties in providing a comprehensive explanation of an algorithm's generalization performance by solely arguing about its implicit regularization properties.

 

יום פתוח מקוון להיכרות עם התוכנית "מדעים להיי-טק"

26 במאי 2020, 17:00 - 18:15 
ZOOM  
יום פתוח מקוון - מדעים להיי-טק

מובילי תעשיית ההיי-טק אומרים את זה בעצמם - הדור הבא של ההיי-טקיסטים יהיה מורכב מאנשים מבריקים עם ידע מגוון לצד מומחיות במחשבים ובמערכות מידע.

בואו למפגש היכרות עם תוכנית מדעים להייטק, מסלול דו-חוגי יוקרתי המשלב גם הכשרה כאנשי היי-טק מבוקשים, המצויים בחזית עולמות המידע, הבינה המלאכותית והמחשוב וגם הכנת בוגריה להתמודדות עם טכנולוגיות חדשות שטרם הומצאו.
 

הקליקו למידע נוסף וקבלת לינק להתחברות: https://bit.ly/2LfHcuI

דברו איתנו

To prevent automated spam submissions leave this field empty.

Inception and evolution of attached and shear layer intermittent cavitation : 20.5.20

20 במאי 2020, 14:00 - 15:00 
בניין וולפסון 206  
0
Inception and evolution of attached and shear layer intermittent cavitation : 20.5.20

~~
"ZOOM" SEMINAR
Wednesday May 20th , 2020
Inception and evolution of attached and shear layer intermittent cavitation
Dr. Omri Ram
Department of Mechanical Engineering, Johns Hopkins University, Baltimore, MD, USA

 

~~~~Cavitation adversely affects the performance and efficiency of pumps, propellers, and turbines, causing erosion, significantly increased noise levels, and, in extreme cases, complete system failure. Even so, there is limited knowledge of the mechanisms underlying the inception of cavitation and how its evolution is influenced by the surrounding flow field. Experimentally probing the flow in the inception regime is an ongoing challenge due to the extremely fast growth and collapse of bubbles, as well as complex bubble-bubble and bubble-flow interactions. Accordingly, we used a combination of high-speed imaging and highly resolved flow measurements to study the inception of attached cavitation near curved smooth surfaces and shear-layer cavitation behind a back-facing step. In both cases, cavitation was instigated when free-stream nuclei approached locations where there was minimum pressure. On curved surfaces, isolated attached cavities formed intermittently, prior to quickly collapsing into microbubbles. We found that in cases characterized by high adverse pressure gradients (downstream of the pressure minimum), some of the microbubbles randomly migrated upstream and laterally inside the low momentum zone of the thickened boundary layer. Some of these microbubbles eventually cavitated, acting as a prominent source of new cavitation. This explains how attached cavitation can become relatively insensitive to the free-stream nuclei population – a phenomenon that has been well recognized but previously unexplained. In shear layers, cavitation incepts as elongated vapor strings in the core of quasi-streamwise vortices, forming intermittently between the primary spanwise vortices. Accordingly, we conducted time-resolved volumetric flow measurements to characterize the temporal evolution of the quasi-streamwise vortices and to calculate the pressure in and around them for the first time. Statistical analysis of the data showed that quasi-streamwise vortices were more likely to be stretched axially compared to the rest of the sample volume, and pressure minima are more likely to be located and last longer there. These trends become more pronounced as the Reynolds number increases, offering an explanation for why high Reynolds number flows are more susceptible to cavitate (recorded in previous studies).                                                                                                                                                                                                                                                                                                                                                                                                                      
Bio: Omri Ram is a Postdoctoral Fellow in the Laboratory for Experimental Fluid Dynamics at the Department of Mechanical Engineering at Johns Hopkins University, since 2017. He earned his BSc (2011), MSc (2013), and PhD (2017) degrees from the Department of Mechanical Engineering at Ben-Gurion University of the Negev in Beer-Sheva. His research expertise includes: attached and shear layer cavitation, how shock and blast waves interact with porous media, shock-wave reflection phenomena, pollutant dispersion in aquatic environments, and the development of experimental methods in fluid mechanics.                                                      
 

התגייסו לסיוע לסטודנטים שנקלעו לקשיים כלכליים עקב המצב

05 מאי 2020

בוגרות ובוגרים יקרים,
 
ראשית אני מקווה ששלומכם ושלום יקירכם איתן וכולם בבריאות טובה.
 
כבוגרי הפקולטה להנדסה באוניברסיטת תל אביב, רצינו לשתף אתכם במצב המיוחד שבו נמצאים חלק לא מבוטל מתלמידינו.
 
מי כמוכם יודע שלימודים באוניברסיטה בכלל ובפקולטה להנדסה בפרט, הם תובעניים מאד, הן מצד ההשקעה המנטלית והן מצד העול הפיננסי. משבר הקורונה שהתרגש ובא עלינו יצר למספר לא מבוטל של תלמידים בפקולטה מצב לא פשוט. מחד, ערוצי ההשתכרות שלהם כתלמידים נחסמו, ומאידך ההוצאות, לרבות שכר לימוד ושכר דירה, ממשיכות כרגיל. תמיכה מההורים בהרבה מקרים הפכה למסובכת שכן רבות מהמשפחות בארץ נקלעו למשבר פיננסי משמעותי.
 
לצד התמיכה שמציעה האוניברסיטה לכלל הסטודנטים אנו בהנהלת הפקולטה ובארגון בוגרי הנדסה, החלטנו להקים קרן לתמיכה בתלמידים שהמצוקה שלהם עלולה להרחיק אותם מספסל הלימודים. במסגרת פרויקט "אמץ סטודנט", אנו שואפים לאסוף תרומות מבוגרי הפקולטה ובעזרתם להעניק מלגות גישור בסך של 2,500 ש"ח למלגה, לאותם תלמידים שוועדת המלגות תמצא אותם מתאימים.
 
בפקולטה לומדים למעלה מ-4,000 תלמידים, ובהנחה שלפחות 100 מתוכם מצויים במצב כלכלי קשה במיוחד, נזדקק לגייס 250,000 ש"ח. עוד לפני שיצאנו בהכרזה רשמית על יוזמה זו, הצלחנו לגייס כ-80,000 ש"ח, ואנו מאוד מקווים שנוכל לעמוד ביעד המצופה.
 
כל תרומה תתקבל בתודה גדולה ובידיעת התורם שבצד המקבל נמצא תלמיד, שנתון במצוקה כלכלית אמיתית ותמיכה זו יכולה לשנות את נתיב חייו. התרומה תהיה מוכרת לזיכוי במס ככל תרומה אחרת לאוניברסיטת תל אביב.
 
תודה על שיתוף הפעולה ובתקווה לבריאות שלמה ולחזרה מהירה לשגרה.

 

שלכם

פרופ' יוסי רוזנוקס

דקאן הפקולטה להנדסה

 

לינק לתרומה: https://ed2020.forms-wizard.biz/users/new

 

                                                לעוד חברים שלנו >>

עמודים

אוניברסיטת תל אביב עושה כל מאמץ לכבד זכויות יוצרים. אם בבעלותך זכויות יוצרים בתכנים שנמצאים פה ו/או השימוש שנעשה בתכנים אלה לדעתך מפר זכויות
שנעשה בתכנים אלה לדעתך מפר זכויות נא לפנות בהקדם לכתובת שכאן >>