ידיעון 2020/21 | אוניברסיטת תל אביב

EE Seminar: Tackling Memorization in Generative Adversarial Machines

29 באוקטובר 2018, 15:00

חדר 011, בניין כיתות-חשמל

(The talk will be given in English)

Speaker: Dr. Roi Livni
Department of Electrical-Engineering Systems, Tel Aviv University

Monday, October 29^th, 2018
15:00 - 16:00

Room 011, Kitot Bldg., Faculty of Engineering

Tackling Memorization in Generative Adversarial Machines

Abstract

Generative Adversarial Networks (GANs) is a recent algorithmic framework introduced by Goodfellow et al. '14. In a nutshell, GANs algorithms receive as input a sample of examples, drawn from some unknown distribution, and in turn generate a synthetic distribution that resembles the true underlying. For example, consider an algorithm that receives as input some tunes from a specific music genre (e.g. jazz, rock, pop) and then outputs a new, original, tune from that genre. Such algorithms are theoretically challenging to even model, and the distinctions between algorithms that genuinely generate original new examples vs. algorithms that perform naive manipulations (or even merely memorization) of the input examples are, in fact, elusive and not well defined.

We begin by studying a distribution learning model that is inspired by GANs, in which the learning algorithm has only indirect access to the training set. We then suggest the notion of differential privacy as a possible criterion for non-memorization (or originality) and we introduce the notion of DP-original learning. More specifically, we suggest that if the learning algorithm is restricted to be differentially private then it can not memorize; the intuition is that differential privacy implies that it is impossible to infer what samples the algorithm was trained with, even when given a full description of the generating distribution outputted by it. We then show how DP-originality can be obtained within our proposed distribution learning model (whenever a class is DP-original learnable).

We also present an application in the context of differentially private PAC learning: we show that for any class, learnability by a private Empirical Risk Minimizer (ERM) is equivalent to the existence of a private sanitizer for. This can be seen as a private analog of the equivalence between uniform convergence and learnability in classical PAC learning.

Joint work with Olivier Bousquet and Shay Moran.

22 אוקטובר 2018

ידיעות נוספות בנושא

אירוע הצגת פרוייקטים חצי שנתית של המחלקה למדע והנדסה של חומרים

לשנת הלימודים תעש"ח - סמסטר ב'

23 באוקטובר 2018, 14:00 - 16:00

EE Seminar: Managing information over multiple organizational scales

22 באוקטובר 2018, 15:00

חדר 011, בניין כיתות-חשמל

(The talk will be given in English)

Speaker: Dr. Ofer Feinerman
Department of Physics of Complex Systems, Weizmann Institute

Monday, October 22^nd, 2018
15:00 - 16:00

Room 011, Kitot Bldg., Faculty of Engineering

Managing information over multiple organizational scales

Abstract

A main adaptive advantage of social insects is their ability to concurrently probe multiple locations while gathering information over scales that are much larger than that of a single individual. Collecting information is, however, only the first step since information fragments must be fused to yield collective action. This information aggregation process is far from trivial and can teach us about the tensions between individual and group and how these might be resolved in an effective manner. This talk will discuss several examples for such tensions and their resolution in the context of cooperative transport by longhorn crazy ants: collectively accumulated information vs. updated individual information, large scale information required for effective action vs. small scale information available to individuals, and group level consensus from conflicting individual information. All these examples point towards information collection and aggregation schemes that utilize the advantages of large groups without compromising the valuable information gathered by each individual.

מחקר חדש ומפתיע מראה שיותר ממחצית מהאנשים שאנו מגדירים חברים - ולא רק ברשתות החברתיות, אלא גם בעולם האמיתי - הם ממש לא. ד"ר ארז שמואלי חושף ממצאים מדהימים לפיהם נדע מהי הדרך הטובה ביותר לזהות מיהו חבר אמיתי? ומה קשרי החברות אומרים עלינו?

ד״ר שמואלי, ראש המעבדה לנתוני עתק (Big Data Lab) במחלקה להנדסת תעשיה בפקולטה להנדסה באוניברסיטת תל-אביב וחוקר אורח במדיה לאב במכון הטכנולוגי של מסצ'וסטס (MIT), מראה במחקרו כי כמחצית מקשרי החברות הם חד כיווניים וכי לכיווניות של קשרי חברות יש השפעה גדולה על היכולת של אנשים להשפיע על ההתנהגות של אחרים.

המחקר נעשה בשיתוף פעולה עם ד״ר לאורה רדאלי (פוסטדוקית במעבדה של ד״ר שמואלי בעת ביצוע המחקר), עבדאללה אלמטוק (MIT) ופרופ׳ אלכס ״סנדי״ פנטלנד (MIT), והתפרסם לאחרונה בכתב העת: Plos One

חצי מקשרי החברות הם חד כיוונים

בעזרת ניתוח של 6 סקרי חברות שנערכו על סטודנטים באוניברסיטאות שונות ברחבי העולם (על פני 3 יבשות) התקבלה תמונה דומה - "כחצי מקשרי החברות הם חד כיוונים" לדברי ד"ר שמואלי. לטובת החלק השני של המחקר, נותחו נתונים מניסוי לעידוד פעולה גופנית אשר התקיים במסגרת מחקר friends and family באוניברסיטת - MIT בשנת 2010. במסגרת הניסוי הפעילות הגופנית של המשתתפים נמדדה באמצעות הטלפון - באמצעות חיישני ג׳יירוסקופ ואקסלרומטר (בדומה למד צעדים שרבים מאיתנו משתמשים היום). תוצאות הניתוח הראו כמצופה כי אנשים מושפעים יותר מאנשים אחרים עמם יש להם קשרי חברות דו כיוונית מאשר מאנשים עמם יש להם קשרי חברות חד כיוונית. "במקרה של קשרים חד כיווניים, גילינו במפתיע כי אנשים מושפעים יותר במקרה בו האחר תופס אותם כחברים מאשר במקרה שהם תופסים את האחר כחבר" מסביר ד"ר שמואלי.

חבר הוא לא חבר?

תוצאות המחקר מראות כי אנשים מצפים מהרוב המוחלט של קשרי החברות שלהם להיות הדדיים. כלומר, אנשים מצפים מרוב האנשים שהם תופסים כחברים לתפוס אותם חזרה כחברים, אך בפועל, רק בחצי מהמקרים זה אכן המצב. במילים אחרות, אנשים לא טובים כל כך בלזהות האם קשרי החברות שלהם הדדיים או לא. "את התוצאה הזו אנו מראים בעזרת סקר שערכנו על כיתת סטודנטים באוניברסיטת תל אביב בה ביקשנו מהסטודנטים לציין עד כמה הם מרגישים קרובים לכל סטודנט אחר, ואיך הם חושבים שהסטודנט האחר היה עונה לשאלה זו ביחס אליהם. למשל כל סטודנט בכיתה נשאל לדרג כמה הוא מרגיש קרוב לכל סטודנט אחר מהכיתה, וכמה הוא חושב שכל סטודנט אחר ידרג אותו (הסקאלה הייתה בין 0 ל-5 כאשר לכל אחת מהערכים בסקאלה הוצמדה תווית – לדוגמא : 0=לא מכיר ו-5=אחד מהחברים הטובים ביותר שלי" ממשיך להסביר ד"ר שמואלי

הפתרון לזיהוי חבר אמיתי

במעבדה של ד"ר שמואלי מציעים שיטה להתמודד עם מגבלה זו ע״י בחינה סיסטמתית (שימוש בלמידת מכונה) של הרשת החברתית (כפי שהיא נתפסת על ידי אנשים) ניתן לסווג ברמת דיוק גבוהה כל קשר חברות להדדי או לחד כיווני, ובמקרה שהקשר חד כיווני ניתן לקבוע את הכיוון שלו. כדי לשפוך קצת אור מאחורי יכולת זו: הקשר בין שני אנשים שיש להם הרבה חברים משותפים צפוי להיות הדדי בסבירות גבוהה, ואילו הקשר בין אדם לו יש מעט חברים ואדם לו יש הרבה חברים צפוי להיות חד כיווני מהראשון לשני.

כיצד Machine Learning יכולה לעזור בזיהוי חבר אמיתי?

למידת מכונה (Machine Learning) היא תת תחום של בינה מלאכותית העוסק בפיתוח אלגוריתמים המיועדים לאפשר למחשב ללמוד מתוך אוסף דוגמאות. באופן מפורט יותר, כל דוגמא מאופיינת על ידי אוסף מאפיינים/פיצ׳רים ומשתנה מטרה, ובתהליך הלמידה מאמנים אלגוריתם/מסווג לחזות את ערך משתנה המטרה בהינתן הפיצ׳רים. "במקרה שלנו ייצרנו מספר פיצ׳רים מרשת החברויות המדווחות ואימנו את המסווג בעזרת מספר דוגמאות שכללו גם את הפיצ׳רים וגם את סוג החברות בפועל (משתנה המטרה). לאחר מכן בחנו את המסווג המאומן על דוגמאות שהוא לא ראה קודם, ובדקנו כמה מדוייקות היו תוצאות החיזוי שלו" לפי דברי שמואלי.

בנימה אישית

"תחום המחקר שלי עוסק בשימוש בנתונים בכדי לייצר מודלים חישוביים (כמו machine learning או social network analysis) בכדי להבין טוב יותר התנהגות אנושית (בהקשרים שונים), לחזות אותה, ואפילו להיות מסוגל להשפיע עליה. הרבה מההחלטות שאנו מקבלים כבני אדם נובעים מהשפעה חברתית. השפעה/למידה חברתית היא גם אחד האלמנטים שמייחדים אותנו כבני אדם מבעלי חיים אחרים. בסדרת מאמרים שלי מהשנים האחרונות אני מנסה להבין טוב יותר את המנגנון שעומד מאחורי השפעה חברתית מתוך ההנחה שהבנה טובה יותר שלה, תאפשר לנו לנצל אותה בצורה טובה יותר למטרות שונות" כך מספר לנו ד"ר שמואלי.

ידיעות נוספות בנושא

אירוע פתיחת שנה בחסות התעשייה האווירית

בואו לבחון את עצמכם ולגלות אם קיים בכם ה CHALLENGE ממנו עשויים המהנדסים והמהנדסות שלנו...

29 באוקטובר 2018, 12:00 - 15:00

הפקולטה להנדסה אוניברסיטת תל-אביב

התעשייה האווירית, בשיתוף ארגון עמיתי התעשייה וועד הנדסה מזמינים אתכם ואתכן לקחת חלק באירוע פתיחת שנה חד פעמי שמביא את "נינג'ה ישראל" אליכם לאוניברסיטה!

אלפי מתמודדים ניסו לצלוח את האתגר מסביב לעולם, האם תצליח/י לעשות היסטוריה ולצלוח את המסלול?

מחכים לכם על המסלול עם המון הפתעות ופרסים שווים!

School of Mechanical Engineering Dr. Lea Beilkin

19 בדצמבר 2018, 14:00 - 15:00

בניין וולפסון חדר 206

School of Mechanical Engineering Dr. Lea Beilkin

School of Mechanical Engineering Seminar
Wednesday, December 19, 2018 at 14:00
Wolfson Building of Mechanical Engineering, Room 206

ACTIVE CONTROL OF WAVE PROPAGATION IN SYSTEMS.

APPLICATION TO STRUCTURAL VIBRATION, POWER GRIDS

AND MECHANICAL METAMATERIALS

Lea Beilkin

Post-doctoral researcher

Active-Adaptive Control Lab

Department of Mechanical Engineering

Massachusetts Institute of Technology

Wave propagation is central to diverse fields of engineering, and its control might be essential to enable flawless operation of existing processes, as well as for design of new ones. In this talk I will discuss the application of control theory through a dedicated fractional order frequency domain approach, to active manipulation of wave propagation processes in systems. In particular, I will present three examples. The first is vibration suppression in mechanical flexible structures, for which the approach is employed as active rigidization of the structures through their boundaries. The second is swing oscillation damping in electric power grids for flawless power transmission. Treating the power disturbances as electro-mechanical waves, the approach is utilized to suppress those waves using minimal concentrated actuation. The results also lead to a methodology of active uni-directional wave generation in the interior of general waveguides, enabling the design of active wave absorbers without any physical boundaries present. The third is the emerging area of acoustic/mechanical metamaterials, which are engineered structures supporting unconventional wave propagation phenomena. I will discuss the design of active mechanical metamaterials, in which the essential underlying mechanism is feedback control. The control system is implemented only via external actuation, i.e. by using a periodic distribution of actuators attached to the host structure (the representative example is a beam in axial vibration) and activated by a proper control logic. The embedded feedback system generates desired combinations of effective wave characteristics (constitutive parameters), but leaves the properties of the host structure unchanged when the transducers are inactive. The fractional order approach turns out to be the key element in the active metamaterial control design, as the associated model explicitly exhibits the dynamic constitutive parameters, dispersion function and impedance. The resulting metamaterial is tunable and reconfigurable in real time, as it is capable of obtaining a variety of conditions for the same operating frequency, including negative effective mass for wave propagation suppression, zero stiffness and negative mass for total wave blocking, zero mass and infinite stiffness for rigid body motion or double negative parameters for backward wave propagation.

School of Mechanical Engineering Prof. Adrian J. Lew1

15 באוקטובר 2018, 14:00 - 15:00

בניין וולפסון חדר 206

School of Mechanical Engineering Prof. Adrian J. Lew1

School of Mechanical Engineering Seminar
Monday, May 15, 2018 at 14:00
Wolfson Building of Mechanical Engineering, Room 206

HIGH-FIDELITY SIMULATION OF BRITTLE FRACTURE PROBLEMS

WITH UNIVERSAL MESHES

Prof. Adrian J. Lew1

1 Department of Mechanical Engineering, Stanford University

Durand 207, Stanford, USA

e-mail: lewa@stanford.edu

We describe our approach to simulating curvilinear brittle fractures in two-dimensions based on the use of Universal Meshes. A Universal Mesh is one that can be used to mesh a class of geometries by slightly perturbing some nodes in the mesh, and hence the name universal. In this way, as the crack evolves, the Universal Mesh is always deformed so as to exactly mesh the crack surface. The advantages of such an approach are: (a) no elements are cut by the crack, (b) new meshes are automatically obtained as the crack evolves, (c) the crack faces are exactly meshed with a conforming mesh at all times, and the quality of the surface meshing guaranteed to be good, and (d) apart from duplicating degrees of freedom when the crack grows, the connectivity of the mesh and the sparsity of the associated stiffness matrix remains unaltered. In addition to the mesh, we are now able to compute stress intensity factors with any order of convergence, which gives us unprecedented accuracy in computing the crack evolution. As a result, we observe first-order convergence of the crack path as well as the tangent to the crack path in a number of different examples. In the presentation I will introduce the notion of a Universal Mesh, illustrate the progress we have made so far with some examples, and then focus on the simulation of curvilinear fractures, and on the tools we created to compute stress intensity factors. In particular, showing examples in which the computed crack path converges to the exact crack path, regardless of the mesh. If time permits, simulation of thermally induced fracture and hydraulic fractures will be discussed.

Adrian J. Lew is an Associate Professor of Mechanical Engineering at Stanford University, and the Lee Otterson Faculty Scholar. He graduated with the degree of Nuclear Engineer from the Instituto Balseiro in Argentina and received his M.Sc. and doctoral degrees in Aeronautics from the CalTech. He has been awarded Young Investigator Award by the International Association for Computational Mechanics, the ONR Young Investigator Award, the NSF Career Award, and the Ferdinand P. Beer & Russel Johnston, Jr., Outstanding New Mechanics Educator Award from the American Society of Engineering Education. He has also received an honorable mention by the Federal Communication Commission for the creation of the Virtual Braille Keyboard. He served as the North-American co-chair of the XII Pan American Congress in Applied Mechanics, which took place in January 2012, and in the organizing committee of the first Pan American Congress on Computational Mechanics, which took place in Buenos Aires in April 2015. He has also co-founded iBrailler, which produces iBrailler Notes, an app to type Braille in an iPad.