הדוקטורנט שי אלמלם, בהנחיה משותפת של פרופ' עמנואל מרום ז"ל וד"ר רג'א ג'יריס, מבית הספר להנדסת חשמל של הפקולטה להנדסה באוניברסיטת תל אביב , פרסמו השבוע מאמר בכתב העת היוקרתי ""Optica של ה-OSA בנושא: "תיקון טשטוש הנובע מתנועה באמצעות קידוד מפתח מרחבי-זמני".
האתגר הגדול
בשנים האחרונות השימוש במצלמות נהיה חלק אינטגרלי מחיי היום-יום וניתן למצוא אותן משולבות בטלפונים ניידים, מחשבים, מערכות אבטחה וכו׳. ישנה הערכה הגורסת כי בעולם יש כיום יותר מצלמות מבני-אדם. כדי לצלם תמונה טובה, דרוש כי עוצמת אור גדולה תגיע לחיישן. כדי להגדיל את עוצמת האור ניתן להגדיל את מפתח העדשה, אך המחיר של הגדלה זו הוא הקטנה של עומק השדה, וכתוצאה מכך טשטוש של עצמים שאינם במישור המוקד (שאינם ב'פוקוס'). פתרון אפשרי אחר הוא להגביר (אלקטרונית) את האות שהגיע לחיישן, אך הגברה זו תוסיף רעש ויזואלי לתמונה. האפשרות השלישית היא להגדיל את זמן הצילום (מכונה גם זמן החשיפה), וכך יגיע יותר אור לחיישן. מאידך, בזמן חשיפה ארוך ייתכן שתתרחש תנועה, בין אם של העצמים אותם אנחנו מצלמים (תמונה 1) ובין אם של המצלמה עצמה (תמונה 2), מה שיגרום למריחה ולירידה באיכות התמונה.
תמונה 1: מריחה כתוצאה מתנועה של העצם המצולם תוך כדי החשיפה
תמונה 2: מריחה כתוצאה מתנועה של המצלמה תוך כדי החשיפה
המפתח הוא באיזון
כדי לצלם תמונה איכותית נדרש לאזן את 'משולש החשיפה' (מפתח, זמן חשיפה והגבר), ואיזון זה הינו אתגר יסודי בצילום. השימוש הרווח במצלמות בימינו מכתיב דרישות מורכבות על התכנון שלהן, כיוון שמצלמות נדרשות להשיג ביצועים מצוינים מחד, ומאידך להיות קטנות וזולות ככל שניתן. בשיטות התכנון המקובלות, דרישות אלו הן דרישות סותרות.
פיצוי על הטשטוש
כדי להשיג ביצועי צילום טובים במצלמות קטנות וזולות, ניתן לעקוף את אילוצי משולש החשיפה ע״י צילום תמונות בצורה לא קונבנציונלית, ולאחר מכן ביצוע תיקון בתהליך עיבוד תמונה מתקדם. במאמר שפורסם לאחרונה בכתב העת Optica, שיטת תכנון כזו הודגמה כדי לפצות על טשטוש כתוצאה מתנועה, ע"י קידוד מרחבי-זמני של המריחה בצבעים שונים.
במסגרת המחקר בקבוצה, פותחה שיטת תכנון למצלמה הכוללת תכנון משולב של האופטיקה ושל אלגוריתם עיבוד התמונה בתהליך יחיד, מקצה לקצה (End-to-End), ע"י שימוש בכלים של למידה עמוקה (Deep Learning). בשיטה זו, המערכת נבחנת כיחידה אחת, וכלל דרגות החופש (פיזיות- באופטיקה, ודיגיטליות- באלגוריתם העיבוד) מנוצלות בתהליך התכנון כדי להשיג את המטרה הרצויה. שיטה זו הודגמה במאמרים קודמים לפיתוח מצלמת All-in-focus וכן למצלמה שמאפשרת מדידת מרחק מתמונה בודדת (עבודה זו זכתה ב-2018 במקום הראשון בתחרות סטודנטים של ה-OSA שכותרתה הייתה “The Optical System of the Future”).
במסגרת המחקר הנוכחי, בוצע תהליך תכנון משולב של העדשה ותהליך רכישת התמונה, והן של תהליך עיבוד התמונה הגולמית, במטרה לבצע תיקון לטשטוש כתוצאה מתנועה. מטרת התכנון היא 'לשתול' בתמונה הגולמית רמזים לנתוני התנועה, מה שיאפשר לבצע בתהליך עיבוד התמונה תיקון של המריחה שנוצרה כתוצאה מהתנועה. הרמזים נשתלים ע"י שני רכיבים אופטיים: לוחית שקופה שמשולבת בעדשה רגילה, ועדשת מיקוד (פוקוס) אלקטרונית. הלוחית מכילה מבנה מיקרומטרי שמתוכנן לייצר תלות בין צבע למיקוד. עדשת המיקוד מתוזמנת כך שתבצע שינוי מיקוד הדרגתי תוך כדי הצילום, וכתוצאה מכך המריחה של עצמים נעים נצבעת בצבעים שונים לאורך התנועה (תמונות 3,4). קידוד הצבעים נותן הכוונה חזקה לאלגוריתם העיבוד על כיוון ומהירות התנועה, מה שמאפשר תיקון של המריחה ושחזור תמונה חדה. השיטה הודגמה באמצעות אבטיפוס שמבוסס על מצלמה מסחרית, ששולבו בה לוחית הפאזה ועדשת המיקוד האלקטרונית. המערכת השיגה שיפור משמועתי בביצועי הצילום יחסית לשיטות קיימות שמתבססות על עיבוד תמונה בלבד (תמונה 5), והן ביחס לשיטות אחרות שמבצעות שינוי באופטיקה בשילוב עם עיבוד מותאם.
תמונה 3: תרשים זרימה של התהליך (התמונה מתוך המאמר)
תמונה 4: הדגמה לקידוד תנועה-צבע: צילום של נורית לבנה בתנועה עם המצלמה שפותחה. הקידוד משתנה תוך כדי החשיפה, כך שהנורה הלבנה נקלטת בצבעים שונים לאורך התנועה שלה, וסדר הצבעים והמרחק ביניהם נותן אינדיקציה לכיוון ומהירות התנועה (התמונה מתוך המאמר).
תמונה 5: צילומים של תמונה שמסתובבת תוך כדי החשיפה והשוואת ביצועים: משמאל: תוצאת המצלמה שלנו. מימין: צילום במצלמה רגילה וניסיון שחזור של הטשטוש עם אלגוריתם מבוסס למידה עמוקה (התמונה מתוך המאמר).
מאחורי העדשה
כאמור, המחקר בוצע ע"י הדוקטורנט שי אלמלם, בהנחיה משותפת של פרופ' עמנואל מרום ז"ל וד"ר רג'א ג'יריס. בצער רב, פרופ' מרום נפטר במהלך העבודה, והמאמר שפורסם מוקדש לזכרו. פרופ' מרום היה ממקימי הפקולטה להנדסה, שימש כדקאן הפקולטה בשנים 1980-1983, ובתפקידו האחרון היה סגן נשיא האוניברסיטה בשנים 1992-1997. לאחר פרישתו המשיך לעסוק במחקר פעיל ולהנחות סטודנטים לתארים מתקדמים, עד יומו האחרון.
אלה שמתאהבים בבעיה הם אלה שממציאים לה פתרון
