מקרה בוחן / ראייה ממוחשבת ומחקר במה

StageEye: אב-טיפוס למעקב במה

אב-טיפוס מחקרי (R&D) לבחינת היתכנות של מעקב תאורה אוטונומי בראייה ממוחשבת. המערכת חוקרת מעקב בזמן אמת אחר אמנים על הבמה והכוונת פנסי תאורה נעים (Followspots) ואפקטים ויזואליים ללא תגי רדיו לבישים, ונבדקה בסביבות הדמיה (Visualizers) ועל גבי מתקן מעבדה ניסיוני בשיתוף נאור בונומו, מעצב תאורה ובמאי במה בעל מעל 20 שנות ניסיון בהפקות מופעים ופסטיבלים בינלאומיים.

האתגר

במות מופעים חיות מתאפיינות ברעש חזותי קיצוני: פנסי סטרוב מהבהבים, אלומות לייזר, עשן כבד ורקדנים המצטלבים ללא הרף, הגורמים למודלי מעקב רגילים לאבד את זהות האמן. בנוסף, פנסי תאורה נתלים בגשרים בזוויות סיבוב משתנות (Clamp Rotation Variance), מה שהופך כיול תלת-ממדי מסורתי לשביר ולא מעשי בהקמות מהירות.

הפתרון

הנדסנו אב-טיפוס מעקב המשלב זיהוי גוף מהיר עם אימות פנים ממוקד (Facial Re-ID) לשמירה על נעילת זהות יציבה. במקום מדידות לייזר תלת-ממדיות מורכבות, פיתחנו מנגנון כיול ישיר במרחב פיקסלים דו-ממדי (2D Pixel-to-DMX) על גבי מלבן במה מוגדר, בשילוב שידור פקודות תאורה מסונכרן ב-44Hz בפרוטוקולי sACN ו-Art-Net והזרמת וידאו NDI שקוף.

מעקב אמנים דו-שכבתי: שמירה על זהות רציפה בתוך כאוס בימתי

מערכות מעקב רגילות מאבדות את זהות האמן בקלות במהלך הופעות חיות בכל פעם שהתאורה מרצדת או שרקדנים חוצים את הבמה. StageEye חוקרת פתרון המשלב שתי שכבות זיהוי חזותיות ברשתות עצביות.

מודל YOLO מהיר מזהה את כל הגופים על הבמה, בעוד מודל Re-ID ייעודי מחלץ וקטור מאפיינים ומאמת את זהות האמן המוביל לפי דמיון קוסינוס. המערכת שומרת על רציפות מסלול התנועה גם כשרקדנים חוצים את הפריים או כשהאמן מפנה את גבו.

  • עיבוד וידאו מהיר בזמן אמת המותאם למעבדי Apple Silicon (Metal) וכרטיסי מסך של NVIDIA (CUDA).
  • נעילת זהות חכמה המונעת קפיצות תאורה בין אמנים בעת הצטלבויות ותנועות מהירות על הבמה.
  • נרמול קואורדינטות רציף המתרגם מיקומי אמן במצלמה למרחב העבודה של מתקן הבדיקה.

כיול קינמטי דו-ממדי (2D Pixel-to-DMX) ואתגר התלייה הפיזי

בהתקנות תאורה, פנסים נתלים על גבי צינורות גשר בזוויות סיבוב שונות, כך שהזזת זווית ה-Tilt ב-50 מעלות עשויה לנוע קדימה בפנס אחד או הצידה לקלעים בפנס אחר. ניסיון לבצע כיול תלת-ממדי מלא דרך מדידות לייזר התברר כמסורבל ושביר בהקמות מהירות.

StageEye בחנה גישה חלופית של כיול ישיר במרחב פיקסלים: המפעיל מסמן מלבן במה (ROI) בתמונת המצלמה, המערכת משדרת פולס הטיה ראשוני (כגון 50 מעלות) להקרנת כתם אור ראשוני, ומשם מתקדמת בצעדים בדידים של 5 מעלות ב-Pan וב-Tilt. המערכת ממפה ישירות את מיקום מרכז הכתם לפיקסל במצלמה, תוך התחשבות בעיוות האלומה ממעגל מושלם במבט ישר לאליפסה מוארכת בזוויות חדות.

בבדיקות מעבדה, מיפוי בדיד זה התגלה כיציב מתמטית אך איטי מכנית עקב זמני התייצבות המנועים (150 עד 300 מילי-שניות לכל צעד). כהשערה מחקרית פתוחה לעתיד, נבחן הרעיון של סריקה תנועתית רציפה ב-60 פריימים בשנייה עם חותמות זמן מסונכרנות לפקודות DMX לחיתוך דינמי מול גבולות הבמה.

  1. 01

    סימון ידני של מלבן הבמה (ROI) על גבי תמונת המצלמה.

  2. 02

    פולס הטיה ראשוני של 50 מעלות להקרנת כתם בדיקה על רצפת הבמה.

  3. 03

    זיהוי מרכז מסת כתם האור בתמונת המצלמה והתמודדות עם עיוות אליפטי.

  4. 04

    תנועה בצעדים בדידים של 5 מעלות ומיפוי פיקסל ישיר לערכי DMX של 16 ביט.

  5. 05

    המתנה של 150 עד 300 מילי-שניות להתייצבות מכנית של מנוע הפנס בכל צעד.

  6. 06

    בניית טבלת המרה דו-ממדית ישירה להנעת אלומת האור ללא צורך במודל תלת-ממדי.

חיבור לפרוטוקולי במה תיאטרליים ואפקטים ויזואליים

StageEye מתקשרת ישירות עם לוחות תאורה מקצועיים ושרתי וידאו באמצעות פרוטוקולים בינלאומיים של תעשיית הבמה, ללא צורך במתאמים מיוחדים או בממירי חומרה ייעודיים.

התוכנה משדרת נתוני מיקום על גבי רשת התאורה בפרוטוקולי sACN ו-Art-Net בקצב דטרמיניסטי של 44 עדכונים בשנייה. עבור קונסולות GrandMA, פקודות רשת שולטות בעוצמת התאורה, זוויות וקיו. בנוסף, המערכת מזרימה וידאו שקוף של האמן המבודד מרקע הבמה דרך פרוטוקול רשת NDI לשרתי מדיה כמו TouchDesigner להקרנת אפקטים על האמן הנע.

  • שידור רשת ישיר בפרוטוקולי sACN (ANSI E1.31) ו-Art-Net בקצב קבוע של 44Hz.
  • אינטגרציית פקודות רשת לקונסולות GrandMA3 ו-GrandMA2 לשליטה בעמעום, צבעים וקיו.
  • הזרמת וידאו NDI עם שקיפות מלאה (Alpha Channel) למיפוי הקרנות אינטראקטיביות ב-TouchDesigner.
  • תמיכה בפקודות MIDI להפעלת אפקטים אוטומטיים כשהאמן מגיע לאזורים מוגדרים בבמה.

הטכנולוגיות בפרויקט

הטכנולוגיות ששימשו בפיתוח הפרויקט.

ראייה ממוחשבת ומעקב AI

  • מודל Ultralytics YOLO לזיהוי אובייקטים
  • אימות מאפייני פנים (Facial Re-ID)
  • בידוד דמות אמן בזמן אמת
  • האצת חומרה בסביבות Apple Silicon ו-NVIDIA CUDA

תאורת במה ובקרת מופעים

  • פרוטוקול sACN / ANSI E1.31 Multicast DMX
  • פרוטוקול Art-Net (Unicast UDP)
  • אינטגרציית רשת לקונסולות GrandMA3 ו-GrandMA2
  • שילוב פקודות MIDI לקיו אוטומטי

כיול קינמטי ובקרת מנועים

  • מיפוי צעדים דו-ממדי (2D Pixel-to-DMX)
  • התמודדות עם עיוותי אלומת אור אליפטית
  • בקרת פנסים מסונכרנת פריימים ב-44Hz
  • מלבן שטח במה (ROI) ואזורי בטיחות

מדיה אינטראקטיבית והזרמת וידאו

  • הזרמת וידאו ברשת NDI שקופה באיכות 1080p
  • אינטגרציית TouchDesigner להקרנות
  • סביבות סימולציה ובדיקת ויזואלייזרים
  • בדיקות רשת וטלמטריית WebSocket
מאגר ידע הנדסיצלילה לארכיטקטורה

רוצים להבין את הארכיטקטורה מאחורי המערכת?

במאמרים הטכניים שלנו אנחנו מפרקים את מבנה הקוד, פרוטוקולי התקשורת, חישובי הזיכרון והפתרונות ההנדסיים שפותחו עבור הפרויקט.

ראייה ממוחשבת ושליטה במופעי במה20 דקות קריאה

ראייה ממוחשבת להופעות חיות: מערכת המעקב האוטונומית StageEye ושליטה בפרוטוקולי במה

צלילה הנדסית לאב-טיפוס מחקרי: מעקב דו-שכבתי מבוסס YOLO ו-Re-ID לפנים, כיול פנסים ניסיוני מפיקסלים לפקודות DMX, שידור sACN/Art-Net ב-44Hz והזרמת וידאו שקוף ב-NDI.

Computer VisionUltralytics YOLOFacial Re-ID
לקריאת המאמר המלא

שירותי פיתוח קשורים

פיתוח תוכנה בהתאמה אישיתסוכני AI ואוטומציה עסקית
לכל הפרויקטים

השלב הבא שלכם

בואו נגדיר מה נכון לבנות.

הביאו את הרעיון או את התהליך שתרצו לשפר. נתחיל מהדרישות, מהסיכונים ומהיקף העבודה הנכון.

בואו נדבר על הפרויקט שלכם