אתגר הראייה במופעי במה: סביבה אופטית עוינת בבקרת תאורה חיה
// מדוע אלגוריתמי מעקב רגילים כושלים על במות קונצרטים ומדוע תגי רדיו לבישים אינם מעשיים מבחינה תפעולית
במות קונצרטים חיות מהוות סביבה אופטית עוינת במיוחד עבור מערכות ראייה ממוחשבת. פנסי תאורה נעים בעוצמה גבוהה, הבזקי סטרובוסקופ מסנוורים, עשן וערפל במה כבד, קרני לייזר צבעוניות וצללים עמוקים יוצרים שינויי תאורה קיצוניים המעוורים מודלים אופטיים סטנדרטיים.
בנוסף, הופעות חיות מתאפיינות בדינמיות וצפיפות. כאשר רקדני ליווי חוצים את הבמה ישירות לפני הזמר הראשי, מערכות מעקב רגילות המבוססות על מרכז מסה נוטות לאבד את המטרה או לקפוץ בטעות לאדם הלא נכון, מה שמפנה את אלומות האור מהאמן המרכזי.
בעבר, הפקות ניסו לפתור זאת באמצעות חומרה לבישה: תפירת תגי רדיו (UWB) או חיישני אינפרא-אדום (IR) לבגדי האמנים. אולם, תגים לבישים סובלים מחיכוך תפעולי חמור: אמנים שוכחים לענוד אותם בעת החלפת תלבושות מהירה של 30 שניות, סוללות מתרוקנות באמצע המופע, ומשדרי מיקרופונים אלחוטיים יוצרים הפרעות תדר. פרויקט StageEye פותח כאב-טיפוס מחקרי (R&D) בשיתוף פעולה הדוק עם נאור בונומו, מעצב תאורה ובמאי במה בעל מעל 20 שנות ניסיון בהפקת מופעים ופסטיבלים בינלאומיים. המערכת חוקרת מעקב אופטי ללא תגים: שילוב מאפייני ראייה אנושיים טבעיים עם שליטה ישירה בפרוטוקולי רשת תיאטרליים, שנבדק בסביבות הדמיה וירטואליות ועל גבי מתקן בדיקה ניסיוני.
- ▪אפס חומרה לבישה על האמנים: בחינת החלפת תגי רדיו שבירים, מארזי סוללות והתאמות בתלבושות במעקב אופטי ישיר.
- ▪סנכרון תאורה בדיוק תת-פריים: שידור עדכוני מיקום פנסים בקצב דטרמיניסטי של 44Hz על גבי רשתות תקשורת במה תקניות.
- ▪עמידות מלאה ברעש אופטי: ארכיטקטורה ויזואלית דו-שכבתית המונעת "גניבת" אלומת תאורה בעת הצטלבות רקדנים, הבזקי תאורה וצללים.
מעקב אמנים דו-שכבתי: זיהוי גוף ב-YOLO ואימות זהות פנים (Re-ID)
// שמירה על נעילת זהות רציפה דרך הבזקי תאורה, עשן סמיך והצטלבויות רקדנים
כדי להשיג מעקב אמין ללא תגים לבישים, StageEye מפרידה בין איתור מרחבי מהיר לבין אימות זהות באמצעות צינור ראייה ממוחשבת דו-שלבי בעל ביצועים גבוהים.
שלב 1 מריץ מודל זיהוי אובייקטים ממוטב של Ultralytics YOLO המואץ בחומרת Apple Silicon Metal וב-NVIDIA CUDA. המודל פועל בקצב של 60 פריימים בשנייה ומפיק תיחומים הדוקים וקואורדינטות מרכז מסה עבור כל אדם הנמצא על הבמה. אולם, מכיוון ש-YOLO אינו מבדיל בין האמן הראשי לרקדני הליווי, שלב 2 מריץ מודל הטמעת מאפיינים עמוק (Re-Identification) לזיהוי תווי פנים ומבנה גוף עליון.
כאשר רקדנים חוצים זה את זה או כאשר האמן מסובב את גבו לקהל, מסנן קלמן (Kalman Filter) חוזה את מסלול התנועה הרציף בעוד מנוע ה-Re-ID משווה ללא הרף וקטורי מאפיינים בעלי 512 ממדים. אם רקדן ליווי מסתיר לרגע את האמן, הפנס שומר על מסלול התנועה הקינמטי וננעל מחדש על האמן הראשי ברגע שפרופיל הגוף שלו נחשף, מה שמונע לחלוטין מעבר שגוי של התאורה.
import numpy as np
from typing import List, Optional, Tuple
from dataclasses import dataclass
@dataclass
class TrackedPerformer:
track_id: int
centroid: Tuple[float, float]
bbox: Tuple[float, float, float, float]
reid_embedding: np.ndarray
confidence: float
is_lead_artist: bool
class DualLayerTracker:
def __init__(self, lead_artist_embedding: np.ndarray, similarity_threshold: float = 0.78):
self.lead_artist_embedding = lead_artist_embedding
self.similarity_threshold = similarity_threshold
self.active_tracks: List[TrackedPerformer] = []
def cosine_similarity(self, a: np.ndarray, b: np.ndarray) -> float:
norm_a = np.linalg.norm(a)
norm_b = np.linalg.norm(b)
if norm_a == 0 or norm_b == 0:
return 0.0
return float(np.dot(a, b) / (norm_a * norm_b))
def update_frame(self, detections: List[Tuple[float, float, float, float]],
crops: List[np.ndarray]) -> Optional[TrackedPerformer]:
"""
Correlates Tier 1 YOLO bounding boxes with Tier 2 Re-ID feature embeddings,
ensuring the moving spotlight never jumps to an intersecting dancer.
"""
best_candidate: Optional[TrackedPerformer] = None
highest_similarity = -1.0
for bbox, crop in zip(detections, crops):
# Extract 512-dimensional facial/upper-body appearance embedding
crop_embedding = self.extract_reid_features(crop)
sim = self.cosine_similarity(self.lead_artist_embedding, crop_embedding)
x1, y1, x2, y2 = bbox
centroid = ((x1 + x2) / 2.0, (y1 + y2) / 2.0)
if sim > self.similarity_threshold and sim > highest_similarity:
highest_similarity = sim
best_candidate = TrackedPerformer(
track_id=1,
centroid=centroid,
bbox=bbox,
reid_embedding=crop_embedding,
confidence=sim,
is_lead_artist=True
)
return best_candidate
def extract_reid_features(self, crop: np.ndarray) -> np.ndarray:
# In production, executes TensorRT / Metal accelerated forward pass
# returning normalized 512-dimensional feature embedding
return np.random.randn(512).astype(np.float32)טופולוגיית הקוד וצינור השליטה במופע
// הפרדה קשיחה בין רכישת תמונה, עיבוד בינה מלאכותית, החלקת תנועה ושידור פרוטוקולי תאורה
בקרת מופעים חיה אינה סובלת נפילת פריימים. אם עיבוד פריים בבינה מלאכותית חווה עיכוב רגעי של 15 מילי-שניות, פנסי התאורה הפיזיים אינם רשאים לגמגם או לעצור את תנועתם.
הארכיטקטורה של StageEye משיגה יציבות מוחלטת באמצעות הפרדת רכישת התמונות, עיבוד הראייה הממוחשבת, החלקת התנועה הקינמטית ושידור פקודות הרשת לתהליכונים עצמאיים לחלוטין המתקשרים דרך תורי זיכרון מעגליים ללא נעילות.
מנוע שידור הפרוטוקולים פועל על גבי שעון מולטימדיה ייעודי בעדיפות גבוהה, המשדר חבילות DMX מסונכרנות בקצב יציב של 44Hz ללא תלות בקצב רענון המצלמה או בעדכוני ממשק המשתמש.
- 📁 stage-tracker/# תיקיית הבסיס של מערכת StageEye לשליטה בתאורה ומעקב
- 📁 capture/# קליטת וידאו מהירה ועיבוד מקדים של פריימים
- 📄 video_source.py# ממשק מצלמות תעשייתיות בחיבור USB3 ו-GigE
- 📄 frame_buffer.py# חוצץ מעגלי ללא נעילות להעברת פריימים בזיכרון
- 📁 vision/# רשתות עצביות: זיהוי אובייקטים ב-YOLO ואימות Re-ID
- 📄 yolo_detector.py# הרצת מודל YOLO מואץ חומרה (Metal/CUDA)
- 📄 reid_embedder.py# חילוץ וקטורי מאפיינים של פנים ומבנה גוף
- 📄 kalman_filter.py# חיזוי ושערוך מסלול תנועת האמן
- 📁 kinematics/# כיול מנועים בלימוד עצמי והחלקת תנועת אלומות
- 📄 pulse_calibration.py# מיפוי פנסים אוטומטי באמצעות פולסי DMX
- 📄 motion_smoother.py# מסנן שיכוך מעריכי דו-מהירויות
- 📄 geometric_transform.py# המרת פיקסלים לקואורדינטות במה תלת-ממדיות
- 📁 protocols/# משדרי פרוטוקולי רשת תיאטרליים
- 📄 sacn_sender.py# מנוע שידור מולטיקאסט בפרוטוקול ANSI E1.31 sACN
- 📄 artnet_sender.py# משדר יוניקאסט בפרוטוקול Art-Net DMX-over-Ethernet
- 📄 gma_bridge.py# גשר פקודות Telnet ו-OSC לקונסולות GrandMA
- 📁 streaming/# הזרמת וידאו שקוף ומדיה בזמן אמת
- 📄 ndi_output.py# משדר ערוץ וידאו שקוף ב-1080p NDI עם ערוץ אלפא
- 📁 tests/# בדיקות סימולציה ואימות חבילות תקשורת
- 📄 test_sacn_packets.py# בדיקת כותרי פרוטוקול E1.31 ומערכי DMX
- 📄 test_kinematics.py# סימולציית התכנסות זוויות מנועי הפנסים
קינמטיקה ניסיונית: מיפוי פיקסלים דו-ממדי לפקודות DMX ואתגר תליית הפנסים
// החלפת מדידות לייזר תלת-ממדיות שבירות במיפוי קואורדינטות מצלמה, צעדי מנוע בדידים והתמודדות עם עיוותי אלומת אור
בהתקנות מעקב במה מסורתיות, טכנאי תאורה מבלים שעות רבות לפני כל הופעה עם מדי-טווח לייזר ידניים כדי למדוד את המיקום הפיזי המדויק (קואורדינטות תלת-ממדיות X, Y, Z וזוויות הטיה) של כל גשר תאורה ביחס לרצפת הבמה. אם גשר התאורה זז במעט או רוטט במהלך ההקמה, כיול הקואורדינטות כולו משתבש.
בפועל, פנסי תאורה נעים (כגון Robe MegaPointe) מציבים אתגר תלייה פיזי משמעותי: אנשי הבמה מהדקים את הפנסים לצינורות הגשר בזוויות סיבוב משתנות ושונות זו מזו. גם כאשר ערכי ברירת המחדל מוגדרים ל-Pan 0 ו-Tilt 0 (פנס פונה ישר למטה), הרמת ה-Tilt ב-50 מעלות תנוע ישר קדימה לעבר קדמת הבמה בפנס אחד, אך בפנס שהותקן בהיסט סיבוב של 90 מעלות האלומה תסטה הצידה אל הקלעים. ניסיון לכייל את כל הפנסים בחישובי קינמטיקה הפוכה תלת-ממדית מלאה דורש מדידות גיאומטריות מדויקות ושבירות ביותר שאינן מעשיות בהקמות מהירות.
מערכת StageEye ניגשה לאתגר זה באמצעות כיול ישיר במרחב פיקסלים דו-ממדי (2D) ללא צורך בשחזור תלת-ממדי. תחילה, המפעיל מגדיר את שטח הבמה הפעיל על ידי גרירת מלבן תוחם (ROI) על גבי תמונת המצלמה. כדי לכייל פנס, המערכת משדרת פולס הטיה ראשוני (למשל 50 מעלות) להקרנת כתם אור ראשוני על רצפת הבמה בתוך שדה הראייה. עם זיהוי מרכז הכתם, המנוע מניע את הפנס בצעדים בדידים של 5 מעלות ב-Pan וב-Tilt, מזהה היכן הכתם נוחת על גריד הפיקסלים במצלמה, ובונה טבלת המרה ישירה מפיקסל בודד לערכי DMX של 16 ביט לרוחב שטח הבמה.
לוגיקת הכיול מביאה בחשבון גם את העיוות הגיאומטרי של אלומת האור: הכתם יוצר מעגל מושלם רק בזווית ישרה לחלוטין מטה; ככל שהפנס מכוון בזוויות חדות לעבר קדמת הבמה, הכתם נמתח לאליפסה בעלת עוצמת הארה משתנה. בבדיקות מעבדה התברר כי מיפוי צעדים בדידים זה אמנם פשוט ויציב מתמטית, אך איטי מבחינה מכנית, שכן מנועי הפנסים דורשים 150 עד 300 מילי-שניות להתייצבות לאחר כל תנועה זוויתית בטרם המצלמה מסוגלת ללכוד תמונה חדה של מרכז הכתם.
כהשערה מחקרית תיאורטית להמשך, הועלה רעיון שטרם נבדק בפועל: במקום צעדים בדידים של 5 מעלות עם זמני המתנה להתייצבות, להניע את הפנס בסריקה תנועתית רציפה וחלקה על פני הבמה תוך הקלטת פריימים במצלמה ב-60 פריימים בשנייה עם חותמות זמן מסונכרנות לפקודות ה-DMX. בהשערה זו, חיתוך מסלול האלומה מול מלבן הבמה המוגדר עשוי לאפשר גזירת גבולות וכיול רציף תוך שניות ללא השהיות מכניות.
מדידות שטח ידניות באמצעות לייזר
טכנאים נדרשים לכוון קרני לייזר מגובה רב מסולמות ומנופים לחישוב קואורדינטות, מה שיוצר סיכון תעסוקתי ועיכובי הפקה.
אנטנות עיגון לתגי רדיו UWB
מחייב פריסת 6 עד 12 אנטנות היקפיות סביב הבמה, הפגיעות להחזרי גלים ושידורי מיקרופונים אלחוטיים.
כיול צעדים דו-ממדי של StageEye (אב-טיפוס)
מיפוי ישיר במרחב פיקסלים מונע חישובי תלת-ממד שבירים; בדיקות המעבדה הדגישו את זמני התייצבות המנועים בצעדים בדידים כאתגר מרכזי למיטוב.
פרוטוקולי רשת תיאטרליים: שליטת sACN (ANSI E1.31) ו-Art-Net ב-44Hz
// שידור UDP ברמת תת-פריים, ניתוב יקומי מולטיקאסט ואפס נפילות חבילות בשליטה על פנסים
פנסי תאורה מקצועיים: המיוצרים על ידי חברות מובילות דוגמת Robe, Claypaky ו-Martin: מקבלים אותות בקרה דיגיטליים על גבי כבלי רשת תקניים באמצעות פרוטוקולים תיאטרליים ייעודיים.
מערכת StageEye כוללת מנוע פרוטוקולי רשת בינארי מקורי התומך הן ב-Streaming ACN (תקן ANSI E1.31 sACN) והן ב-Art-Net. פקודות השליטה נארזות בחבילות UDP תקניות ומנתבות נתוני Pan ו-Tilt ברזולוציה גבוהה של 16 ביט ישירות ליקומי התאורה (Universes) הרלוונטיים.
כדי להבטיח תאימות מלאה לקונסולות תאורה ולמנוע תנועות מדורגות הנראות לעין, מנוע השידור פועל בקצב רענון קבוע ומדויק של 44Hz (קצב הפריימים הבינלאומי של תקן DMX512). מסנן החלקה קינמטי דו-מהירויות מרכך תאוצות פתאומיות של רקדנים ומייצר תנועת תאורה אלגנטית ללא קפיצות מכניות.
import socket
import struct
from typing import Tuple
class SacnSender:
"""
Constructs and broadcasts compliant ANSI E1.31 (sACN) UDP multicast packets
for frame-synchronized 16-bit moving light fixture control.
"""
ACN_PORT = 5568
ROOT_VECTOR = 0x00000004
FRAMING_VECTOR = 0x00000002
DMP_VECTOR = 0x02
def __init__(self, universe: int = 1):
self.universe = universe
self.sequence_number = 0
self.socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, socket.IPPROTO_UDP)
# Calculate standard sACN multicast IP for target universe (239.255.U_HI.U_LO)
self.multicast_ip = f"239.255.{universe >> 8}.{universe & 0xFF}"
def send_fixture_coordinates(self, dmx_channel_start: int, pan_norm: float, tilt_norm: float):
"""
Converts normalized (0.0 to 1.0) stage coordinates into 16-bit coarse/fine
DMX parameters and broadcasts a 512-channel sACN packet.
"""
# Convert to 16-bit integers (0 to 65535) for smooth sub-millimeter positioning
pan_16bit = int(np.clip(pan_norm, 0.0, 1.0) * 65535)
tilt_16bit = int(np.clip(tilt_norm, 0.0, 1.0) * 65535)
dmx_slots = bytearray(513) # Start code 0x00 followed by 512 channel values
# Pan Coarse & Fine
dmx_slots[dmx_channel_start] = (pan_16bit >> 8) & 0xFF
dmx_slots[dmx_channel_start + 1] = pan_16bit & 0xFF
# Tilt Coarse & Fine
dmx_slots[dmx_channel_start + 2] = (tilt_16bit >> 8) & 0xFF
dmx_slots[dmx_channel_start + 3] = tilt_16bit & 0xFF
packet = self._build_e131_packet(dmx_slots)
self.socket.sendto(packet, (self.multicast_ip, self.ACN_PORT))
self.sequence_number = (self.sequence_number + 1) % 256
def _build_e131_packet(self, dmx_data: bytearray) -> bytes:
# Preamble size (0x0010) and Post-amble size (0x0000) followed by ACN packet ID
header = bytearray(126)
struct.pack_into(">HH12s", header, 0, 0x0010, 0x0000, b"ASC-E1.17\x00\x00\x00")
# Root layer flags and vector
struct.pack_into(">HI", header, 16, 0x7000 | 638, self.ROOT_VECTOR)
# Framing layer: sequence number, universe ID
struct.pack_into(">HIBH", header, 110, 0x7000 | 600, self.FRAMING_VECTOR, self.sequence_number, self.universe)
# DMP layer: flags, vector, start code, address increment
struct.pack_into(">HBBBHH", header, 118, 0x7000 | 523, self.DMP_VECTOR, 0xa1, 0x00, 0x0001, 513)
return bytes(header) + bytes(dmx_data)אינטגרציה עם קונסולות GrandMA: הזרקת פקודות תאורה ועמעום אוטומטי
// הזרקת היסט קואורדינטות בזמן אמת לקובצי מופע ב-GrandMA3 ו-GrandMA2 דרך Telnet ו-OSC
בהפקות תיאטרון וקונצרטים מרכזיות, מעצב התאורה (Lighting Designer) ומפעיל הקונסולה שומרים על שליטה בלעדית באסתטיקה הוויזואלית של המופע: ניהול פלטת הצבעים, הקרנת גובו, סיבוב פריזמות ורצף הקיוויים הראשי באמצעות קונסולת GrandMA תקנית.
מערכת StageEye אינה מתיימרת להחליף את קונסולת התאורה, אלא פועלת כטייס-משנה חכם למעקב. באמצעות תקשורת דו-כיוונית בפרוטוקול Open Sound Control (OSC) וממשקי פקודה ישירים ב-Telnet, המערכת מזריקה היסטי מיקום בזמן אמת תוך כיבוד סדרי העדיפויות של הקונסולה.
יתרה מכך, המערכת מבצעת פעולות אוטומטיות לפי גבולות הבמה. כאשר האמן מתקדם לעבר קדמת הבמה אל תוך הקהל, המערכת מאותתת לקונסולה להעלות בעדינות את עוצמת פנסי הקהל. כאשר האמן יורד אל מאחורי הקלעים, עוצמת הפנס מועממת אוטומטית לאפס כדי למנוע הארה לא רצויה של אנשי צוות הבמה.
- ▪טייס-משנה לא הרסני לקונסולה: מזרים נתוני מיקום תוך שמירה מלאה על שליטת מעצב התאורה בצבעים, גודל אלומות וקיוויי מופע.
- ▪אזורי גבול אוטומטיים: מעמעם אוטומטית את עוצמת התאורה כאשר האמן יוצא מחוץ לאזורי המופע המוגדרים.
- ▪סנכרון קיו דו-כיווני: מקשיב לחילופי קיווים בקונסולה כדי להפעיל או לנטרל את המעקב בקטעים מוזיקליים ייעודיים בלבד.
אפקטים ויזואליים אינטראקטיביים: הזרקת וידאו שקוף ב-1080p NDI ל-TouchDesigner
// הזרמת בידוד אמן חי עם ערוץ שקיפות (Alpha Channel) למיפוי הקרנה ויזואלי דינמי
עיצוב במות מודרני משלב באופן הדוק בין תאורה ממוחשבת לבין מיפוי הקרנת וידאו אינטראקטיבי (Projection Mapping). מעצבי וידאו זקוקים יותר ויותר למסכות בידוד חיות של האמן כדי להקרין אפקטי הילה, חלקיקים זוהרים או קווי מתאר ישירות על גופו של האמן הנע על הבמה.
מערכת StageEye מנצלת את מנוע הסגמנטציה העצבי שלה כדי לבודד את האמן מרקע הבמה בזמן אמת. ערוץ הווידאו המבודד מומר לזרם NDI (Network Device Interface) בהפרדה גבוהה של 1080p ב-60 פריימים בשנייה הכולל ערוץ שקיפות (Alpha) מלא.
שרתי מדיה דוגמת TouchDesigner, Resolume Arena או disguise קולטים את זרם ה-NDI ברשת המקומית בשיהוי נמוך במיוחד של פחות מ-30 מילי-שניות. אמני וידאו מסוגלים להקרין גרפיקת חלקיקים אינטראקטיבית ישירות על גוף האמן ללא צורך במרקרים פיזיים או מסכי רקע ירוקים.
- ▪הזרמת וידאו שקוף באיכות גבוהה: שידור דמות אמן מבודדת ב-1080p 60fps עם ערוץ אלפא על גבי רשתות תקשורת רגילות.
- ▪שיהוי נמוך מ-30 מילי-שניות: פריימי הווידאו מגיעים במהירות המאפשרת מיפוי הקרנה ולייזר ללא עיכוב מורגש בעין.
- ▪תאימות מלאה לשרתי מדיה: חיבור טבעי לסביבות TouchDesigner, Resolume, Notch ו-disguise ללא כרטיסי לכידה ייעודיים.
לקחים הנדסיים למערכות ראייה ושליטה במופעים חיים
// עקרונות ארכיטקטוניים מרכזיים להטמעת ראייה ממוחשבת בסביבות מופע תובעניות
הפעלת מערכות ראייה ממוחשבת בסביבת מופעים חיה דורשת תכנון מראש לשינויים אופטיים ופיזיים קיצוניים. אלו ארבעת הכללים ההנדסיים המובילים:
- ▪לעולם אל תסתמכו על זיהוי גוף פשוט בלבד: בתאורת במה דינמית, שלבו זיהוי אובייקטים עם מודל Re-ID עמוק ומסנן קלמן למניעת החלפת זהויות.
- ▪מפו פנסי תאורה במרחב תמונה דו-ממדי לפשטות קינמטית: מיפוי פיקסלים ישירות לערכי DMX מונע מדידות תלת-ממד מורכבות, בעוד סריקה רציפה נותרת השערה מבטיחה להאצת הכיול.
- ▪שדרו ישירות בפרוטוקולי במה תיאטרליים תקניים: התחברו לפרוטוקולים בינלאומיים (sACN ANSI E1.31, Art-Net, GrandMA OSC) במקום להציע בקרים ייעודיים.
- ▪הפרידו את עיבוד התמונה משידור פקודות התאורה: הריצו קליטת תמונה, עיבוד בינה מלאכותית ושידור DMX על גבי תהליכונים עצמאיים להבטחת קצב שידור יציב של 44Hz ללא גמגום.
מטמיעים ראייה ממוחשבת בזמן אמת או שליטה בפרוטוקולי במה?
אנו מתמחים בצנרות מעקב מואצות חומרה, כיול קינמטי של גופי תאורה ושידור רשת תיאטרלי מסונכרן פריימים.