Notikumu māšīnredzes sensoru tehnoloģija
Vērtības piedāvājums
Notikumu mašīnredze ir jauna sensoru tehnoloģija, kas uztver tikai izmaiņas ainā, nodrošinot īpaši ātru un energoefektīvu uztveri.
Tā ir paredzēta pielietojumiem, kuros nepieciešams atšķirt kustību no fona un nodrošināt uzticamu darbību sarežģītos apstākļos, piemēram, pie liela kustības ātruma, vāja apgaismojuma vai augsta dinamiskā diapazona, kur tradicionālās kameras nespēj nodrošināt pietiekamu veiktspēju.
Notikumu mašīnredzes risinājums
Tradicionālajām kadru kamerām ir grūtības darboties reālos apstākļos, piemēram, pie straujas kustības, slikta apgaismojuma un augsta kontrasta ainām. Šie ierobežojumi izraisa kustības izplūdumu, neuztvertus notikumus, lielu datu apjomu un paaugstinātas apstrādes prasības, kas kļūst par kritisku problēmu autonomās braukšanas, robotikas un industriālās inspekcijas pielietojumos.
Izteikta kustību izplūšana ar standarta kamerām
Precīza kustību uztvere ar notikumu mašīnredzi
Mūsu risinājums ir balstīts uz Sony IMX636 nākamās paaudzes notikumu attēlveidošanas tehnoloģiju, ko bioiedvesmotā darbības principa dēļ bieži dēvē par “silīcija tīkleni”. Atšķirībā no tradicionālajām kamerām, kas noteiktos intervālos iegūst pilnus attēla kadrus, sensors asinhroni uztver tikai spilgtuma izmaiņas katrā pikselī, radot nepārtrauktu notikumu plūsmu ar mikrosekundes līmeņa laika izšķirtspēju.
Stereo notikumu un kadru platforma
Risinājums integrē divus sinhronizētus notikumu/RGB sensoru pārus stereoredzes platformā ar GigE savienojamību uzticamai liela datu apjoma pārraidei. Katrs stereo pāris apvieno Sony IMX636 notikumu sensoru ar Sony IMX265 RGB attēla sensoru, nodrošinot vienlaicīgu asinhrono notikumu datu un tradicionālo intensitātes kadru iegūšanu. Sensori ir precīzi sinhronizēti ar Precision Time Protocol (PTP) un ģeometriski kalibrēti, ļaujot realizēt precīzu multimodālu dziļuma uztveri, sensoru datu sapludināšanu un ātru ainas izpratni reālos apstākļos.
Priekšrocības:
| Parametrs | Standarta kameras | Notikumu kameras |
| Aizture | ~10–30 ms | <1 ms |
| Dinamiskais diapazons | ~60 dB | >120 dB |
| Kustību izplūšana | High | None |
| Zema apgaismojuma darbība | >10 lux | <1 lux |
| Datu plūsmas lietderība | Zema (pilni kadri) | Augsta (tikai notikumi) |
| Enerģijas patēriņš | 4-5W (patstāvīgi) | <2W (proporcionāli notikumiem) |
Tehnoloģija izstrādāta Horizon Europe Chips JU projektu ietvaros (ShapeFuture, GA Nr. 101139996), un pašlaik tiek validēta reāliem pielietojuma (TRL 4–6).
Kā risinājums strādā?
- Sinhronizēta multimodāla datu iegūšana
Notikumu un RGB stereo kameras vienlaicīgi uztver ainu, izmantojot precīzi sinhronizētus un ģeometriski saskaņotus sensorus.
- Stereo dziļuma rekonstrukcija
Notikumu un kadru dati tiek sapludināti, lai reāllaikā noteiktu dziļumu, kustību un ainas struktūru.
- Reāllaika eventu AI uztvere
Mākslīgais intelekts nodrošina uzticamu objektu noteikšanu, izsekošanu un apkārtējās vides izpratni sarežģītos apstākļos.
Galvenās iezīmes
| Parametrs | Vērtība / Apraksts |
| Saskarnes | M12 Ethernet, M8 Trigger |
| Izšķirtspēja notikumu/kadru | 1280×720/2048×1536 |
| Ātrums/Datu plūsma | <1ms/40Mev/s |
| Dinamiskais diapazons | >120dB |
| Sinhronizācija | I/O kabelis, gPTP IEEE 802.1AS |
| Platforma | x86 (Linux, Windows) |
| Enerģijas patēriņš | 2W |
Stereo kameru komplekts nodrošina maināmu bāzes attālumu un objektīvus, ļaujot pielāgot dziļuma izšķirtspēju un redzes lauku konkrētiem pielietojumam.
Sadarbība
Mēs saskatām vairākus tehnoloģijas pārneses un industrijas sadarbības ceļus atkarībā no partnera vajadzībām un pielietojuma jomas:
- Tehnoloģiju iespējams licencēt integrācijai esošajos produktos un sistēmās, nodrošinot piekļuvi algoritmiem, uztveres datu apstrādes risinājumiem un sistēmu integrācijas zinātībai.
- Esam atvērti kopīgiem pētniecības un līgumpētījumu projektiem, kas vērsti uz tehnoloģijas pielāgošanu specifiskiem pielietojumiem, veiktspējas prasībām vai aparatūras platformām. Tas ietver iegulto MI risinājumu un konkrētiem pielietojumiem paredzētu sensoru platformu kopizstrādi.
- Atsevišķos gadījumos iespējama arī intelektuālā īpašuma nodošana vai komercializācija kā daļa no plašākas stratēģiskās partnerības.