Darbības programmas "Izaugsme un nodarbinātība" 1.2.1. specifiskā atbalsta mērķa "Palielināt privātā sektora investīcijas P&A" 1.2.1.1. pasākuma "Atbalsts jaunu produktu un tehnoloģiju izstrādei kompetences centru ietvaros" projekta "Latvijas elektrisko un optisko iekārtu ražošanas nozares kompetences centrs" Nr. 1.2.1.1/16/A/002

pētījums Nr. 11

"Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai"

Pētījuma īstenotājs: Elektronikas un datorzinātņu institūts (EDI)

Pētījuma īstenošanas vieta: Elektronikas un datorzinātņu institūts.

Pētījuma īstenošanas ilgums: 01.11.2016. līdz 30.11.2018.

Pētījumu līdzfinansē: Eiropas Savienība



 04.04.2018. Pēdējo 3 mēnešu laikā projektā ”Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” (1.2.1.1/16/A/002) EDI ir intensīvi strādājis pie trim rūpnieciskā pētījuma aktivitātēm:

1)      Pētījuma par datorredzes algoritmiem un metodēm, to piemērošana industriālā robota vadīšanai un precīzai operāciju izpildei. Proti, zinātniskā komanda ir strādājusi pie eksperimentāliem testiem ar dažādām objektus saturošām kastēm, kā rezultātā modificēta kastes malu lokalizēšanas programma. Pētījuma rezultātā tika uzlabota objektu lokalizēšanas un objektus saturošās kastes noteikšanas kods, eksperimentējot ar Selective Search attēlu segmentēšanas algoritmu. Vienlaikus tika eksperimentāli testēta konteineru programmatūras (Docker) lietošana, veidoto datorredzes algoritmu apvienošanai kopējā kodā modulārā veidā.

2)      Dziļās apmācības – deep learning metodes izpētes un realizācijas, aptverot programmatūras testēšanu un uzlabošanu, kas balstīta uz mākslīgo neironu tīklu apmācīšanu precīzākai un ātrākai pudeļu orientācijas noteikšanu automatizētas robotikas risinājumos. Vienlaikus zinātniskā komanda sagatavoja programmatūru neironu tīklu apmācībai un testēšanai, pielāgojot to EDI robotikas testa platformai, kas kalpos pudeļu orientācijas noteikšanai automatizētos robotizētos risinājumos.

3)      Industriālā robota pieejamo komponenšu izpētes un integrēšanas ar datorredzes risinājumiem, ieskaitot atbilstoša rūpniecisko pētījumu maketa izveidi. Proti, zinātniskā komanda ir intensīvi strādājusi pie programmatūras pielāgošana darbam ar reālu robotu sistēmu, URSim simulācijas vides savienošana ar ROS, attiecīgi ROS vidē nepieciešamo draiveru uzstādīšana. Izveidotās UR5 pick and place aplikācijas darbības pārbaude simulācijas vidē URSim.

 

Paralēli rūpnieciskā pētījuma aktivitātēm, darbs turpinājās pie eksperimentālās izstrādes aktivitātēm. Pēdējo 3 mēnešu laikā projekta zinātniskā komanda ir uzlabojusi kastes detektēšanas algoritma implementāciju maketa datoram, Kinekt un robota koordināšu sistēmu savietošanas algoritma implementēšanu eksperimentālā maketa datoram. Kinect v2 un ZED stereo redzes komponenšu moduļa stiprināšanas risinājuma izveides.


04.01.2018. Pēdējo 3 mēnešu laikā EDI ir nofinalizējis projekta ”Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” (1.2.1.1/16/A/002) 2.nodevumu „Attēlu kopa mašīnmācīšanās metožu apmācībai”.

2.nodevumā ir aprakstītas marķētas datu kopas, kas nepieciešamas, lai veidotu uz mašīnmācīšanos balstītas attēlu apstrādes metodes industrijas procesu automatizēšanai. Šajā projekta posmā tika pētītas iespējas lietot uz mākslīgajiem neironu tīkliem balstītu objektu lokalizēšanu, kas ļautu lietot vienu un to pašu programmu dažādu objektu lokalizēšanai. EDI pētnieki izstrādāja metodi, kas no dažiem objekta attēliem automātiski uzģenerē atbilstošu apmācības datu kopu, paverot iespēju projektā izstrādātajai lokalizēšanas sistēmai tikt ātri pielāgotai darbībai ar dažādiem objektiem. Rezultātā, ar izstrādāto metodi tika iegūts 2. nodevuma rezultāts - divas apmācības attēlu kopas : a) manuāli marķētas datu kopas, kuru marķēšanu veic cilvēks un b) automātiski ģenerētas marķētas datu kopas, kuras tiek ģenerētas ar datora palīdzību.

Manuālas marķēšanas gadījumā tika iegūti marķēti dati divu veidu objektiem: bundžām un pudelēm. Tika iegūti 358 piemēri bundžu datu kopā un 330 piemēri pudeļu datu kopā. Manuālās datu marķēšanas priekšrocība ir tā, ka tā ir universāla un cilvēku var salīdzinoši ātri instruēt, kāda lieta ir jāmarķē konkrētajos attēlos. Tās trūkums - diezgan lēna, piemēram, šāda veida datu bāzes iegūšana prasīja aptuveni vienu darba dienu vienam cilvēkam.

Automātiskas marķēšanas gadījumā tika iegūti marķēti dati divu veidu objektiem: bundžām un cilindrveidīgiem objektiem. Tika iegūti 6000 piemēri gan bundžu, gan cilindrveidīgu objektu gadījumā. Automātiskās marķēšanas priekšrocība – tā ir daudz ātrāka nekā manuālā datu marķēšana. Vienas šādas datu kopas ģenerēšana tika veikta pāris stundu laikā. Tās trūkums – šī metode nav universāla. Ne visu veida uzdevumiem iespējams vienkāršotā veidā izstrādāt algoritmu, kas ģenerētu šāda veida datus.
Iegūtas datu kopas ir svarīga “deep learning” metožu izpētes un realizācijas sastāvdaļa.

Laika periodā no 12.12.-14.12.2017. projekta asistents Jānis Ārents apmeklēja konferenci „ROS – Industrial” Štutgartē, Vācijā, lai iepazītos ar jaunākajām ROS - Industrial tendencēm un pielietojumiem industriālo procesu automatizācijā ar mērķi tos  veiksmīgi integrēt projektā.

Tā kā projekta ietvaros EDI  ir atbildīgs par industriālā robota vadības programmatūras pilnveidošanas ROS vidē, industriālā robota vadīšanas virtuālajā vidē pēc datorredzes noteiktajiem objekta datiem, tad konferences „ROS – Industrial” laikā jauniegūtās  zināšanas, iepazīšanās ar paraugdemonstrējumiem un tikšanās ar vadošajiem pētniekiem un industrijas līderiem nodrošinās inovatīvāku pieeju EDI pētījumu veikšanā projektā.




Projektā tiek īstenota 1.aktivitāte "Pētījums par datorredzes datu ieguves un apstrādes metodēm un integrēšana ar industriālo robotu komponentēm". Izveidota eksperimentālā sistēma datu ieguvei ar Kinect V2 prototipu, kurā 40x40x40cm  kastē gadījuma veidā izvietoti paralēlskaldņveidīgi objekti. Izmantojot Python valodu un OpenCV bibliotēku, īstenots algoritms, kas ar Kinect sensoru iegūtā dziļuma kartē atrod kastes robežas, kā arī nosaka, vai šobrīd starp kameru un kasti nav kāds traucējošs objekts. Klasificēšanas modulis izstrādāts Python, lietojot dziļo neironu tīklu pieeju un spēj no vizuāla attēla atpazīt testa objekta jeb konkrēta paralēlskaldņveidīga objekta satveršanas malu. Darbs pie industrijas procesu izpētes, kurus būtu iespējams automatizēt, izmantojot datorredzes paņēmienus. Simulācijas vidē RobotStudio tiek veikta simulāciju veidošana, paralēlskaldņveidīgu objektu pārvietošana, izmantojot izveidoto robota piesūcekni. Saistībā ar projekta pētījumiem, tiek izstrādāts bakalaura darbs „Industriālo robotu un datorredzes risinājumu integrēšanas iespēju izpēte, rūpniecisko procesu automatizācijai”




31.05.2017. Latvijas elektrisko un optisko iekārtu ražošanas kompetences centram iesniegts pētījuma Nr.11 "Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai" 1.nodevums "Industrijas procesu norises datu savākšanas makets datu apstrādei un monitorēšanai". Nodevumā ir aprakstīts Industrijas procesu norises datu savākšanas makets datu apstrādei un monitorēšanai. Dokumentā ir apskatītas datu savākšanas metodes, kas ļauj iegūt informāciju par industrijas procesa norisi. Apskatītas datu apstrādes metodes konkrētam industrijas procesu uzdevumam, kurā haotiski sabērtā kaudzē ar objektiem tiek detektēti objekti, kuri ir paņemami ar robota manipulatoru no šīs kaudzes. Aprakstīta izstrādātā robota manipulatora vadības sistēma robota simulācijai, un tā izmantojama arī reālam robotam. Dokumenta beigās ir aprakstīta kopējā datu ieguves un apstrādes maketa shēma.

Interesanti par nodevuma sīkāku saturu var sazināties ar Institūtu (e-pasts: info@edi.lv, telefons: 67554500)





Projektā ir izpētītas attēlu iegūšanas metodes ar Kinect V2, Bumblebee Xb3 un FLIR t650 termālo kameru. Ir izveidots industriālā procesa norises makets datu savākšanai un apstrādei, kas veic datu ieguvi no Kinect V2 sensora, datu apstrādi kas veic paņemamu objektu detektēšanu no haotiski sabērtas kaudzes, datu apstrādi ar MNT, kas veic atpazīšanu aiz kura malas objekts paņemts, robota vadības simulāciju.
Projekta ietvaros izstrādāts un aizstāvēts bakalaura darbs „Industriālo robotu un datorredzes risinājumu integrēšanas iespēju izpēte, rūpniecisko procesu automatizācijai”
Projekta rezultāti prezentēti Latvijas elektrisko un optisko iekārtu ražošanas nozares kompetences centrā. Sīkāka informācija ir pieejama prezentācijā.