{"id":1846,"date":"2011-05-31T02:27:06","date_gmt":"2011-05-31T00:27:06","guid":{"rendered":"http:\/\/yeti.albascout.ro\/blog\/?p=1846"},"modified":"2011-05-31T02:27:06","modified_gmt":"2011-05-31T00:27:06","slug":"reconstructie-scena-3d-cu-opencv","status":"publish","type":"post","link":"https:\/\/yeti.albascout.ro\/blog\/reconstructie-scena-3d-cu-opencv\/","title":{"rendered":"Reconstruc\u021bie scen\u0103 3D cu OpenCV"},"content":{"rendered":"

O idee care mie mi s-a p\u0103rut foarte tare \u0219i pe care am sus\u021binut-o p\u00e2n\u0103 cu o zi \u00eenainte de RobotX a fost folosirea unor camere video (camere de telefoane mobile, spre exemplu ;) ) pe cele trei locuri de baliz\u0103 care sunt disponibile unei echipe la Eurobot, pentru a determina permanent unde sunt obiectele pozi\u021bionate pe mas\u0103. Am mai scris despre ideea asta aici<\/a>.<\/p>\n

Ideea mi s-a p\u0103rut bun\u0103 pentru c\u0103 (1) masa este colorat\u0103 optim din punct de vedere al contrastului pentru a face computer vision pe ce iese din camere, (2) telefoane mobile ar avea suficient\u0103 putere de procesare, camere suficient de bune \u0219i un factor de form\u0103 ideal pentru ce aveam noi nevoie.<\/p>\n

De\u0219i p\u00e2n\u0103 la urm\u0103 solu\u021bia nu a putut fi folosit\u0103 cu Pufo\u0219enia, <\/em>pentru c\u0103 nu am avut vreme s\u0103 o definitiv\u0103m, ni\u0219te rezultate tot am ob\u021binut, \u0219i poate pot p\u0103rea interesante.Ideea de baz\u0103 <\/strong>e simpl\u0103: putem pune trei balize pe mas\u0103. Dou\u0103 \u00een col\u021burile de pe latura scurt\u0103 apropiat\u0103 de zona noastr\u0103 de start, \u0219i una pe jum\u0103tatea laturii opuse. St\u00e2lpii de baliz\u0103 sunt la 35 de cm \u00een\u0103l\u021bime, \u0219i baliza trebuie s\u0103 se \u00eencadreze \u00een 8 x 8 x 16cm.<\/p>\n

Ipoteza noastr\u0103 a fost c\u0103, prelu\u00e2nd imagini din cele 3 locuri, putem face cumva s\u0103 reconstruim o privire de deasupra a mesei (sau o vedere completa 2D a suprafe\u021bei de joc).<\/p>\n

Ca s\u0103 ne \u00een\u021belegem, am pornit de la ni\u0219te imagini de genul:<\/p>\n

\"\"<\/a>
Colt latura noastra, departe<\/figcaption><\/figure>\n
\"\"<\/a>
Colt latura noastra, aproape<\/figcaption><\/figure>\n
\"\"<\/a>
Latura opusa<\/figcaption><\/figure>\n

\u00cen mod evident, aveam nevoie de definirea unei func\u021bii de perspectiv\u0103, care s\u0103 transforme imaginile astea \u00een ni\u0219te vederi de deasupra. \u00cen mod la fel de evident, transformarea nu avea cum s\u0103 fie perfect\u0103, pentru c\u0103 pe m\u0103sur\u0103 ce obiectele sunt mai \u00eendep\u0103rtate, avem mai pu\u021bin\u0103 informa\u021bie despre ele.<\/p>\n

Aici intervine OpenCV care ne ajut\u0103 foarte mult. O dat\u0103, cu func\u021bia WarpPerspective<\/a>, care aplic\u0103 o transformare unei imaginii pentru a o despacheta, \u0219i apoi cu func\u021bia GetPerspectiveTransform<\/a> care preg\u0103te\u0219te transformarea plec\u00e2nd de la pozi\u021bia a patru puncte din imaginea ini\u021bial\u0103 \u0219i pozi\u021bia acelorla\u0219i patru puncte \u00een imaginea transformat\u0103.<\/p>\n

Este o bucat\u0103 de cod destul de plictisitoare \u00een care se preg\u0103tesc imaginile destina\u021bie, \u0219i se calculeaz\u0103 dimensiunea lor (pentru c\u0103, evident, transformata de perspectiv\u0103 va necesita considerabil mai mult spa\u021biu de desf\u0103\u0219urare). Partea interesant\u0103 din cod e urm\u0103toarea:<\/p>\n

# aloca matricea de transformare \r\nmmat = cv.CreateMat(3, 3, CV_32FC1)\r\n# puncte din imaginea originala\r\nc1 = ((x_p1, y_p1), (x_p2, y_p2), (x_p3, y_p3), (x_p4, y_p4))\r\n# puncte din imaginea destinatie\r\nc2 = ((x_pd1, y_pd1), (x_pd2, y_pd2), (x_pd3, y_pd3), (x_pd4, y_pd4))\r\n# creeaza matricea (functia) de transformare\r\ncv.GetPerspectiveTransform(c1, c2, mmat)\r\ncv.WarpPerspective(imagine_in, imagine_out, mmat)<\/pre>\n
Secretul este la cum se aleg punctele din c1 \u0219i din c2. Ce am f\u0103cut, profit\u00e2nd de modul \u00een care este construit\u0103 masa, am luat unul dintre p\u0103tratele ro\u0219ii (la \u00eent\u00e2mplare) de pe mas\u0103 de referin\u021b\u0103. Am luat coordonatele celor patru col\u021buri (folosind un program de editare grafic\u0103, gen GIMP) \u0219i am imaginat unde ar trebui s\u0103 fie locul lor \u00een imaginea final\u0103. Am \u00eenceput cu imaginea a treia, cea cu vederea de pe latura opus\u0103.<\/p>\n
Apoi, pentru c\u0103 obiectivul meu era suprapunerea celor trei imagini, am considerat acela\u0219i p\u0103trat de referin\u021b\u0103 v\u0103zut din cel\u0103lalte dou\u0103 unghiuri, am p\u0103strat vectorul c2 identic, \u0219i am avut grij\u0103 s\u0103 construiesc c1 \u00een a\u0219a fel \u00eenc\u00e2t s\u0103 p\u0103strez ordinea punctelor (adica col\u021bul care era p1 pentru o imagine, s\u0103 fie tot p1 \u0219i \u00een cel\u0103lalte dou\u0103 imagini, chiar dac\u0103 vederea este rotit\u0103).<\/p>\n
Rezultatele, crop-uite la tabla de 6 x 6 p\u0103trate (pentru c\u0103 \u00een realitate putem scoate \u0219i din zonele verzi), dup\u0103 transfomare, arat\u0103 cam a\u0219a:<\/p>\n
\"\"<\/a>
colt pe latura apropiata, departe<\/figcaption><\/figure>\n
\"\"<\/a>
colt latura aproape, catre baza<\/figcaption><\/figure>\n
\"\"<\/a>
latura opusa<\/figcaption><\/figure>\n
Se vede clar c\u0103 departe se vede mai aiurea, pentru c\u0103 informa\u021bia este interpolat\u0103, practic dintr-un num\u0103r mic de pixeli de infroma\u021bie din imagine, producem o imagine complet\u0103.<\/p>\n
Ok, acum s\u0103 vedem cum facem s\u0103 r\u0103m\u00e2nem numai cu pozi\u021biile concrete ale pionilor, f\u0103r\u0103 s\u0103 fim deranja\u021bi de \u00een\u0103l\u021bimea lor. Dup\u0103 mai multe \u00eencerc\u0103ri, a devenit clar c\u0103 cel mai simplu \u00een acest caz este nu s\u0103 luam spa\u021biul de culori HSV, ci s\u0103 r\u0103m\u00e2nem \u00een BGR, mai concret s\u0103 r\u0103m\u00e2nem doar cu G(reen) – s\u0103 sc\u0103p\u0103m de ro\u0219u \u0219i de albastru.<\/p>\n
Dup\u0103 ce r\u0103m\u00e2nem cu imagine single channel pe verde, putem binariza imaginea asta si sa ramanem doar cu lucrurile interesante. Codul relevant:<\/p>\n
# img sunt pe rand, imaginile (transformate) de mai sus\r\ntmp_img = cv.CreateImage(cv.GetSize(img), IPL_DEPTH_8U, 1)\r\n# scoatem componenta verde (B[G]R)\r\ncv.Split(img, None, tmp_img, None, None)\r\n# se face binarizarea cu prag fix\r\ncv.Threshold(img, img, 50, 255, CV_THRESH_BINARY)<\/pre>\n
\u0218i ob\u021binem ni\u0219te lucruri de genu:<\/p>\n
\"\"<\/a>
vedere dinspre pozitia de start<\/figcaption><\/figure>\n
\"\"<\/a>
vedere dinspre latura apropiata, coltul de "departe"<\/figcaption><\/figure>\n
\"\"<\/a>
vedere de pe latura opusa<\/figcaption><\/figure>\n
Ok, acuma evident exist\u0103 \u0219i prostii \u00eentre toate cele. \u0218i de\u0219i pragul \u0103la poate s\u0103 mai fie prelucrat, mai ales \u00eentr-un scenariu real, nu se pot exclude abera\u021biile. \u0218i aici intr\u0103 \u00een partea interesant\u0103.<\/p>\n
Ini\u021bial, am vrut s\u0103 facem un AND \u00eentre toate imaginile, \u0219i s\u0103 primim doar un rezultat. Totu\u0219i, f\u0103c\u00e2nd ni\u0219te calcule, am descoperit c\u0103 nu avem suficient\u0103 acoperire \u00eenc\u00e2t s\u0103 luam \u00een considerare DOAR zona comun\u0103 a celor 3 camere.<\/p>\n
A\u0219a c\u0103 propunerea final\u0103 a fost s\u0103 facem AND \u00eentre imagini dou\u0103 c\u00e2te dou\u0103, \u0219i apoi s\u0103 facem un sau \u00eentre rezultate, ca s\u0103 avem o singur\u0103 imagine final\u0103. Practic, ar trebui s\u0103 r\u0103m\u00e2n\u0103 orice obiect care este v\u0103zut m\u0103car de dou\u0103 camere. Din fericire, pentru imagini binare, OpenCV are doua functii, And \u0219i Or, care fac exact ce avem nevoie.<\/p>\n
# and_img este un array format din imaginile de deasupra\r\ncv.And(and_img[0], and_img[1], final_a)\r\ncv.And(and_img[1], and_img[2], final_b)\r\ncv.And(and_img[0], and_img[2], final_c)\r\n\r\ncv.Or(final_a, final_b, final)\r\ncv.Or(final_b, final_c, final)\r\ncv.Or(final_c, final_a, final)<\/pre>\n
Imaginea final<\/em> arat\u0103 cam a\u0219a:<\/p>\n
\"\"<\/a>
un soi de rezultat<\/figcaption><\/figure>\n
Care seam\u0103n\u0103 foarte foarte mult cu o oarecare realitate. Sunt sigur c\u0103, cu un pic de tweak-ing, procedura asta poate ajuta puternic la Eurobot de-acum \u00eencolo.<\/p>\n
 <\/p>\n","protected":false},"excerpt":{"rendered":"
O idee care mie mi s-a p\u0103rut foarte tare \u0219i pe care am sus\u021binut-o p\u00e2n\u0103 cu o zi \u00eenainte de RobotX a fost folosirea unor camere video (camere de telefoane mobile, spre exemplu ;) ) pe cele trei locuri de baliz\u0103 care sunt disponibile unei echipe la Eurobot, pentru a determina permanent unde sunt obiectele … Continu\u0103 s\u0103 cite\u0219ti Reconstruc\u021bie scen\u0103 3D cu OpenCV<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[564,557],"tags":[727,616,731,733,695],"class_list":["post-1846","post","type-post","status-publish","format-standard","hentry","category-roboti","category-facultate","tag-cs-pub","tag-eurobot","tag-eurobot2011","tag-opencv","tag-robot"],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/posts\/1846","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/comments?post=1846"}],"version-history":[{"count":2,"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/posts\/1846\/revisions"}],"predecessor-version":[{"id":1858,"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/posts\/1846\/revisions\/1858"}],"wp:attachment":[{"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/media?parent=1846"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/categories?post=1846"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/yeti.albascout.ro\/blog\/wp-json\/wp\/v2\/tags?post=1846"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}