Informație

Coordonarea mână-ochi în spațiul 3D


Un simplu eveniment zilnic m-a uimit și a declanșat această întrebare. Am citit și am auzit despre coordonarea mână-ochi. Este destul de simplu când de ex. vrei să deschizi o ușă sau să joci Xbox. În acest caz, fie mâna ta este în viziunea ta, fie mâna ta va simți butoanele Xbox-ului tău.

Dar când vine vorba de a prinde o minge sau de a încerca să prindă un obiect care se încadrează, mâna noastră este complet în afara vederii noastre, deoarece urmărim îndeaproape traiectoria obiectului în mișcare. Dar între timp mâinile noastre se mișcă într-un spațiu 3D și îl aliniază perfect pe calea traiectoriei corect. Asta m-a uimit.

Dacă vă puteți vedea mâna și obiectul / bila simultan, este doar o chestiune de a muta mâna pe calea acelei mingi / obiect. Dar a avea mâinile complet vizibile, dar a prinde perfect mingea / obiectul de fiecare dată, este o piesă uimitoare din ingineria naturii.

Cum au realizat oamenii o astfel de piesă uimitoare de coordonare într-un spațiu 3D fără să vadă unde sunt situate mâinile?


Răspuns scurt
Proprioceptic receptorii oferă un mecanism de feedback de la corp la creier, spunându-i creierului ce fac membrele noastre și unde se află în ceea ce privește corpul, fără a fi nevoie de feedback vizual.

fundal
Muschii, pielea și articulațiile conțin receptori proprioceptici. ei poziția simțului și mișcarea membrelor noastre și trunchi, înregistrează forță, precum și greutate. Exemple de astfel de receptori sunt organele tendinoase ale membrelor și, eventual, fusurile musculare, care contribuie la simțurile forței și ale greutății.

Senzațiile propococeptive sunt influențate de aportul vizual, dar funcționează fără acesta. Sistemul proprioceptiv este responsabil pentru capacitatea de a vă atinge nasul cu ochii închiși și exemplele pe care le-ați dat se referă la prinderea unei mingi în timp ce nu acordați atenție vizuală poziției mâinilor.

Semnalele aferente de la acești receptori sunt combinate și procesate în creier. Împreună formează informații despre poziția și mișcarea membrelor. Aceste informații sunt mapate în raport cu o hartă centrală a corpului pentru a determina locația membrelor în spațiu. Simțurile proprioceptive, în special ale poziției și mișcării membrelor, se deteriorează odată cu vârsta și sunt asociate cu un risc crescut de căderi la vârstnici.

Referinţă
Proske și Gandevia, Phys Rev. 2012; 92:1651-97


Coordonarea mâinilor ochiului

Coordonarea ochi-mână stă la baza acțiunilor noastre zilnice și a interacțiunilor noastre cu obiectele și oamenii din jurul nostru și este esențială pentru înțelegerea modului în care creierul creează modele interne ale spațiului de acțiune și generează mișcare în interiorul acestuia. Coordonarea ochi-mână rămâne o problemă foarte complexă și evazivă, care este complicată și mai mult de reprezentarea sa distribuită în creier. De fapt, evoluția nu a limitat o astfel de funcție crucială la o singură zonă, ci a atribuit-o mai multor sisteme corticale și subcorticale distribuite, unde mecanismele de codificare pot satisface cerințe multiple și consecințele leziunilor sunt mai puțin perturbatoare. Vom discuta despre dovezi care sugerează că coordonarea ochi-mână este, într-adevăr, o funcție emergentă a operațiilor parietale interne și a interacțiunii acestora cu cortexul frontal, unde rezidă domeniile de ieșire a motorului ocular și mâinii corticale. Prin urmare, coordonarea mișcărilor ochiului și a mâinilor necesită o activare spațiotemporală adecvată a structurilor subcorticale care controlează ochii și mâna. În această rețea distribuită, transferul de informații între diferite zone corticale și cu structuri subcorticale se bazează pe modele de comunicare dispersate temporar.


Abstract

Fiabilitatea este de o importanță vitală pentru întreținerea la distanță într-o navă tokamak. Pentru a stabili un sistem de manipulare la distanță mai precis și mai sigur, o metodă de coordonare ochi-mână și o metodă de evitare a coliziunii bazată pe funcția de potențial artificial au fost propuse în această lucrare. La sfârșitul acestei lucrări, aceste metode au fost implementate într-o sarcină de întreținere a șuruburilor, care a fost efectuată în modelul nostru tokamak la scară 1/10. Rezultatele experimentului au verificat valoarea metodei de coordonare mână-ochi și a metodei de evitare a coliziunilor.


Coordonare tridimensională binoculară ochi-mână în vederea normală și cu insuficiență vizuală simulată

Cuplarea senzorimotorie la oameni sănătoși este demonstrată de acuratețea mai mare a urmăririi vizuale a mișcărilor generate intrinsec - mai degrabă decât extrinsec - ale mâinilor generate în planul fronto-paralel. Nu se știe dacă această cuplare facilitează, de asemenea, mișcările vergente ale ochilor pentru urmărirea obiectelor în profunzime sau poate depăși deficiențe de vedere binoculare simetrice sau asimetrice. Prin urmare, observatorilor umani li sa cerut să urmărească cu privirea o țintă care se mișcă orizontal sau în profunzime. Mișcarea țintei a fost fie controlată direct de mâna observatorului, fie mișcările de mână urmărite executate de observator într-un proces anterior. Deficiențele vizuale au fost simulate prin estomparea stimulilor independent în fiecare ochi. Precizia a fost mai mare pentru mișcările auto-generate în toate condițiile, demonstrând că semnalele motorii sunt utilizate de sistemul oculomotor pentru a îmbunătăți acuratețea vergenței, precum și mișcările orizontale ale ochilor. Estompa monoculară asimetrică a afectat urmărirea orizontală mai puțin decât estomparea binoculară simetrică, dar a afectat urmărirea în profunzime la fel de mult ca estomparea binoculară. A existat un nivel critic de estompare până la care mișcările de urmărire și vergență ale ochilor au menținut precizia de urmărire independent de nivelul estompării. Prin urmare, coordonarea mână-ochi poate ajuta la compensarea deficitelor funcționale asociate bolilor oculare și poate fi utilizată pentru a spori reabilitarea deficienței vizuale.

Aceasta este o previzualizare a conținutului abonamentului, acces prin intermediul instituției dvs.


Feedback versus feedforward

În sistemele de control al robotului, complexitatea controlului este redusă semnificativ prin utilizarea feedback-ului vizual pentru a „servo vizual” efectorul, conducându-l în esență până la punctul în care eroarea vizuală este redusă la zero (de exemplu, Kragic și colab. 2002). Acest lucru funcționează în robotică, deoarece feedback-ul senzorial este limitat doar de viteza fluxului electric și de timpul de procesare al computerului. Cu toate acestea, în creierul real al primatelor, viteza conducției neuronale și a timpului de procesare este de așa natură încât o mișcare rapidă a ochiului sacad ar fi terminată sau o mișcare rapidă a brațului ar fi departe de cale înainte de a fi actualizată cu precizie de un nou semnal vizual (de exemplu, Robinson 1981). Așadar, sistemul de coordonare ochi-mână trebuie fie să se bazeze complet pe acest feedback senzorial lent și să facă mișcări foarte lente (poate creierul leneșului arborelui sud-american a optat pentru această opțiune), fie trebuie să ia o altă cale: utilizarea modele ale sistemului fizic și ale lumii externe care, pe baza condițiilor senzoriale inițiale, pot funcționa cu o oarecare independență ulterioară.

Aceasta nu înseamnă că feedback-ul vizual nu este folosit pentru a ghida mișcările de atingere și apucare. Feedback-ul vizual modifică atingerea cinematicii (Connoly și Goodale 1999) chiar și fără percepție conștientă (Goodale et al. 1986 Prablanc și Martin 1992) și trebuie să ne bazăm pe un astfel de feedback atunci când ne angajăm în comportamente noi sau când întâlnim condiții neașteptate (Baddeley et al. 2003 Flanagan și colab. 2003 Johansson și colab. 2001 Rossetti și colab. 1993). Există dovezi că cortexul parietal posterior (PPC) ajută și la încorporarea feedbackului vizual în mișcările continue ale brațelor (Desmurget și colab. 1999 Pisella și colab. 2000). Chiar și mișcările bine practicate necesită feedback vizual pentru performanțe optime (Proteau și Carnahan 2001). Cu toate acestea, transformările feed-forward sunt esențiale pentru aspectele de bază ale comportamentelor comune, supraînvățate (Ariff și colab. 2002 Flanagan și colab. 2001, 2003), permițând fixări vizuale intermitente să ghideze cu precizie o secvență rapidă și continuă de mișcări coordonate ale ochiului și brațelor. Secțiunile ulterioare ale acestei revizuiri se vor ocupa de nivelul de sofisticare care este atins în aceste modele interne feed-forward.

Chiar și cu utilizarea unor astfel de modele interne avansate, structura internă a creierului este recursivă masiv. S-a afirmat corect că structurile corticale implicate în transformările visomotorii pentru mișcarea brațelor sunt cuibărite în bucle, făcându-le mai asemănătoare unui sistem interdependent decât un set de transformări discrete (de exemplu, Caminiti și colab. 1998). Cu toate acestea, dacă sperăm să înțelegem ce face acest sistem, trebuie să începem prin împărțirea transformărilor în pași conceptuali și apoi să încercăm să divinizăm modul în care acești pași ar putea fi implementați. Pentru a economisi timp, creierul implementează probabil calcule secvențiale folosind cele mai scurte căi posibile. Împreună cu aceasta, creierul primatelor pare să fie organizat în anumite unități de calcul modulare (de exemplu, Andersen și Buneo 2002 Wise și colab. 1997). Astfel, există speranța că putem identifica unele dintre transformările avansate pentru coordonarea ochi-mână.

Deoarece aspectele „tardive” ale acestor transformări - anumite transformări cinematice inverse, calcule ale dinamicii musculare, reflexe de feedback proprioceptive în buclă scurtă - sunt legate de controlul omniprezent al mișcării membrelor, mai degrabă decât de coordonarea ochi-mână în sine, accentul nostru va fi în principal fiți pe „aspectele timpurii” (Flanders și colab. 1992), încorporarea informațiilor vizuale în planul motor și modul în care aceasta compensează mișcările ochilor și ale capului.


Coordonare robustă mână-ochi

Camerele industriale sunt cuplate în sisteme robotizate pentru a spori flexibilitatea roboților. O astfel de coordonare mână-ochi necesită de obicei calibrarea camerelor pentru a calcula coordonatele tridimensionale (3D) ale pozițiilor în spațiul robotului. Această lucrare descrie o nouă abordare a coordonării mâinii-ochi care nu necesită calibrarea camerei. În schimb, propunem utilizarea diferenței stereo relative pentru a calcula adâncimea relativă dintre obiectele percepute. Incorporarea măsurii adâncimii relative în spațiul imaginii convertește problema de coordonare mână-ochi într-o transformare liniară între spațiul de imagine pseudo-3D și spațiul robotului 3D. Mai mult, matricea de transformare implicată este pătrată și poate fi ușor estimată și actualizată utilizând feedback-ul vizual. Metoda propusă este rapidă și simplă, făcând-o fezabilă pentru implementarea feedback-ului vizual în timp real. Mai mult, din moment ce nu este necesară calibrarea, metoda propusă este robustă la schimbări substanțiale în configurația sistemului mână-ochi. Se efectuează experimente pentru a verifica acuratețea și robustețea metodei propuse. Principalele contribuții ale acestei lucrări sunt: ​​(i) introducerea unui atribut stereo care măsoară adâncimea relativă, (ii) formularea unui spațiu de imagine pseudo-3D, (iii) relaționarea spațiului de imagine pseudo-3D cu spațiul robotului pentru calculul mâinii- transformarea ochilor și (iv) realizarea unui sistem robust de coordonare mână-ochi care încorporează controlul feedback-ului vizual.


Considerații

Dale Davidson / Demand Media

Dacă lucrați cu un copil, una dintre cele mai bune modalități de a-l ajuta să dezvolte abilități bune de coordonare mână-ochi este furnizarea de jucării sau obiecte, precum cupe și boluri, care să se potrivească. Enciclopedia sănătății copiilor sugerează mingi, puzzle-uri și blocuri de construcție ca alte jucării bune pentru dezvoltarea și îmbunătățirea coordonării mâinii-ochi.


Un sistem activ pentru atingerea vizuală în 3D prin fixări binoculare

Bazat pe importanța diferenței relative între obiecte pentru o coordonare precisă mână-ochi, această lucrare prezintă o abordare biologică inspirată de arhitectura neuronală corticală. Deci, informațiile motorii sunt codificate în coordonate egocentrice obținute din reprezentarea alocentrică a spațiului (în termeni de disparitate) generată din reprezentarea egocentrică a informațiilor vizuale (coordonatele imaginii). În acest fel, sunt integrate diferitele aspecte ale coordonării vizuomotorii: un sistem de viziune activă, compus din două camere vergente, un modul pentru estimarea disparității binoculare 2D bazat pe o estimare locală a diferențelor de fază efectuate printr-o bancă de filtre Gabor și un robot actuator pentru a îndeplini sarcinile corespunzătoare (atingere vizuală). Performanța abordării este evaluată prin experimente atât pe date simulate, cât și pe date reale.

1. Introducere

Un obiectiv pe termen lung al cercetării robotice este acela de a construi roboți care se comportă și chiar arată ca ființe umane. Deci, pentru a lucra cu și pentru oameni, abilitățile umane ar trebui modelate și reproduse într-un sistem robotizat. În acest fel, roboții ar trebui să-și poată finaliza sarcinile interacționând corespunzător cu mediul lor [1]. Ca și în cazul ființelor umane, acele interacțiuni în spațiu ar trebui să fie explicit, (de exemplu, arătarea, atingerea sau apucarea lucrurilor), precum și implicit (în sensul realizării unei conștientizări a Unde și ce lucrurile sunt în jurul lor).

În acest sens, informațiile vizuale au fost utilizate pe scară largă pentru a controla un sistem robot prin creșterea flexibilității și preciziei acestuia (de exemplu, [2-10]). Cu toate acestea, această abordare, cunoscută sub numele de servo-vizual, păstrează separarea proceselor de control al viziunii și al mișcării, astfel încât procesarea imaginilor pur şi simplu oferă eroare semnale cerute de schemele de control propriu-zise. De fapt, toate aceste tehnici se bazează pe module separate sau care interacționează ușor. În plus, o restricție cheie a acestei abordări este prelucrarea imaginilor de vederi naturale, adică extragerea de caracteristici robuste pentru servovizionare vizuală. Dimpotrivă, conceptul de dincolo de această lucrare este de a investiga dacă procesarea vizuală și mișcările oculare, precum și mișcările mai generale ale robotului, ar putea fi integrate la diferite niveluri pentru a îmbunătăți capacitatea de interacțiune a robotului spațiul peripersonal prin modelarea corectă a scenei observate.

Ca soluție, am profitat de conceptul de viziune activă [11, 12], deoarece este explorator și predictiv. De fapt, în acest fel, un robot poate evolua de la un statut de observator pasiv suprasolicitat de informații la un agent mai selectiv capabil să-și controleze și să-și adapteze propria percepție în funcție de sarcina de îndeplinit. Ca exemplu, Coombs și Brown [13] au demonstrat modul în care controlul dinamic al vergenței ar putea interacționa inteligent cu procesarea imaginilor pentru urmărirea țintelor în mișcare peste fundaluri aglomerate. Rețineți că mișcările de vergență reglează ochii pentru vizualizarea obiectelor la diferite adâncimi. Deci, în timp ce recuperarea adâncimii absolute nu poate fi strict necesară, diferența relativă dintre obiecte este esențială pentru sarcini precum coordonarea exactă mână-ochi, discriminarea figură-sol și / sau detectarea coliziunilor. În plus, disparitatea oferă câteva indicii pentru planificarea și controlul comportamentelor orientate spre obiectiv.

Deci, cercetarea noastră are ca scop exploatarea interacțiunii existente între controlul viziunii și al mișcării pentru a obține o cunoaștere a spațiului înconjurător atunci când atingerea unui obiect vizual este sarcina. Pentru aceasta, este necesar să proiectăm și să implementăm o schemă de reprezentare spațială care să susțină un comportament natural suficient de flexibil pentru a face față modului în care acțiunile robotului influențează lumea. Cu alte cuvinte, această lucrare prezintă o strategie biologică care conferă unui sistem robotic comportamente vizuomotorii de bază, abilități de percepție și abilități de manipulare (adică atingerea unei ținte vizuale). Prin urmare, sistemul robotizat proiectat ar putea îndeplini în mod robust sarcinile visomotorii în medii complexe, naturale, fără niciunul a priori cunoştinţe.

1.1. Biologia codificării spațiale

Din punct de vedere biologic, strategia de interacțiune adoptată aparent de toate vertebratele superioare constă în separarea recunoașterii unui obiect ( ce problemă) de la găsirea poziției sale (the Unde problemă). Deci, regiunile temporale ale cortexului cerebral sunt implicate în ce calea, în timp ce regiunile parietale încearcă să găsească Unde obiectele de interes sunt [14-16]. Sistemul parietal poate fi apoi privit ca o strategie de acțiune pentru a concentra atenția sistemului pe o anumită zonă a câmpului perceptiv. Această abordare duce la o de la acțiune la percepție schema [17-19]. Adică, acțiunea și percepția sunt legate astfel încât acțiunile pot modifica percepțiile extern și intern. Cu alte cuvinte, efectuarea unei acțiuni influențează extern percepția schimbând scena și / sau punctul de vedere (de exemplu, mișcarea ochilor servește la alegerea unei scene pentru percepție). În același timp, acest lucru poate implica o modificare internă a percepției, deoarece pot fi necesare informații diferite pentru a planifica și executa în mod corespunzător următoarea acțiune. În consecință, percepțiile și acțiunile pot fi cuplate la diferite niveluri, astfel încât combinația adecvată a acestora să ofere o cunoaștere completă și operativă a spațiului înconjurător [20, 21].

În acest context, întrebarea cheie este cum creierul atinge stabilitatea perceptivă în ciuda naturii aportului furnizat de ochi? De fapt, această întrebare a fost pusă de cercetători încă din sacadat și fixat strategia sistemului oculomotor a fost prima dată observată [23]. Relatări recente despre modul în care oamenii codifică informații despre obiecte, locuri și rute din lumea din jurul lor propun că au două tipuri de reprezentare spațială: alocentrică și egocentric [24-26] (vezi Figura 1). După cum este definit în [22], alocentrică reprezentarea este asemănătoare hărții. Este indexat la un sistem de coordonate bazat pe lume și, prin urmare, este independent de locația curentă a unei persoane și supraviețuiește pe perioade lungi de timp. Această reprezentare trebuie să fie construită din viziune în timp, dar nu se bazează pe intrarea vizuală imediată. Celălalt tip de reprezentare spațială, adică egocentric reprezentarea este temporară și se bazează pe direcțiile obiectului în raport cu poziția corpului curent în raport cu spațiul înconjurător. Acest al doilea cadru reprezentativ permite oamenilor să acționeze asupra mediului lor în scopul localizării, atingerii și / sau manipulării obiectelor.


Procesare spațială alocentrică versus egocentrică. Transformările spațiale alocentrice implică un sistem de reprezentare obiect-obiect și codifică informații despre localizarea unui obiect sau a părților sale față de alte obiecte, în timp ce transformările de perspectivă egocentrică implică un sistem de reprezentare auto-obiect.

Această diviziune egocentric-alocentrică urmează o distincție neuropsihologică bine stabilită între fluxurile de procesare vizuală dorsală și ventrală [20, 27]. De fapt, aceste două cadre de referință au funcții specifice în modelul viziune-pentru-acțiune și viziune-pentru-percepție, astfel încât reprezentările egocentrice să fie utilizate de fluxul dorsal pentru a programa și controla mișcările calificate necesare pentru a efectua acțiunea, întrucât percepția conștientă se va baza pe reprezentări alocentrice susținute de fluxul ventral [28, 29]. Cu toate acestea, apare o nouă întrebare: cum interacționează și se combină [30].

Cercetările pe această temă [22, 24, 31-36] stabilesc că procesele mentale formează o ierarhie a reprezentărilor mentale cu reprezentări maxim egocentrice în partea de jos și reprezentări maximal alocentrice în partea de sus, abstrându-se progresiv de particularitățile reprezentărilor egocentrice. Deci, informațiile vizuale trebuie inițial codificate în spațiul retinotopic, în timp ce planurile de mișcare musculară trebuie în cele din urmă codificate în reprezentări centrate pe cap și / sau centrate pe corp. Într-adevăr, este clar că, în contextul comportamentului natural, sunt implicate o serie de scheme de codificare spațială diferite care acționează în paralel (vezi Figura 2). Acesta este cazul, de exemplu, al planurilor de atingere a brațelor, care sunt codificate în coordonate centrate pe ochi [37, 38]. Cu toate acestea, se pare că o coordonare eficientă a intrării senzoriale și a ieșirii motorului implică o transformare între diferitele cadre de referință paralele pentru codificarea spațială prin cortexul parietal.


Cadrele de referință pentru sarcinile visomotorii. Mișcarea necesară pentru a apuca cana este unghiul de la braț la țintă. Acesta este unghiul de la corp la braț minus suma unghiurilor de la țintă la fovea, ochiul în cap și capul pe corp. În practică, ochiul, capul și corpul sunt adesea aliniate înainte de o astfel de mișcare, dar o astfel de aliniere nu este esențială (prin amabilitatea lui Tatler și Land [22]).
1.2. Contribuții

În această lucrare, propunem o abordare biologică care urmează arhitectura neuronală, astfel încât informațiile motorii pentru realizarea sarcinii în mână să fie codificate în coordonate egocentrice (coordonate motorii) obținute din reprezentarea alocentrică a spațiului (în termeni de disparitate) generată din reprezentarea egocentrică a informațiilor vizuale (coordonatele imaginii). În acest scop, se folosește o paradigmă de viziune activă: procesarea dependentă de comportament a datelor vizuale pentru o examinare vizuală atentă bazată pe schimbarea punctului de fixare a diferitelor ținte (foveație activă). Deci, sunt integrate diferitele aspecte ale coordonării vizuo-motorii: un sistem de viziune activă, compus din două camere vergente, un modul pentru estimarea disparității binoculare 2D și un actuator robotizat pentru îndeplinirea sarcinilor de atingere. Astfel, contribuția principală a acestei lucrări poate fi rezumată în două puncte. (i) Proiectarea și implementarea unui algoritm (PBBDE) pentru estimarea disparității care nu necesită informații precise de calibrare (în ceea ce privește orientarea relativă a camerelor). (ii) Proiectarea și implementarea unui instrument de realitate virtuală pentru a evalua performanța acestei metode și pentru a studia adaptarea comportamentului roboților în atingerea sarcinilor declanșate de percepția 3D într-un mediu nestructurat.

Aceste obiective au fost atinse realizând următoarele. (a) Proiectarea și implementarea unei arhitecturi inspirate din arhitectura neuronală corticală care vizează a mai natural interacțiunea robotului cu mediul. (b) O integrare a diferitelor aspecte ale coordonării vizuo-motorii: un sistem de viziune activă, un modul pentru disparitatea binoculară 2D și estimarea adâncimii și un dispozitiv de acționare robotizat pentru îndeplinirea sarcinilor de atingere. (c) Efectuarea robustă a sarcinilor vizuo-motorii în medii complexe, naturale, fără niciunul a priori cunoştinţe. (d) O proiectare și implementare a abilităților robotice de percepție și manipulare (adică, atingerea unei ținte vizuale) prin integrarea procesării vizuale, mișcărilor oculare și mișcărilor robotului la diferite niveluri, fără a separa procesele de control al mișcării și viziunii, ca și în servoarea vizuală. (e) Proiectarea și implementarea adâncimii vizuale a țintelor. (f) O proiectare și implementare a unui instrument de realitate virtuală care ne permite să studiem adaptarea comportamentului robotului la atingerea sarcinii din percepția 3D într-un mediu nestructurat. (g) O analiză a parametrilor care fac ca diferența să fie condiționată de acuratețe. (h) Un studiu al costului de calcul al abordării propuse pe baza dimensiunii imaginii.

În acest scop, această lucrare este organizată după cum urmează. În secțiunea 2 introducem abordarea bazată pe faze utilizată pentru procesarea stereo în forma sa generalizată pentru a calcula disparitatea 2D pentru sistemele de viziune vergente. Un instrument de realitate virtuală care implementează sarcini de atingere robotică din indicii vizuale stereo este descris în Secțiunea 3, în timp ce rezultatele experimentale, în condiții diferite, sunt prezentate în Secțiunea 4 și discutate în Secțiunea 5.

2. Procesare stereo

După cum sa menționat mai sus, disparitatea este un indiciu important pentru estimarea adâncimii, deoarece oferă o reprezentare spațială alocentrică, permițându-ne să determinăm absolut distanțe când sunt cunoscute orientările camerei.

Concentrându-se pe obținerea unui harta disparitatii, prima problemă care trebuie rezolvată este problema corespondenței. Practic, se referă la problema potrivirii corespunzător puncte de imagine într-o pereche stereo de imagini. În ciuda numărului mare de algoritmi propuși (a se vedea [39-42] pentru o prezentare generală), aceștia pot fi clasificați în două grupuri principale, așa cum sa subliniat în [40]. (i) Bazat pe zonă algoritmi de potrivire. Valorile de similaritate ale domeniului imaginii sunt utilizate pentru corespondența densă punct la punct. Prin urmare, harta de disparitate rezultată poate fi foarte densă ceea ce face din acest tip de metode un mod interesant de cuantificare și rezolvare a problemelor de vedere timpurie. (ii) Bazat pe funcții algoritmi de potrivire. Acestea privesc următorii doi pași. (A) Extragerea caracteristicilor. Funcții precum culoarea, marginile și așa mai departe sunt extrase din imagini. Localizarea acestor caracteristici este importantă, deoarece disparitățile vor fi determinate în funcție de diferențele de poziție după ce pasul următor (adică problema corespondenței) a fost rezolvată. (b) Rezolvarea problemei corespondenței. O corespondență între elementele imaginii este aleasă dintre numeroasele concepute. Diferite tipuri de cunoștințe, constrângeri și considerații de plauzibilitate sunt utilizate în această etapă, cum ar fi (1) spațiu de căutare: pentru un element din imaginea din stânga, un element de potrivire este căutat numai într-o anumită regiune a imaginii din dreapta, (2) caracteristică atribute: în cazul elementelor imaginii se pot distinge unul de celălalt, atunci se potrivesc doar cele de același tip (de exemplu, muchii, terminații de linie) și cu aceleași caracteristici (de exemplu, culoare, polaritatea contrastului), (3 ) ordonarea constrângerilor: plauzibilitatea altor meciuri se schimbă odată ce a fost stabilită o potrivire între două caracteristici. În consecință, constrângerile trebuie reorganizate pentru a extrage informații de profunzime.

Rețineți că această metodă are ca rezultat hărți de disparitate rare, deoarece obține doar disparități pentru caracteristicile extrase

Cu toate acestea, metodele de corespondență de potrivire nu pot fi adaptate în mod eficient la schimbarea informațiilor geometrice ale camerei. Din acest motiv, aproape toți algoritmii de viziune stereo propuși separă etapele de calibrare și de estimare a disparității dense. Pe de o parte, în ceea ce privește etapa de calibrare, aceasta este de obicei realizată offline prin intermediul tehnicilor bazate pe caracteristici. Rețineți că informațiile de calibrare sunt utilizate pentru rectificarea stereo, rezultând un proces de potrivire simplificat și mai rapid (de la două dimensiuni la unul). Pe de altă parte, este problematică estimarea geometriei epipolare din corespondențe zgomotoase, incluzând eventual multe valori aberante. Ca o îmbunătățire a preciziei calibrării, se folosește fie un obiect special de calibrare, fie informațiile mai multor perechi de imagini sunt combinate ca în [43, 44]. Mai mult, estimarea geometriei epipolare este de obicei stabilizată prin exploatarea restricțiilor fizice asupra configurației camerei. Astfel, de exemplu, Björkman și Eklundh [45] au prezentat un sistem de calibrare externă a unei perechi stereo prin asumarea fixării și fără rotații în jurul liniei de vedere. Dimpotrivă, Papadimitriou și Dennis [46] au propus o metodă de auto-rectificare care se concentrează doar pe îndepărtarea deplasărilor verticale. Aceștia presupun un sistem de cameră convergent în care numai rotațiile în jurul unei axe paralele cu axa verticală (pan) trebuie compensate. Aceasta reduce problema și stabilizează estimarea geometriei camerei. Cu toate acestea, după cum au afirmat Papadimitriou și Dennis [46], disparitatea verticală poate provoca erori grave în procesul de potrivire dacă imaginile stereo nu sunt corectate foarte bine. Prin urmare, trebuie utilizată o rectificare robustă pentru a obține o corespondență exactă de potrivire a imaginii, care se efectuează după etapa de calibrare. Ca exemplu, Gao și colab. [47] a propus un sistem încorporat în timp real care să combine estimarea disparității și auto-rectificarea. Ca și în [46], sistemul corectează doar deplasările verticale.

Pe de altă parte, studiile biologice au arătat că răspunsul cortexului vizual este orientat către porțiunea limitată de bandă a domeniului frecvenței. Acest fapt oferă dovezi că creierul descompune spectrele în canale perceptive care sunt benzi în frecvență spațială [48]. Deci, imaginile pot fi văzute ca funcții sinusoidale deplasate în profunzime și disparitatea poate fi extrasă prin intermediul filtrelor de frecvență. În acest context, funcțiile Gabor au fost utilizate pe scară largă datorită similitudinii lor cu câmpul receptiv al celulelor din cortexul virtual [49, 50]. De fapt, au avut un succes deosebit în multe aplicații de vizionare computerizată și procesare de imagini [51-55]. Cu toate acestea, o problemă fundamentală cu aceste metode este memoria inerent de mare și cheltuielile de calcul necesare pentru instruire și testare în domeniul Gabor supra-completat.

Ca alternativă, au fost propuse diferite filtre band-pass bazate pe proprietăți specifice funcțiilor de bază [56-62] sau în conformitate cu considerațiile teoretice și practice ale întregii transformări spațiale-frecvență [63-72]. Cu toate acestea, aceste tehnici consumă foarte mult timp și nu sunt potrivite pentru aplicații în timp real. Mai mult, cu imaginile carteziene, dacă obiectul de interes este mic, disparitatea de fond poate duce la estimări eronate. Alternativ, cu imaginile variantelor spațiale, regiunea țintă devine dominantă [73].

În consecință, în această lucrare, prezentăm un algoritm pentru disparitate estimare care nu necesită informații precise de calibrare (în ceea ce privește transformarea relativă (poziție și orientare) între cele două camere). Adică abordarea propusă nu folosește parametrii camerei externe. În consecință, camerele sunt calibrate doar la începutul experimentului pentru a obține parametrii interni ai camerei și nu se mai efectuează o procedură de calibrare, deși camerele își schimbă punctul de fixare. Pentru aceasta, se folosește o paradigmă de viziune activă: procesarea dependentă de comportament a datelor vizuale bazată pe schimbarea punctului de fixare a diferitelor ținte (foveație activă) pentru un control vizual atent. Atenția și foveația selectivă implică capacitatea de a controla gradele de libertate mecanice și optice în timpul procesului de achiziție a imaginii [74]. În astfel de sisteme, mișcările camerei aduc obiectul de interes în centrul perechii de imagini (prin efectuarea rotațiilor camerei), iar aceste mișcări de vergență generează atât disparitate orizontală, cât și verticală [75-77].

2.1. Abordare bazată pe faza de estimare a disparității binoculare (PBBDE)

Diferența de poziție a țintei în cele două imagini stereo definește a disparitate schimb. Această diferență poate fi utilizată pentru a schimba imaginea din stânga (sau din dreapta) pentru a le alinia pe amândouă în aceeași locație de coordonate.

Presupunând că o imagine este o funcție de valoare gri sinusoidală mutată în profunzime, aceeași funcție de valoare gri apare în ambele imagini ale unei perechi stereo la unghiuri de fază diferite. Deci, dacă lungimea de undă a modelului sinusoidal este cunoscută, diferența de fază corespunde cu disparitate. De fapt, acest tip de abordare poate fi utilizat cu orice funcție de valoare gri, prin filtrarea tuturor benzilor de frecvență cu excepția uneia din imagine [65, 78-85]. S-a demonstrat că metodele bazate pe faze sunt robuste la schimbările de contrast, scară și orientare [78]. Rezistența la orientare este foarte importantă în contextul estimării disparității, deoarece texturile sau caracteristicile de pe suprafețe înclinate au o orientare diferită în imaginile din stânga și din dreapta.

Pentru a obține diferența de fază corespunzătoare la un punct

, se utilizează un nucleu de filtru simetric și antisimetric, efectuând estimări locale ale diferenței de fază. Deci, de exemplu, cele două ieșiri de filtru pentru imaginea din stânga


Efecte tehnice: impactul asupra jocurilor video

Jocurile video pot ajuta la îmbunătățirea coordonării mână-ochi? Vă pot ajuta să vă antrenați creierul și să vă îmbunătățiți abilitățile cognitive? WIRED Senior Editor Peter Rubin tests his skills against a pro sports gamer to find out if gaming can improve your brain and body.

If you grew up playing video games like I did,

you've probably heard lots of conflicting information.

Some say too much gaming will ruin your vision

and rot your brain, while others claim that it

improves your hand eye coordination,

it can even make you smarter.

So, what exactly does gaming do

to our brain and our body?

To find out, I visited doctors and researchers.

We're seeing brain activity in different frequencies.

Tested my hand eye coordination against a pro gamer.

And somehow ended up in a sub-200 degree cryo chamber,

all to answer the question: how do video games affect us?

The stakes are higher than ever.

The industry is booming, Esports have gone mainstream,

there are college leagues, parents are even getting

video game tutors for their kids.

And thanks in part to smart phones,

and free games like Fortnite,

gamers are playing more than ever before.

So given that we can play virtually anywhere

at any time, how is all this gaming changing us physically?

Let's start with the excuse I used

to give my mom when I was trying to get a

little bit more time on the Atari.

It's making me a better athlete.

To find out if that's actually true,

I headed to the sports academy in Thousand Oaks, California,

where amateur gamers and Esports pros

train under the same roof as traditional athletes.

This is pro gamer Matt Higgenbotham.

I'm known online as Acadian.

[Peter Rubin] Between training and casual gaming,

Matt plays eight to ten hours a day.

People say, you know, it improves hand-eye coordination,

it improves response time,

what have you seen in your own life?

If you only play League of Legends as like

your only activity with no physical exercise,

in my opinion, you're just going to get out of shape.

Yeah, maybe cognitive it would increase

the things you're going to use in the game:

reacting to things quickly, making decisions quickly.

[Peter] So is he right?. Let's find out

if being an avid gamer actually makes you sharper.

We're gonna be taking a bunch of cognitive tests,

one after the other. Now, Matt is a pro gamer,

I am very much not, so we're gonna see

exactly how our results break down.

The first test is my new arch nemesis, the Dynavision board,

which tests pure reaction time.

Your job is to hit the button when it lights up red, okay?

It's gonna move pretty quickly.

So you're gonna wanna rely on your periphery.

Okay, I can use either hand, right?

You can use either hand, that's right.

This is gonna a mess I can already tell.

Now, Matt's calm. He's making it look easy,

but this is way, way harder than it looks.

Yep, down below, yeah there you go.

I just threw the whole test.

I'm gonna walk you over to the next test.

Okay, yeah, so lets leave this far behind.

I'll see you in hell, Dynaboard.

The next one tests what's called Cognitive Processing.

It's also a reaction test, but, unlike the Dynavision Board,

there's a voice telling you to do the opposite

of what you're actually supposed to do.

Okay, there's going to be a voice

in your head that says stop or go,

don't listen to that voice. Keep hitting green.

Your body gets fatigued, and so does the brain.

The last test measures your ability

to track multiple objects at the same time.

We had to keep tabs on certain spheres as they

floated around in a 3D space. Kinda like trying

to win two games of three card monte at the same time.

Three and five. Six and eight.

I got better at it after like eight of them.

No, they bounced off each other, no!

[laughs] I don't know who lost them.

My confidence is shaken at this point.

Moment of truth [how are you], lets see how I did.

I hope you got some good news for me.

Of course, always. These tests are built

to really push your cognitive processing

but at the same time give you measurable results

and immediate feedback. Matt out-preformed you

in the more complex tests, so as tests

got more complicated, and had a significant

amount of distractions and opportunity for the brain

to start thinking about something that wasn't

primary to the task, he out-preformed you

pretty significantly in those tests.

If we were to compare both your scores to

a normal population, of which we have data,

he's in the ninety-eighth percentile,

and you're probably in the sixty or seventieth percentile.

So, are we talking about self selection here?

Is it that people who are good at this stuff

are playing games, or is there proof that

games can actually improve your cognition in that way?

No I think for sure games can help improve your cognition.

Playing video games can be very high speed,

can create a lot of chaos, create a lot

of multiple environments where you have to make decisions,

and all of these are forming skills in the brain.

So no, I think in general, just like in every capacity

of human performance, we all start with some baseline

based on genetics, but the opportunity to

train cognition I think it really powerful.

Okay, so a pro gamer who's twenty years

younger than me beat me at a few cognitive tests.

I mean, of course he did. Ce face

science have to say about all this?

Video games is a hugely broad category,

and we know for sure that the impact of a game

has to do with what you're asked to do.

So because of that, different games will

have different impacts on the brain.

You wouldn't ask, What's the impact of food on your body?.

Youɽ wanna know the composition of the food, right?

And so the same is true of video games,

so depending on what we would call the mechanics,

the dynamics, the content of individual games,

that is what would predict how

the games will affect your brain.

[Peter] Action games like Counterstrike,

Overwatch, and Fortnite are some of

the most popular with consumers these days.

And Green and his colleagues look to games like those

to find out what their impact is.

[Shawn] There are a sub-type of games, action games,

that have been linked with positive effects

in perceptual and cognitive skills.

These are games that have lots of fast motion in them,

lots of objects to track simultaneously,

and emphasis on peripheral processing,

so items first come at the edges of the screen.

The need to make quick and accurate

decisions under time pressure.

[Peter] Based on fifteen years worth of studies,

researchers found that action games biggest positive effects

were on perception, how our senses interpret

external stimuli like sights and sounds,

spatial cognition, which helps you coordinate yourself in

and navigate 3D environments,

and top down attention, the ability to focus on one object

While ignoring distractions

How far that generalizes, I think is

a pretty open question, so my expectation

is that there are plenty of people who show

pretty exceptional hand-eye coordination with a joystick

might not be able to catch a baseball very well.

So it's certainly the case that a perceptual

motor skill development in one area

won't necessarily generalize to all areas.

I'm curious about thoughts that you have about

the thresh holds between benefits gained from action games

and where those diminishing returns might kick in.

You will get more learning gain from

smaller sessions spread out over time than one big block.

With respect to perceptual and cognitive skills,

we've either seen a positive impact or a null impact.

We haven't seen any area that has

been damaged, where there is worse performance.

[Peter] So those are the positive effects

of playing action games. But what if you develop games

that specifically harness those cognitive effects?

That's exactly what researchers are attempting

Our goal is to bridge technology and neuroscience

to improve the function of your brain.

The reason we focus on cognitive control is because

we can look at it as the very, sort of, base of the pyramid

that all other aspects of cognition like

memory, reasoning, decision making,

all the way up to things like wisdom

are dependent upon it. If you can't pay attention,

everything crumbles. You can't build any of

the higher order cognitive abilities.

[Peter] Their custom designing games could one day

be prescribed as a kind of digital medicine

for patients with conditions like ADHD.

So, where pharmaceutical medicines

deliver molecular treatment, we think of this medicine

as a digital medicine that delivers experiential treatment.

The video game's essentially like our pill.

They hook me up with an EEG cap, so that

I can see my brain activity in real time,

while playing a steering game called Project Evo.

[inaudible] . and we'll see your brain responding to it.

[Peter] And there are signs it's working.

[Adam] So there you go, you got it now.

That game is now in the SCA approval process

to become the first ever prescribe able video game.

What we have frequently found is that we're able

to get transferred benefits from game play

to other aspects of attention

that are very different than the game.

[Peter] Neuroscape is also experimenting

with Virtual Reality. Because VR can utilize

your whole body as a controller,

it may well be able to compound the benefits

for things like attention and memory.

A lot of data has shown that physical activity,

even devoid of cognitive challenges,

has positive benefits on your brain,

especially the aging brain. So we ask the question,

what happens if you give physical challenges

that are integrated with cognitive challenge

and create a sort of integrated approach?

Will you have even more cognitive benefits

if you're moving your entire body [inaudible] challenges

as opposed to playing that same game just sitting there just

moving your fingers, and we're testing that right now.

Now, despite your findings and despite the fact

that you've been able to replicate this and you're

in phase three trials, there doesn't seem to be

consensus in the medical community. There are a lot

of other scientists who say, Well no, I mean,

any positives that you can derive from games

are kind of mild and transitory at best,

how do you respond to that?

It's a complicated field and it's still early days.

I'm at least cautiously optimistic based on

what we've seen over the last ten years

that we're really onto something that's gonna

be very positive of people using video games as therapeutic.

And if these games are prescribed one day

to improve brain function, there are still questions

about what the dosage should be.

It is important to make it fun, but it is also critical

to think of it as something that's dosed

and played for a limited time,

and not interfering with the other

important activities in your life.

Okay, now for the bad news.

Avid gaming can lead to injuries.

I see many people have repetitive motion injuries

from gaming extensively. Many gamers will game

from eight to sixteen hours a day six or seven days a week.

So my goal when I'm talking to them:

find out how much they game,

which games that they're playing,

with their injuries. So injuries are the following

often, finger injuries, wrist injuries, elbow injuries,

shoulder injuries, neck injuries.

It's the wide gamut of the human body, really.

[Peter] Doctor Harrison also sees something

This is an issue whereby someone will have

tendonitis, the back of their thumb, as well as

on the volar aspect or palmar aspect of the thumb.

So they'll have pain on the back of the thumb and the front.

Now, that I've only seen in gamers.

When they present with that,

they have really abused their bodies.

Their thumbs are really on fire.

When this bad boy is down, then you've got a problem.

So, I'm here, I'm your patient,

I don't have big problems yet,

but I want to prevent problems.

Let me show you, there's like five basic tricks, so

you're gonna go down, and then bring your fingers up.

Feel that? Loosen up your joints as well as for your wrists.

Just start opening up everything

and get everything moving really nice.

In and out with the thumb, and down.

This is one of the fundamental stretches

that every gamer should do.

Console base, keyboard base, mouse, whatever,

that is a thumb, you wanna have a healthy thumb.

You do them for five to ten minutes

twice a day, not difficult.

I think video games are great, moderation is the key.

If you overdo it, then there are always issues

that will be attached to that.

[Peter] Look, there's no question gaming can wear you out.

Some gamers at the Sports Academy even subject themselves

to Cryo therapy after long sessions.

The jury's still out on their effectiveness,

but some players swear by it.

So, I decided to give it a try.

Alright, so there's freezing cold gas, its dry.

You go through this fro two, two and a half, three minutes,

when you come out, which I can only hope

is gonna be sometime soon, when you come out

and your body starts to warm up again,

your blood then starts to recirculate

and goes back out to your extremities,

and the idea being that circulation feels amazing,

and you go to the [inaudible].

That was two and a half minutes, I made it!

So what have we learned here, other than

the fact that I'm a masochist?

Gaming can be good for your hand eye coordination

and perception. It can help with focus,

tension, maybe even memory.

Just how all that translates into

the real world, though, it still up for debate.

We also know the repetitive gaming

can take a tole on your body,

so a little bit of moderation goes a long way.

When it comes to my own experience,

I've played games more than thirty years,

never suffered any gaming related injuries.

While I may never know if gaming helped my brain,

I do know it didn't destroy it. So take that, Mom!

WIRED is where tomorrow is realized. It is the essential source of information and ideas that make sense of a world in constant transformation. The WIRED conversation illuminates how technology is changing every aspect of our lives—from culture to business, science to design. The breakthroughs and innovations that we uncover lead to new ways of thinking, new connections, and new industries.

© 2021 Condé Nast. Toate drepturile rezervate. Use of this site constitutes acceptance of our User Agreement and Privacy Policy and Cookie Statement and Your California Privacy Rights. Cu fir may earn a portion of sales from products that are purchased through our site as part of our Affiliate Partnerships with retailers. The material on this site may not be reproduced, distributed, transmitted, cached or otherwise used, except with the prior written permission of Condé Nast. Ad Choices


Heads-Up Virtual Reality device lets users see and ‘touch’ 3D images

It’s not uncommon to see children attempt to reach out and touch objects the first time they don 3D glasses and sit down in front of a 3D TV. Researchers at the University of California, San Diego, have created a new virtual reality device that enables users to do just that. The relatively low-cost device called the Heads-Up Virtual Reality device (HUVR) combines a consumer 3D HDTV panel and a touch-feedback (haptic) device to enable users not only to see a 3D image, but “feel” it too.

The system consists of a 3D HDTV panel placed above a half-silvered mirror that reflects the image from the panel back to the user. The user’s head position is tracked to generate the correct perspective view while they maneuver a touch-feedback device underneath the mirror, through which the user’s hand is still visible. This provides the illusion that the user is literally ‘touching’ the object being displayed.

The touch-feedback device located underneath the half-silvered mirror

Its creators say HUVR is ideal for tasks that require hand-eye coordination and is well-suited to training and education in structural and mechanical engineering, archaeology and medicine. The device could be used to visualize and manipulate a 3D image of a person’s brain taken from an MRI, or an artifact too fragile or precious to be physically handled, for example.

“By using HUVR’s touch-feedback device – which is similar to a commercial game control – a physician could actually feel a defect in the brain, rather than merely see it,” explained Research Scientist Tom DeFanti, who is affiliated with the UC San Diego division of the California Institute for Telecommunications and Information Technology (Calit2), and created the device with Calit2’s Virtual Reality Design Engineer Greg Dawe. “And this can be done over the networks, sharing the look and feel of the object with other researchers and students,” Defanti added.

Evolution of HUVR

In an illustration of how fast technology is moving, HUVR evolved from a system called PARIS created 12 years ago by DeFanti and Dawe and their colleagues and students at the Electronic Visualization Laboratory, University of Illinois, Chicago. PARIS, or Personal Augmented Reality Interactive System, used a projection technology similar to HUVR, but was low-resolution, too big to move, and expensive. It required the Silicon Graphics, Inc. computers of the time to render the images and cost upwards of US$100,000 (PARIS is still in operation today, but is now driven by a game PC).

Although passive stereo 3D HDTVs have been available for about a year, active stereo is needed for HUVR. Active stereo generates separate left- and right-eye images that can bounce off mirrors and are separated into left- and right-eye views by the user’s active eyewear, which blink in synchrony with the 3D HDTV’s 120Hz images. The polarization used in passive stereo will not stay polarized when reflected off a mirror, hence the need for active stereo in HUVR and its precedents.

The recent availability of 55” active stereo panel TVs was the key to making HUVR, which is essentially a more lightweight, portable, and – at about $7,000 (without head tracking) – a much cheaper version of the PARIS-based technology. Constructed from a $2,300 Samsung 3DTV panel available at most retail electronics stores, HUVR also offers better brightness, contrast, and visual acuity than PARIS.

The next step in HUVR’s evolution is to create a less expensive, reasonable quality head tracker suited to a desktop device (commercially available trackers currently range from $5,000 to $20,000).


Priveste filmarea: Suntem in spatiu si ne luptam cu navele spatiale in Transmute Galaxy Battle (Ianuarie 2022).