Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)

Ons visueel systeem wordt geconfronteerd met een enorme hoeveelheid sensoriële informatie. Gezien de beperkte computationele middelen, kan het onmogelijk al zijn functies tegelijkertijd op alle locaties in het visuele veld uitvoeren. Een selectie gebeurt aan de hand van visuele aandacht, dat als een filter relevante informatie versterkt en irrelevante informatie onderdrukt. Ook in computervisie-toepassingen, in het bijzonder deze die gebruik maken van visuele beweging, zijn vaak extra middelen nodig in specifieke gebieden. In deze thesis worden twee studies beschreven die visuele aandacht vanuit verschillende perspectieven behandelen, namelijk ten eerste verklarend, door het formuleren en valideren van hypothesen met betrekking tot de neurale mechanismen van visuele aandacht, en ten tweede applicatiegericht, door gebruik te maken van principes uit het aandachtsonderzoek om de verwerking van realistische video-sequenties te vereenvoudigen. In de eerste studie wordt een model geïntroduceerd voor de verklaring van modulatorische aandachtseffecten in de vroegste stadia van de visuele verwerking. Traditioneel werd de invloed van visuele aandacht relatief laat in de visuele hiërarchie waargenomen, en betrof het voornamelijk een versterking van de metabolische activiteit. Neurofysiologische experimenten uitgevoerd door Vanduffel et al. daarentegen hebben aangetoond dat in de vroegste stadia (voornamelijk in de lateral geniculate nucleus, LGN, en de primaire visuele cortex, V1), aandacht zich manifesteert als een ring van onderdrukte neurale activiteit rond de voorstelling van de stimulus. De huidige modellen zijn niet in staat om dit effect te verklaren. In dit werk formuleren we een hypothese over het onderliggende mechanisme en implementeren we deze als een nieuw computationeel model dat in staat is om dit fenomeen te reproduceren en dus een verklaring te bieden. Ons model voorspelt dat de diffusie van stimulus-gedreven LGN-celactiviteit naar de reticular thalamic nucleus (RTN) (zowel rechtstreeks als via V1) en de daaropvolgende inhibitie van gebieden in de LGN rond de representatie van de stimulus, het voornaamste mechanisme van de modulatie is. Daar waar in de eerste studie het aandachtssignaal volgt uit de taak (oriëntatie-discriminatie), wordt in de tweede studie een complex visueel kenmerk geïntroduceerd dat automatisch de aandacht trekt, namelijk onafhankelijke beweging (beweging ten opzichte van de statische omgeving). Wanneer de waarnemer statisch is, is het relatief eenvoudig te detecteren. Als de waarnemer beweegt echter, genereren zowel de bewegende objecten als de statische omgeving visuele beweging op de retina (optic flow), en is het noodzakelijk om verschillende visuele kenmerken te combineren om de twee van elkaar te scheiden. Deze detectie is vrij eenvoudig voor mensen, en bijkomende middelen (aandacht) worden typisch toegewezen aan die locaties waar onafhankelijke beweging aanwezig is. We introduceren een aantal nieuwe biologisch-geïnspireerde computervisie-technieken die robuust zijn aan de typische storingsfactoren die aanwezig zijn in realistische video-sequenties, geregistreerd door bewegende waarnemers. De combinatie van deze technieken resulteert in een saliency map voor onafhankelijke beweging (een kaart die voor elke locatie de waarschijnlijkheid van onafhankelijke beweging aangeeft). Vooreerst worden twee nieuwe methodes voorgesteld die het mogelijk maken om optic flow te bepalen aan de hand van onstabiele sequenties. In tegenstelling tot bestaande technieken kunnen beide methodes omgaan met de complexiteit van realistische scènes, waar de afstand tot de scène klein is, het bereik van diepte in de scène groot is, en bewegende objecten aanwezig zijn. Vervolgens wordt een algoritme geïntroduceerd voor het bepalen van de zelfbeweging aan de hand van optic flow. Anders dan bestaande methoden is het voorgestelde algoritme niet gevoelig aan lokale minima (die overeenkomen met sub-optimale oplossingen). Deze robuustheid wordt bekomen zonder in te boeten aan precisie. Tenslotte wordt een nieuw stereo-algoritme voorgesteld en samen met de andere visuele kenmerken gecombineerd in een saliency map voor onafhankelijke beweging. Dit gebeurt met behulp van een nieuwe maat voor onafhankelijke beweging die een groter scheidend vermogen heeft dan bestaande maten. Our visual system is bombarded with sensory information. Since the computational resources are limited, it cannot perform all its functions at all locations in the visual field simultaneously. A selection is made by visual attention, which serves as a filter that can accentuate relevant and suppress irrelevant information. In computer vision applications, especially those that employ visual motion, additional resources are also often required at specific regions. In this thesis, two studies are described that focus on visual attention from different perspectives, namely explanatory, by formulating and validating hypotheses about the neuronal mechanisms of visual attention, and application-oriented, by using principles derived from attention research to facilitate the analysis of real-world video sequences. Our first study introduces a model for modulatory attention effects at the earliest stages of visual processing. Contrary to the classical view that visual attention enhances metabolic activity and occurs relatively late in the hierarchy, neurophysiological experiments conducted by Vanduffel and co-workers have shown that, at early stages (in particular in the lateral geniculate nucleus, LGN, and primary visual cortex, V1), attention manifests itself as a ring of suppressed activity that surrounds the attended stimulus representation. Current models cannot explain this effect. In this work, we formulate a hypothesis on the underlying mechanism, and implement it as a novel computational model that reproduces, and thus provides an explanation for this phenomenon. Our model predicts that the diffusion of stimulus-driven relay cell activity to the reticular thalamic nucleus (RTN) (both directly and through V1), and its subsequent inhibition of LGN regions that surround the stimulus representation, is the main mechanism of the attentional modulation. Whereas in the first study, the attention control signal results from the task (orientation discrimination), the second study introduces a complex visual feature that automatically draws attention, namely independent motion (motion with respect to the stationary environment). Although relatively easy to detect when the observer is static, when the observer is moving, both moving objects and static environment generate visual motion on the retina (optic flow), and multiple cues must be combined to discriminate between both origins. For humans, this detection is quite easy, and additional resources (attention) are typically allocated to the regions where the independent motion is present. We introduce a set of novel biologically-inspired computer vision techniques that are robust to typical nuisance factors observed in real-world video sequences, recorded by moving observers. The combination of these techniques results in a saliency map for independent motion (a map that indicates the independent motion likelihood at each location). First, two novel methods are introduced that enable the extraction of optic flow from unstable sequences. Unlike existing techniques, both methods can deal with the complexities of real-world scenes, where the distance to the scene is small, the range of depths within the scene is large, and moving objects are present. Next, an algorithm is introduced for the computation of self-motion from optic flow. Contrary to traditional methods, the proposed algorithm is insensitive to the presence of local minima (that correspond to sub-optimal solutions). This robustness is achieved without having to sacrifice accuracy. Finally, a novel binocular disparity algorithm is introduced, and it is combined with the other visual cues into a saliency map for independent motion. This map centers around an independent motion measure that provides better discriminability than existing techniques. Ons visueel systeem wordt geconfronteerd met een overvloed aan informatie. Gezien de beperkte computationele middelen, kan het onmogelijk al zijn functies tegelijkertijd op alle locaties in het visuele veld uitvoeren. Een selectie gebeurt aan de hand van visuele aandacht, dat als een filter relevante informatie versterkt en irrelevante informatie onderdrukt. Ook in computervisie-toepassingen, in het bijzonder deze die gebruik maken van visuele beweging, zijn vaak extra middelen nodig in specifieke gebieden. In dit werk worden twee studies beschreven die visuele aandacht vanuit verschillende perspectieven behandelen. Enerzijds kan de visuele aandacht gestuurd worden door een taak, bv. op zoek gaan naar een rood object. In de eerste studie wordt een computationeel model geïntroduceerd dat een verklaring biedt voor de modulatorische effecten vanwege een dergelijke taakgestuurde aandacht, in hersengebieden verantwoordelijk voor de vroegste stadia van de visuele verwerking. Anderzijds kunnen bepaalde opvallende visuele kenmerken ook vanzelf de aandacht trekken. In de tweede studie wordt een dergelijk complex visueel kenmerk geïntroduceerd, namelijk onafhankelijke beweging. Met onafhankelijke beweging bedoelen we beweging ten opzichte van de statische omgeving. Wanneer de waarnemer zelf statisch is, is dergelijke beweging relatief eenvoudig te detecteren. Als de waarnemer beweegt echter, genereren zowel de bewegende objecten als de statische omgeving visuele beweging, en is het noodzakelijk om verschillende visuele kenmerken te combineren om de twee van elkaar te scheiden. We introduceren een aantal nieuwe biologisch-geïnspireerde computervisie-technieken die robuust zijn aan de typische storingsfactoren die aanwezig zijn in realistische video-sequenties, geregistreerd door bewegende waarnemers. De combinatie van deze technieken resulteert in een kaart die voor elke locatie in het visueel veld de waarschijnlijkheid van onafhankelijke beweging aangeeft. Our visual system is bombarded with information. Since the computational resources are limited, it cannot perform all its functions at all locations in the visual field simultaneously. A selection is made by visual attention, which serves as a filter that can accentuate relevant and suppress irrelevant information. In computer vision applications, especially those that employ visual motion, additional resources are also often required at specific regions. In this work, two studies are described that focus on visual attention from different perspectives. On the one hand, visual attention can be guided by a task, e.g. searching for a red object. In the first study, a computational model is introduced that provides an explanation for the modulatory effects that have been observed, as a result of this task-based attention, in brain regions responsible for the earliest stages of visual processing. On the other hand, certain salient visual features can automatically draw attention towards themselves. In the second study, such a complex visual feature is introduced, namely independent motion. Independent motion refers to motion with respect to the stationary environment. If the observer is static, it is relatively easy to detect. However, if the observer is moving, both the moving objects and the static environment generate visual motion, and multiple visual cues must be combined to discriminate between both origins. We introduce a set of novel biologically-inspired computer vision techniques that are robust to typical nuisance factors observed in real-world video sequences, recorded by moving observers. The combination of these techniques results in a map that indicates the independent motion likelihood at each location in the visual field.

Academic collection --- 681.3*12 --- 612.8 --- Computer science--?*12 --- Nervous system. Sensory organs --- Theses

Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)