Abstract | Keywords | Export | Availability | Bookmark

Choose an application

• Reference Manager
• EndNote
• RefWorks (Direct export to RefWorks)

Sinds hun introductie in 1957 worden verborgen Markov modelen veelvuldig gebruikt in ingenieurstoepassingen (spraakherkenning, biologie). Ondanks de vele toepassingen blijven tot nu toe nog een heel aantal theoretische vragen omtrent verborgen Markov modellen open. Bijdragen aan deze theoretische problemen vormt de eerste doelstelling van deze thesis. Bij het oplossen van problemen omtrent verborgen Markov modellen kan inspiratie gezocht worden in de oplossing van de overeenkomstige problemen voor lineair stochastische modellen. De oplossing van de meeste problemen betreffende lineair stochastische modellen maakt gebruik van de singuliere-waardenontbinding. Voor de problemen aangaande verborgen Markov modellen blijken varianten op de niet-negatieve matrixontbinding nodig. Het onderzoek naar nieuwe niet-negatieve matrixontbindingen is de tweede doelstelling van dit proefschrift. Een eerste theoretisch probleem aangaande verborgen Markov modellen is het exacte positieve realisatieprobleem. Er is geen procedure gekend om dit probleem op te lossen. In deze thesis worden twee afgezwakte versies van dit probleem opgelost: het exacte quasi-realisatieprobleem en het benaderende positieve realisatieprobleem. Een tweede probleem is het identificatieprobleem voor verborgen Markov modellen. In deze thesis stellen we een identificatiemethode voor die de toestandssequentie rechtstreeks uit de uitgangsdata schat en vervolgens de modelparameters berekent uit de bekomen toestandssequentie en de gegeven uitgangssequentie. Deze aanpak is analoog aan deelruimte-identificatie voor lineair stochastische modellen. Een derde probleem is het schattingsprobleem voor verborgen Markov modellen. We tonen aan dat het voor verschillende types van schattingsproblemen volstaat om een oplossing te hebben voor het quasi-realisatieprobleem in plaats van een oplossing voor het positieve realisatieprobleem. We passen de methodes toe op het detecteren van motieven in DNA-sequenties. Betreffende de tweede doelstelling, stellen we twee varianten op de niet-negatieve matrix ontbinding voor: de gestructureerde niet-negatieve matrixontbinding en de niet-negatieve ontbinding zonder niet-negativiteitsbeperkingen op de factoren. Beide ontbindingen hebben nut op zich, los van het onderzoek naar verborgen Markov modellen. We passen de gestructureerde niet-negatieve matrixontbinding toe op het clusteren van datapunten. De ontbinding zonder niet-negativiteitsbeperkingen op de factoren wordt gebruikt voor het modelleren van menselijke aangezichten. Since their introduction in 1957, hidden Markov models have been used in several engineering applications (speech processing, computational biology). However, many theoretical questions concerning hidden Markov models remain open until this moment. Contributing to these theoretical questions forms the first main objective of this thesis. When considering the theoretical problems, we find inspiration in the analogy with the corresponding problems for linear stochastic models. The solution to most of the problems concerning linear stochastic models makes use of the singular value decomposition. For the solution of the corresponding problems for hidden Markov models, it turns out that modifications to the nonnegative matrix factorization are needed. Investigating new nonnegative matrix factorization techniques forms the second main objective of this thesis. A first theoretical problem concerning hidden Markov models is the exact positive realization problem. No procedure is known to solve this problem. In this thesis, two relaxed versions of the problem are solved: the exact quasi realization problem and the approximate positive realization problem. A second problem is the identification problem for hidden Markov models. In this thesis we propose an identification approach that estimates the state sequence directly from the output data and subsequently computes the system matrices from the obtained state sequence and the given output sequence. This approach is analogous to subspace identification for linear stochastic models. A third problem is the estimation problem for hidden Markov models. We show that it suffices for several types of estimation problems to have a solution to the quasi realization problem instead of a solution to the positive realization problem. The techniques are applied to the detection of motifs in DNA sequences. Concerning the second objective, we consider two modifications to the nonnegative matrix factorization: the structured nonnegative matrix factorization and the nonnegative matrix factorization without nonnegativity constraints on the factors. It turns out that these factorizations are applicable in engineering applications, apart from the hidden Markov research. The structured nonnegative matrix factorization is applied to the clustering of data points based on their distance matrix. The nonnegative matrix factorization problem without nonnegativity constraints on the factors is applied to the modeling of a database containing human faces. Van spraakherkenning tot DNA-onderzoek, in heel wat ingenieurstoepassingen worden verborgen Markov modellen gebruikt om observaties uit de natuur in een wiskundig model te gieten. Deze verborgen Markov modellen bewijzen al sinds 1957 hun nut. Toch blijven nog een heleboel theoretische vragen rond verborgen Markov modellen onopgelost. Deze doctoraatsthesis pakt enkele van die theoretische problemen aan. Bij de studie van verborgen Markov modellen wordt veelvuldig gebruik gemaakt van matrices. Een matrix is een geordende voorstelling van getallen, bijvoorbeeld de observaties in een industrieel proces of de parameters van een verborgen Markov model, in de vorm van een tabel. Hierop kunnen bewerkingen uitgevoerd worden, zoals de ontbinding van een matrix in een product van twee eenvoudigere matrices. In deze thesis worden twee ontbindingsmethodes voor niet-negatieve matrices voorgesteld. Los van verborgen Markov modellen bewijzen deze matrixontbindingsmethodes hun nut in onder meer compressie, in deze thesis toegepast op foto's van gezichten. De matrixontbindingen worden vervolgens ook gebruikt in de identificatie en realisatie van verborgen Markov modellen. Identificatie is het opstellen van een wiskundig model voor een industrieel proces of een natuurkundig fenomeen aan de hand van metingen van de uitgangen van het proces. Op dit ogenblik wordt identificatie voor verborgen Markov modellen uitgevoerd met behulp van de zogenaamde Baum-Welch-methode. In deze thesis stellen we een alternatieve aanpak voor identificatie voor. Bij het zogenaamde realisatieprobleem stellen we eveneens een wiskundig model op, maar via een omweg: we vertrekken van een theoretisch model met een oneindig aantal parameters en in de realisatiestap vereenvoudigen we dit tot een praktisch bruikbaar verborgen Markov model. De parameters van een verborgen Markov model zijn echter per definitie steeds positief. Exacte positieve verborgen verborgen Markov modellen realiseren blijkt een bijzonder moeilijk probleem. In deze thesis tonen we aan dat voor vele toepassingen twee afgezwakte versies van het realisatieprobleem volstaan: het exacte quasi-realisatieprobleem en het benaderende positieve realisatieprobleem. Eens een verborgen Markov model bekomen is, kan het opgestelde model gebruikt worden om te filteren, dat is het schatten van de uitgang in de toekomst gebaseerd op metingen van de uitgang uit het verleden. In deze thesis worden verschillende methodes voorgesteld om te filteren. Er wordt tevens aangetoond dat de methodes onder meer gebruikt kunnen worden voor het zoeken naar biologisch interessante delen ("motieven") in DNA-sequenties.

Academic collection --- 681.5.015 <043> --- Identification, modelling, parameters etc.--Dissertaties --- Theses --- 681.5.015 <043> Identification, modelling, parameters etc.--Dissertaties