prikaz prve stranice dokumenta Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala
  Download
PDF 2.77 MB
doctoral thesis
Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala
Osijek: Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, 2016. urn:nbn:hr:200:256153
Vranješ, Denis
Josip Juraj Strossmayer University of Osijek
Faculty of Electrical Engineering, Computer Science and Information Technology Osijek
Department of Communications
Chair of Multimedia Systems and Digital Television

Cite this document

Vranješ, D. (2016). Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala (Doctoral thesis). Osijek: Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek. Retrieved from https://urn.nsk.hr/urn:nbn:hr:200:256153

Vranješ, Denis. "Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala." Doctoral thesis, Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, 2016. https://urn.nsk.hr/urn:nbn:hr:200:256153

Vranješ, Denis. "Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala." Doctoral thesis, Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, 2016. https://urn.nsk.hr/urn:nbn:hr:200:256153

Vranješ, D. (2016). 'Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala', Doctoral thesis, Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, accessed 14 March 2025, https://urn.nsk.hr/urn:nbn:hr:200:256153

Vranješ D. Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala [Doctoral thesis]. Osijek: Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek; 2016 [cited 2025 March 14] Available at: https://urn.nsk.hr/urn:nbn:hr:200:256153

D. Vranješ, "Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala", Doctoral thesis, Josip Juraj Strossmayer University of Osijek, Faculty of Electrical Engineering, Computer Science and Information Technology Osijek, Osijek, 2016. Available at: https://urn.nsk.hr/urn:nbn:hr:200:256153

Please login to the repository to save this object to your list.
Metadata
TitleAlgoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala
Title (english)Algorithm for adaptive time image interpolation based on spatio-temporal features of the video signal
AuthorDenis Vranješ
MentorSnježana Rimac-Drlje (mentor)
Committee memberSonja Grgić (predsjednik povjerenstva)
GranterJosip Juraj Strossmayer University of Osijek
Faculty of Electrical Engineering, Computer Science and Information Technology Osijek
(Department of Communications)
(Chair of Multimedia Systems and Digital Television)
Osijek
Defense date and country2016-09-20, Croatia
Scientific / art field,
discipline and subdiscipline		TECHNICAL SCIENCES
Electrical Engineering
Telecommunications and Informatics
Universal decimal classification
(UDC)		62 - Engineering. Technology in general
Abstract
Videosignal snimljen modernim uređajima zbog svoje veličine nije pogodan za prijenos ili pohranu na neki od medija. Zbog toga je u postupku kodiranja potrebno smanjiti njegovu veličinu, što se može učiniti primjenom efikasnih postupaka kompresije, ali i smanjenjem prostorne i/ili vremenske rezolucije. Paralelno s razvojem uređaja za snimanje razvili su se i uređaji za prikazivanje videosignala (pametni telefoni, tableti, prijenosna računala) koji, neovisno o veličini zaslona, mogu prikazivati... More video signal visoke rezolucije. Zbog svega navedenog sve više je primjera kod kojih je nakon dekodiranja potrebno povećati prostornu i/ili vremensku rezoluciju videosignala. Kod povećanja vremenske rezolucije interpolacijom slika u nekomprimiranom videosignalu, što je problem kojim se bavi ova disertacija, cjelokupna pogreška prilikom interpolacije nastaje zbog pokreta objekata i promjene sadržaja. Primjenom teorijskog modela videosignala analiziran je utjecaj vremenske udaljenosti, D, između slika koje se koriste za interpolaciju te utjecaj prostornih i vremenskih značajki videosignala na pogrešku interpolacije primjenom postupaka jednosmjernih procjena pokreta unaprijed i unazad. Predložen je i teorijski model za postupak interpolacije usrednjavanjem, FA, te je izveden izraz za autokorelacijsku funkciju pogreške interpolacije. Oba modela pokazuju dobro poklapanje teorijskih i empirijskih rezultata za sekvence s malim TI, te približno linearan porast varijance pogreške i MSE s porastom vrijednosti D. Također, teorijski i empirijski rezultati pokazali su da za sekvence s malom vremenskom aktivnošću jednostavni postupak usrednjavanja, FA, može ostvariti podjednaku (u nekim slučajevima i manju) pogrešku od znatno složenijeg postupka koji koristi procjenu pokreta, što je iskorišteno u predloženom algoritmu za interpolaciju u svrhu smanjenja njegove složenosti. Utvrđeno je i da su u slučaju male vrijednosti parametra vremenske aktivnosti, TIt, srednje vrijednosti vektora pomaka za pojedinu sliku vrlo male, što navodi na zaključak da je malim parametrom vremenske aktivnosti, TI, predstavljen mali pokret između dvije slike. Analizom utjecaja veličine bloka (za koji se računa vektor pomaka) na pogrešku procjene vektora pomaka utvrđeno je da je pogreška najmanja za blok veličine 16x16 elemenata slike, a najveća za blok veličine 4x4 elementa slike. Budući da je prirodno kretanje objekata nelinearno, posebice u slučaju brzih pokreta, i često s promjenjivom brzinom, analiziran je utjecaj tih dviju pojava na točnost vektora pomaka te je pokazano je da nelinearnost pokreta unosi znatno manju pogrešku u odnosu na promjenu brzine. U slučaju kada pokret nije brz, uvođenje promjenjive brzine gibanja objekata ne povećava zamjetno točnost procjene, pa se s ciljem izbjegavanja povećanja složenosti algoritma predloženog u disertaciji koristi procjena pokreta uz pretpostavku konstantne brzine kretanja objekata. Na temelju provedene analize prostorno-vremenskih značajki videosignala i njihovog utjecaja na pogrešku interpolacije, u okviru ove disertacije predložen je algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala. Njegovom se primjenom zadržava visoka razina kvalitete interpoliranih slika uz značajno smanjenje složenosti jer je na temelju provedenih analiza prostorno-vremenskih značajki videosignala uvedena adaptivnost u ovisnosti o trenutnoj vrijednosti parametra vremenske aktivnosti, TIt. U slučaju kada je parametar vremenske aktivnosti između slika manji ili jednak prethodno određenoj vrijednosti praga, δ, radi se interpolacija korištenjem FA metode, a u suprotnom slučaju interpolacija se zasniva na procjeni pokreta. U slučajevima kada je TIt > δ,rade se odvojene jednosmjerne procjene unaprijed i unazad kombinacijom procjene pokreta za blokove (BMA) i optičkog toka. Kako bi se osigurala mala složenost, u predloženom algoritmu preciznost procjene vektora pomaka na razini manjoj od jednog elementa slike ostvaruje se razvojem u Taylorov red. U svrhu zaglađivanja vektora pomaka, polje vektora pomaka filtrira se medijan filtrom. Kompenzacijom pokreta dobiju se dvije slike prediktora čijom se težinskom sumom dobije konačna interpolirana slika. Predloženi algoritam uspoređen je s dva postojeća algoritma, koji su među najboljima u dostupnoj literaturi, po složenosti postupka i kvaliteti interpolirane slike. Rezultati su pokazali da predloženi algoritam ima najbolji omjer složenosti postupka i kvalitete interpolirane slike. Less
Abstract (english)
Video signal recorded using modern devices is not suitable for transmission or storage on some media. Therefore it is necessary to decrease its size during the encoding process. It can be done by decreasing spatial and/or temporal resolution. There is also an a rapid developement of video displaying devices (smart phones tablets, laptops..) which, independently of sreen size, can display high resolution video signal. Therefore it is necessary, during the decoding process, to increase spatial... More and/or temporal resolution of video signal. Since in the focus of this research frame interpolation is done on uncompressed videosignal, interpolation error is caused by object motion and the content change. Using theoretical model an influence of the temporal distance, D, and spatio-temporal features of the videosignal on interpolation error using unidirectional forward and backward motion estimation is analyzed. Besides that, the theoretical model for interpolation using frame averaging, FA, is proposed and the formula for the autocorrelation function of the interpolation error is derived. Both models perform good matching of theoretical and empirical results for sequences with low TI and aproximatively linear increasing of error variance and MSE with increasing of D. Moreover, theoretical and empirical models perofrmed that in case of low TI value simple FA method can achieve similar interpolation error in comparison to more complex MCFI, which is used for complexity reduction in the proposed algorithm. It is determined that in case of low TI value mean values of MV are also small, so it can be concluded that low TI value indicates small motion between two frames. Analyses of the influence of the block size on the motion estimation error performed that error is the lowest for the biggest size (16x16 pixels), and the highest for the smallest size (4x4 pixels). Since the natural motion of objects is non-linar and with the variable velocity, the influence of these two factors on the MV accuracy is analized, and the resuslts performed that non-linear motion causes siginificantly lower error in comparison to velocity change. When the motion is not fast, introducing of variable velocity does not increase significantly accuracy of motion estimation, so the velocitiy is considered as constant in order to reduce the coplexity of the proposed algorithm. According to described analyses, an algorithm for adaptive frame interpolation based on spatio-temporal features of the videosignal is proposed. Using the proposed algorithm high quality of interpolated images is maintained, while the complexity is reduced since, based on analyses of spatio-temporal features, the adaptivity criterion depending on TI parametar value is introduced. When the parametar of the temporal activity between frame is lower then predefined threshold value, δ, interpolation is done using FA method, while in contrary MCFI is done. If TIt > δ, separated forward and backward unidirectional motion estimation is done as the combination of the BMA and optical flow. In order to ensure low complexity, motion estimation accuracy on the level lower than 1 pixel is achieved using Taylor series. In order to smooth MVs, the median filter is applied on MVF. Usnig MCFI two predictors of interpolated frame are given and their weighting sum is used for creating final interpolated frame. The proposed algorithm is compared with algorithms from the literature which show good performances, from the aspect of interpolated image quality and algorithm complexity. The results showed that the proposed algorithm performed the best trade of between interpolated image quality and algorithm complexity. Less
Keywords
Keywords (english)
Languagecroatian
URN:NBNurn:nbn:hr:200:256153
Promotion2017-04-08
Study programmeTitle: Postgraduate Doctoral Study in Electrical Engineering and Computer Science
Study programme type: university
Study level: postgraduate
Academic / professional title: doktor/doktorica znanosti u području tehničkih znanosti (doktor/doktorica znanosti u području tehničkih znanosti)
Type of resourceText
Extent158 stranica
File originBorn digital
Access conditionsOpen access
Terms of useLicence Public Domain Mark 1.0 icon
RepositoryFaculty of Electrical Engineering, Computer Science and Information Technology Osijek
Created on2024-02-01 10:41:58
accessibility

closeAccessibilityrefresh

If you wish to permanently save changes, click on Save, if not - your settings will be reset when you restart the browser.