Çok modlu görüntü birleştirmede derin öğrenme yaklaşımları

Abstract

İnsan gözünün algılayabildiği ışıma elektromanyetik spektrumda çok kısıtlı bir alandadır. Bununla birlikte gelişen görüntüleme teknolojileri ile termal ışımalar hatta radyo dalgaları gibi çok farklı elektromanyetik ışımalar algılanıp görselleştirilebilmektedir. Farklı dalga boylarından üretilmiş görseller farklı bilgiler içermekte ve birinde gerçekleşen algılama diğerinde gerçekleşmemektedir. Bunun anlamı oluşacak iki görüntünün birbirini destekleyecek bilgiler içerebileceğidir. Dolayısıyla bu görsellerin insan algısı ya da makine algısını artırabilmek için tek görüntüde birleştirilmesi çok elverişli sonuçlar doğurmaktadır ve bu işlemler son yıllarda dikkat çeken görüntü işleme yöntemleri arasında yer almaktadır. Özellikle medikal, uzay ve uydu görüntüleme, savaş alanı izleme, gizlenmiş silah tespiti, artırılmış gece görüşü gibi birçok alanda görüntü işleme kullanılmaktadır. Bu sebeple görüntüleri analiz edip çok daha anlamlı bir görüntü elde etmeyi amaçlayan birçok görüntü birleştirme tekniği geliştirilmiştir. Diğer yandan geliştirilen yöntemlerin kaynak görüntülerine ve onların içeriklerine bağımlı olması görüntü birleştirme yöntemlerinin problemleri arasındadır. Yapay sinir ağlarının genelleştirme özelliği ile aşılabilecek bu problemler tekniklerin gelişmesi gizli katman sayılarının olgunlaşması ile uygun sonuçlar verebilmeye başlamıştır ve derin öğrenme yöntemleri görüntü bileştirme sahasında yaygın olarak kullanılmaya başlamıştır. Bu çalışmada artan rağbetle birlikte görüntü birleştirme yöntemlerinde de sıklıklar kullanılan derin öğrenmenin seçkin örnekleri ile farklı kalite metrikleri kullanarak kıyaslamalı bir çalışma yürütülmüştür. Yapılan deneysel çalışmalarla yapay sinir ağlarının görüntü birleştirme uygulamalarında sağladığı kazanımlar vurgulanmıştır.