İnovasyon ve Bilişim Teknoloji mühendisi Murat Arslan ve Senol Korkmaz boyundan aşağısı felçli insanların bilgisayar kullanımı için kafa ve göz hareketleriyle çalışan yeni bir insan-bilgisayar arayüzü (Human Computer Interface) sistemi geliştirdi.
Felçli hastalar için umut olan sistemle hastalar sadece kafa ve göz hareketleri ile bilgisayar kullanabilecek. En yeni görüntü işleme (image processing) ve derin öğrenme (deep learning) teknikleri kullanılan sistemde mühendisler, engelli çocukların kafa hareketleriyle oyun oynayabilmesini sağlayacak deneme bir çalışması da yaparak başarıya ulaştılar. Bu sisteme göre engelli çocuklarda oyun oynayabilecek.
Göz hareketlerine göre sağ ve sol düğmeler harekete geçiyor
Felçli insanların bilgisayar kullanımı için kafa hareketleri ve göz durumlarıyla çalışan sisteme daha önceden kaydedilen kapalı ve açık göz resimlerinin öğretildiğini belirtilen Murat Arslan ve Senol Korkmaz, gözlerin açık veya kapalı durumuna göre bilgisayar faresinin sol ve sağ düğmelerine tıklatıldığını belirterek sistem hakkında şunları söylediler:
- “Bilgisayara bağlı kamera aracılığı ile önce insan yüzünü algılayıp 2’inci boyuttaki 68 spesifik noktayı bulan sistem daha sonra 2’inci boyuttaki bu noktaların 3’üncü boyuta iz düşümlerini hesaplayarak kamera görüntüsündeki kafanın 3 boyutlu hareketlerini algılıyor. Bu hareketler bilgisayar faresinde yukarı, aşağı, sağa ve sola iletiliyor. Ayrıca gözleri de kamera görüntüsünden bulan sistem gözlerin açık veya kapalı duruma göre bilgisayar faresinin sol ve sağ düğmelerine tıklayabiliyor.”
Engelli çocuklar da oyun oynayabilecek
İnsan bilgisayar ara yüzünün kullanıldığı sisteme Fishlife isimli açık kaynak kodlu oyunu entegre eden mühendisler, engelli çocuklarında faydalanabileceği sadece kafa hareketleriyle oynanabilen oyunu geliştirdiler. Oyunda balığı kafa hareketleri ile hareket ettirip gemilerden düşen yiyecekleri yemeye çalışılıyor ve gemilerden düşen zararlı maddelerden kaçmaya çalışılıyor. Sistem, herhangi bilgisayar faresi ile oynanan oyuna entegre olabilecek şekilde yazıldı.
Kendi oyunlarını yazmayı hedefliyorlar
Mühendisler kendi oyunlarını yazıp entegre ederek Google Play’de yayınlama çalışmaları üzerinde çalıştıklarını belirterek, Google Play'e yüklenecek bu sistemle sadece bilgisayarla değil telefon kullanımı da gerçekleştirmeyi planladıklarını kaydettiler. Buna ek olarak mühendisler, Otonom Sürüş Sistemleri için şoförün uyuması halinde uyarı veren sistemler, araç kamerasından trafikteki diğer araçları saptayarak kazaları önceden engelleme, yol bulma algoritmaları, işaret dilini bilgisayarda yazıya döken sistemler, hastalıkların belirtilerine göre önceden uyaran sistemler gibi bir çok farklı ve insanlığa hizmet edecek çalışmalarını sürdürdüklerini ve önümüzdeki günlerde bu çalışmaların çeşitli konferans ve dergilerde yayınlanacağını bildirdiler.
