AffectiveCNN, fiziksel bir sensörlü cihazdan Bluetooth üzerinden alınan çok kanallı dokunma ve hareket sinyallerini işleyerek duygusal dokunma hareketlerini sınıflandıran kompakt bir boyutlu evrişimsel sinir ağlarının geliştirilmesi için uçtan uca bir MATLAB iş akışıdır. Sistem; veri toplama, dosyaların düzenlenmesi ve takma adlandırılması, sinyal kalite kontrolü, insan tepki gecikmesinin etkileşimli olarak kesilmesi, pencereleme ve veri artırma, MATLAB Experiment Manager ile CNN mimarisi taraması ve canlı Bluetooth verisi üzerinde gerçek zamanlı sınıflandırma olmak üzere yedi ardışık aşamadan oluşur. İlişkili çalışmada 25 katılımcıdan elde edilen 18 sınıflı dokunma verisi kullanılmış; 468 mimari/hiperparametre denemesi sonucunda 13.200 parametreli 14d1_39d2_41d4 topolojisinin boyut ve doğruluk arasında uygun bir denge sağladığı ve ortalama leave-one-subject-out çapraz doğrulama doğruluğunun %85 olduğu bildirilmiştir. Bununla birlikte bu performans belirli veri kümesi, sensörlü cihaz, katılımcı grubu ve deney protokolüne aittir; bütün insanlarda veya farklı dokunsal sistemlerde aynı doğruluk garanti edilmemektedir.

Çalışmanın MATLAB açısından özgün yönü yalnız bir CNN modelinin eğitilmesi değildir. MATLAB, ham sensör verilerinin hazırlanmasından mimari aramasına, test değerlendirmesine ve gerçek zamanlı tahmin olasılıklarının görselleştirilmesine kadar bütün araştırma zincirinin merkezinde kullanılmıştır. Böylece aynı yazılım ortamında sinyal işleme, derin öğrenme, deney yönetimi ve canlı sensör gözlemi birleştirilmektedir.

Araştırmanın temel problemi nedir?

İnsan dokunuşu yalnız fiziksel temas değildir; okşama, hafifçe vurma, sıkma, çekme veya tutma gibi hareketler farklı duygusal ve sosyal anlamlar taşıyabilir. Sosyal yardımcı robotların bu temasları anlamlandırabilmesi için ham sensör sinyallerinden dokunma türünü güvenilir biçimde ayırt etmesi gerekir.

AffectiveCNN’in geliştirilmesine yol açan önceki sistem, sensör genliği, temas süresi ve frekans alanı özelliklerine dayanan elle belirlenmiş eşiklerden oluşan sezgisel bir algoritmaydı. Kaynakta bu yaklaşımın aktif temas ile hareketsizliği kaba biçimde ayırabildiği, ancak benzer hareket örüntülerine sahip daha ince dokunma hareketlerini güvenilir biçimde ayırt edemediği belirtilmektedir.

Bunun üzerine geliştirilen yaklaşım, insan tarafından tanımlanan sabit kurallar yerine zaman serilerindeki ayırt edici örüntüleri doğrudan öğrenebilen kompakt bir boyutlu evrişimsel sinir ağlarına, yani 1D CNN modellerine dayanmaktadır.

Neden MATLAB kullanılmıştır?

Yazar MATLAB seçimini iki temel nedenle açıklamaktadır. Birincisi, MATLAB’ın etkileşimli betik tabanlı çalışma ortamının sensör arayüzü geliştirme, sinyal inceleme ve deneysel veri işleme gibi yinelemeli araştırma süreçlerine uygun olmasıdır. İkincisi ise eğitilen ağların gelecekte MATLAB Coder aracılığıyla C/C++ kaynak koduna dönüştürülebilmesi ve böylece gömülü donanıma aktarım için bir yol sunmasıdır.

Veri toplamanın ilk aşaması MATLAB dışında Processing/Java ile gerçekleştirilirken, geri kalan altı aşama MATLAB betikleri veya MATLAB Experiment Manager Live Script'leri olarak uygulanmıştır.

Yedi aşamalı AffectiveCNN iş akışı nasıl çalışıyor?

Çalışmanın Şekil 1’inde yazılım mimarisi yedi ardışık modül olarak gösterilmektedir. Ara aşamalar .csv veya .mat dosyalarını diske kaydettiği için işlem zinciri gerektiğinde herhangi bir ara basamaktan yeniden başlatılabilir. Böylece üst aşamaların her deneyde yeniden çalıştırılması gerekmez.

Bluetooth üzerinden hangi veriler toplanıyor?

Veri toplama modülü sensörlü cihazdan her satırda 14 tamsayı içeren çerçeveler almaktadır. İlk değer bütün algılama elektrotlarının kümülatif kapasitif sinyalidir. İkinci ile onuncu kanallar dokuz ayrı kapasitif sensöre aittir. On birinci, on ikinci ve on üçüncü kanallar sırasıyla X, Y ve Z ivmeölçer bileşenleridir. On dördüncü değer ise bir önceki veri çerçevesinden bu yana geçen süreyi milisaniye cinsinden taşır.

Sayfa 4’teki Gesture Recorder görüntüsü, bu kanalların gerçek zamanlı çizgiler hâlinde izlendiği arayüzü göstermektedir. Yazılım 20 saniyelik kayan bir görselleştirme penceresi kullanır. Kayıt başlamadan önce üç saniyelik geri sayım uygulanır.

Kaç farklı dokunma hareketi ele alınmıştır?

İlişkili veri toplama çalışmasında 17 insan tarafından gerçekleştirilen dokunma hareketine ek olarak insan teması bulunmayan “At rest” sınıfı kaydedilmiş ve toplam 18 sınıflı bir sınıflandırma taksonomisi oluşturulmuştur.

Kaynağın örnekleri arasında okşama, kaşıma, hafifçe vurma, güçlü vurma, tutma ve çekme gibi farklı temas biçimleri bulunmaktadır. Bu hareketler sensörlü yumuşak cihazın farklı bölgelerine uygulanmıştır.

Dosyalar neden takma adlandırılıyor?

a_move_labelled_data.m betiği kayıt dosyalarını kişiye/oturuma göre düzenlenmiş yapıdan hareket sınıfına göre düzenlenmiş yapıya taşır. Dosya adındaki kayıt oturumunu tanımlayan ilk sayısal bölüm rastgele oluşturulmuş yedi basamaklı bir sayı ile değiştirilir.

Böylece sınıf etiketi korunurken dosyanın kaynak oturumuyla doğrudan bağlantısı koparılır. Bu işlem çalışmada “organisation and pseudonymisation” aşaması olarak tanımlanmıştır.

Kalite kontrol aşaması ne arıyor?

b_training_data_analysis.m, her hareket sınıfındaki kayıt uzunlukları için ortalama, medyan, standart sapma, minimum ve maksimum değerleri hesaplar. Bir örneğin kayıt uzunluğu sınıf ortalamasından yapılandırılabilir bir oranın üzerinde sapıyorsa aykırı aday olarak işaretlenir.

Varsayılan eşik:

\[ \text{thresholdRange}=0.4 \]

yani sınıf ortalamasına göre yaklaşık ±%40 sapmadır.

Sayfa 4’teki Şekil 3, bu kalite kontrolünün ürettiği aykırı sinyal örneklerini göstermektedir. Sistem aykırı örnekleri otomatik olarak kör biçimde silmek yerine araştırmacının görsel inceleme yapmasına olanak tanır. İlişkili çalışmada cihaz bağlantısının hareket sırasında kesildiği az sayıdaki kayıt bu aşamada tespit edilerek çıkarılmıştır.

Neden başlangıç gecikmesi elle kesiliyor?

Kayıt başlatma komutu ile katılımcının gerçekten dokunmaya başlaması arasında kişiden kişiye ve denemeden denemeye değişen bir tepki süresi vardır. Bu gecikmenin sabit bir zaman ofsetiyle otomatik kesilmesi, çalışmaya göre eğitim verisine sistematik yanlılık ekleyebilir.

Bu nedenle c_training_data_truncation.m kullanıcıya MATLAB tabanlı bir GUI sunar. Araştırmacı sinyal üzerinde bilinçli temasın başladığı noktayı tek tıklamayla işaretler ve Enter tuşuyla sonraki kayda geçer. Sayfa 5’teki Şekil 4 bu arayüzü göstermektedir.

Kesme iki aşamalıdır: önce başlangıç kararları kaydedilir; ardından ikinci aşamada dosyalar toplu olarak kesilir. Orijinal veriler üzerine yazılmadan önce zaman damgalı yedek klasöre alınır.

13 sensör özelliği neden 11 özelliğe düşürülüyor?

Pencereleme öncesinde sınıflandırma için kullanılan 13 ham sensör sütunu 11 özelliğe indirgenir. Üç ayrı X, Y ve Z ivmeölçer bileşeni tek bir vektör büyüklüğü ile değiştirilir:

\[ a=\sqrt{a_x^2+a_y^2+a_z^2} \]

Bu dönüşüm üç ekseni tek ataletsel büyüklüğe indirerek cihaz yönelimine olan bağımlılığı azaltmayı amaçlamaktadır. Böylece dokuz bireysel kapasitif kanal, toplam kapasitif kanal ve bir ivme büyüklüğü olmak üzere 11 özellik elde edilir.

Veri eğitim, doğrulama ve test kümelerine nasıl ayrılıyor?

İşlenmiş kayıtlar sınıf dağılımını koruyan tabakalı örnekleme ile:

• %70 eğitim,
• %15 doğrulama,
• %15 test

şeklinde üç bölüme ayrılmaktadır.

Zaman serileri CNN için nasıl pencere hâline getiriliyor?

Varsayılan yöntemde her kayıt 250 örnekten oluşan sabit pencerelere dönüştürülür. Örnekleme frekansı 100 Hz olduğundan her pencere:

\[ \frac{250}{100}=2.5\ \text{saniye} \]

uzunluğundadır.

Pencere kaydırma adımı 50 örnektir; dolayısıyla komşu pencereler büyük ölçüde örtüşür. Bu yöntem tek bir uzun hareket kaydından birden fazla eğitim örneği oluştururken mevcut sinyal bilgisinin kullanılmasını sağlar.

Alternatif yöntemde kısa kayıtların sonuna sıfır eklemek yerine kayıt döngüsel olarak tekrarlanır. Yazar bunu özellikle periyodik kısa hareketlerin spektral özelliklerini sessiz bir sıfır kuyruğuyla değiştirmemek için sunmaktadır.

Sembolik CNN dili nasıl çalışıyor?

AffectiveCNN’in dikkat çekici özelliklerinden biri ağ mimarisinin uzun MATLAB kod blokları yerine kompakt bir sembolik alan-özgü dil, yani domain-specific language (DSL) ile tanımlanabilmesidir.

Örneğin:

14d1_39d2_41d4

ifadesi üç evrişim katmanlı bir 1D CNN tanımlar:

Her evrişim katmanını katman normalizasyonu ve ReLU aktivasyonu izlemektedir. Ağın sonunda global average pooling katmanı ile tam bağlı softmax sınıflandırma başlığı bulunmaktadır.

Filtre sayısı mimari dizisinden bağımsız bir genel filtre ölçekleme çarpanıyla değiştirilebilir. Böylece aynı temel mimari farklı model büyüklüklerinde sistematik olarak denenebilir.

MATLAB Experiment Manager kaç modeli denemiştir?

İlişkili deneyde toplam 468 eğitim denemesi yapılmıştır. Tarama uzayı:

• 13 farklı mimari dizesi,
• 4 filtre ölçekleme çarpanı,
• 3 epoch seçeneği,
• 3 batch size seçeneği

içermektedir.

Bu kombinasyon sayısı:

\[ 13\times4\times3\times3=468 \]

olarak elde edilir.

Experiment Manager bütün eğitim modellerini, öğrenme eğrilerini ve epoch bazındaki doğrulama metriklerini aynı çalışma alanında saklamıştır. Araştırmacı böylece sonuçları sıralayabilir, filtreleyebilir ve seçilen modeli ayrı bir gerçek zamanlı test aşamasına aktarabilir.

Gerçek zamanlı sınıflandırma nasıl çalışıyor?

f_realtime_classifier.m eğitilmiş .mat modelini yükler ve sensörlü cihazdan gelen Bluetooth seri veri akışını bir halka tamponda toplar. Tampon 250 örneğe ulaştığında mevcut pencere üzerinde sınıflandırma yapılır.

Varsayılan çıkarım adımı 50 örnektir. 100 Hz veri akışında bu yaklaşık:

\[ \frac{100}{50}=2\ \text{güncelleme/s} \]

yani yaklaşık 2 Hz tahmin yenileme hızına karşılık gelir.

Sayfa 6’daki Şekil 5, MATLAB gerçek zamanlı sınıflandırıcı arayüzünü göstermektedir. Üst bölümde son sensör penceresi, alt bölümde ise hareket sınıflarına ait tahmin olasılıklarının çubuk grafiği görüntülenmektedir. Arayüz aynı zamanda en olası sınıfı ve güven skorunu gösterir.

İlişkili gerçek zamanlı gözlem oturumunda beş katılımcı her hareket sınıfını gerçekleştirmiş ve sistemde hareket başlangıcından yaklaşık 2,0–2,4 saniye sonra tutarlı, harekete özgü aktivasyonların görüldüğü bildirilmiştir. Bu süre, deneysel olarak kullanılan 2,5 saniyelik pencereleme ve canlı gözlem düzeni bağlamında değerlendirilmelidir.

Bu sistem yalnız yumuşak robot için mi kullanılabilir?

Kaynağa göre yazılım mimarisi belirli sensörlü yumuşak cihaz için geliştirilmiş olsa da işlem zincirinin sonraki aşamaları doğrudan bu donanıma kilitli değildir. Uyumlu sütun yapısına sahip çok kanallı zaman serisi verisi kullanıldığı sürece diğer dokunsal veya ataletsel sensör sistemlerine uyarlanabilir.

Yazar giyilebilir sistemler, protezler ve diğer insan-robot etkileşimi platformlarını olası uyarlama alanları olarak belirtmektedir. Ancak bu alanlarda ayrı deneysel performans doğrulaması bu çalışma kapsamında sunulmamıştır.

Türkiye açısından ne ifade ediyor?

Araştırma Letonya’da Riga Technical University bünyesinde geliştirilmiştir ve Türkiye’ye ait katılımcı veya yerel sensör verisi içermemektedir. Bu nedenle %85 çapraz doğrulama sonucu Türkiye’deki kullanıcı gruplarına veya başka robot sistemlerine doğrudan taşınamaz.

Bununla birlikte kullanılan mühendislik yaklaşımı, Türkiye’de insan-robot etkileşimi, rehabilitasyon teknolojileri, giyilebilir sensörler, sosyal robotlar veya dokunsal arayüzler üzerinde çalışan araştırma ekipleri için uyarlanabilir bir metodoloji sunmaktadır. Yerel uygulama için yeni katılımcılar, farklı temas alışkanlıkları, farklı sensör geometrileri ve hedef donanım üzerinde yeniden veri toplama ve doğrulama gerekir.

Çalışma ne söylüyor, ne söylemiyor?

Çalışmanın desteklediği sonuçlar

• MATLAB tabanlı modüler bir iş akışı ham sensör kaydından gerçek zamanlı CNN gözlemine kadar bütün süreci kapsayabilmektedir.
• MATLAB Experiment Manager ile yüzlerce mimari ve hiperparametre kombinasyonu otomatik biçimde karşılaştırılabilmiştir.
• İlişkili veri kümesi 25 katılımcı ve 18 hareket sınıfından oluşmaktadır.
• 14d1_39d2_41d4 topolojisi 13.200 parametre ile kaynakta boyut/doğruluk dengesi açısından seçilen modeldir.
• Bu model için ortalama LOSO-CV doğruluğu %85 olarak raporlanmıştır.
• Canlı Bluetooth verisi üzerinden MATLAB içinde gerçek zamanlı sınıflandırma olasılıkları gözlemlenebilmiştir.

Çalışmanın desteklemediği sonuçlar

• %85 doğruluk bütün kullanıcılar, kültürler, yaş grupları, sensörler veya robot platformları için garanti edilen doğruluk değildir.
• Sistem insanın gerçek duygusal durumunu doğrudan ölçmemektedir; sensör sinyalinden önceden tanımlanmış dokunma hareketi sınıflarını tahmin etmektedir.
• Gerçek zamanlı PC gösterimi, nihai gömülü mikrodenetleyici dağıtımının gerçekleştirildiği anlamına gelmez.
• ESP32 sınıfı mikrodenetleyiciye uygunluk kaynakta teorik hesaplama uyumluluğu olarak tartışılmıştır; bu yazılım çalışması nihai gömülü donanım entegrasyonunu göstermemektedir.
• Başka dokunsal uygulamalara uyarlanabilir olması, bu alanlarda aynı performansın deneysel olarak doğrulandığı anlamına gelmez.

Çalışmanın Yöntemi ve Bulguları

Yazılım mimarisi

Veri ve deney kapsamı

Mimari araması

Seçilen kompakt CNN

İlişkili deneyde 14d1_39d2_41d4 mimarisi parametre sayısı ve doğruluk dengesi bakımından seçilmiştir.

LOSO-CV, leave-one-subject-out cross-validation anlamına gelir. Bu değerlendirmede her döngüde bir katılımcının verileri model eğitiminden dışarıda bırakılır ve model daha önce eğitim sırasında görmediği bu katılımcı üzerinde değerlendirilir. Bu yöntem kişiden bağımsız genelleme davranışını incelemek açısından rastgele örnek bölmeye göre daha güçlü bir sınama sunabilir; ancak sonuç yine bu çalışmadaki katılımcı ve veri toplama koşullarıyla sınırlıdır.

Yazılımın yeniden üretilebilirlik özellikleri

• Modüller birbirinden ayrılmıştır.
• Ara veriler CSV ve MAT biçiminde diske kaydedilir.
• İşlem herhangi bir ara aşamadan yeniden başlatılabilir.
• Mimari topolojileri sembolik dizeyle tanımlanabilir.
• Experiment Manager bütün aday modelleri ve metriklerini tek çalışma alanında saklar.
• Gerçek zamanlı arayüz eğitilmiş MAT modelini doğrudan kullanır.
• Kaynak kodu Git sürüm kontrolü altında yayımlanmıştır.

Çalışmanın güçlü yönleri

• Veri toplama ile canlı sınıflandırma arasındaki bütün mühendislik zincirini tek çalışma olarak belgelendirmektedir.
• Kalite kontrol aşaması aykırı sinyalleri otomatik silmek yerine araştırmacıya görünür hâle getirir.
• Tepki gecikmesinin kayıt bazında elle belirlenmesi, sabit zaman kesmesinin yaratabileceği sistematik hatayı azaltmayı hedefler.
• 468 denemelik mimari taraması elle model seçimine göre daha sistematik karşılaştırma sağlar.
• Kompakt sembolik CNN dili mimari varyasyonlarının hızlı kurulmasını sağlar.
• Gerçek sensör cihazı ile canlı PC sınıflandırma arayüzü eğitim sonrası model davranışının hemen gözlemlenmesine izin verir.

Temel sınırlılıklar

• Yazılım tek bir özgün sensörlü yumuşak cihaz bağlamında geliştirilmiştir.
• 25 katılımcılık veri kümesi farklı nüfuslara doğrudan genellenemez.
• Etkileşimli kesme aşaması insan kararına bağımlıdır ve bütünüyle otomatik değildir.
• Gerçek zamanlı gösterim PC üzerinde gerçekleştirilmiştir; nihai gömülü cihaz dağıtımı bu çalışmanın kapsamı değildir.
• Alternatif sensör sistemlerine uyarlanabilirlik yazılım mimarisi düzeyinde açıklanmıştır ancak bu çalışmada bu sistemlerin her birinde ayrı performans deneyleri yapılmamıştır.
• Raporlanan sınıflandırma başarımı kaynak veri kümesi ve ilgili deney protokolüne özgüdür.

Kaynak ve Yöntem Notu

Tam özgün çalışma adı: AffectiveCNN: MATLAB Software Pipeline for Affective Tactile Gesture Recognition Using Compact 1D Convolutional Neural Networks

Yazar: Aleksandrs Vališevskis.

Sorumlu yazar: Aleksandrs Vališevskis.

Eş birinci/eş katkı: Çalışma tek yazarlı olduğundan eş katkı beyanı bulunmamaktadır.

Kurum: Institute of Architecture and Design, Riga Technical University, Riga, Latvia.

Kaynak türü: Bilimsel yazılım geliştirme ve makine öğrenmesi iş akışı tanımlama çalışması.

Yayın durumu: Yüklenen çalışma hakem değerlendirmesinden geçmemiş bir preprinttir; sonuçları bu yayın aşaması dikkate alınarak değerlendirilmelidir.

Platform: SSRN.

SSRN kayıt numarası: 6679307.

DOI: 10.2139/ssrn.6679307.

SSRN kayıt tarihi: 30 Nisan 2026.

Resmî kayıt: https://ssrn.com/abstract=6679307

Hakemli dergi sürümü: Bibliyografik doğrulamada bağımsız olarak doğrulanmış nihai dergi DOI’si bulunamamıştır. Geliştirici deposunda SoftwareX kaydı için DOI alanı hâlen “TBD” biçimindedir; bu nedenle bu Verianla makalesinde kaynak preprint olarak değerlendirilmiştir.

Yazılım adı ve sürümü: AffectiveCNN v2.0.

Programlama ortamı: MATLAB R2025a; ilk veri toplama modülü Processing/Java.

MATLAB bağımlılığı: Deep Learning Toolbox ve Stage 6’da MATLAB Experiment Manager. Kaynağa göre ek MATLAB toolbox'ı gerekmemektedir.

İşletim sistemi: Windows, macOS veya Linux.

Yazılım lisansı: MIT License.

Kalıcı yazılım arşivi: 10.5281/zenodo.17650545.

Veri kümesi: Çalışma, ilişkili etiketli dokunma veri kümesini Zenodo üzerinde 10.5281/zenodo.17650600 kaydıyla belirtmektedir.

Finansman: Çalışma RTU-PA-2024/1-0074 araştırma ve geliştirme hibesi ile, AB Recovery and Resilience Facility kapsamında No.5.2.1.1.i.0/2/24/I/CFLA/003 proje çerçevesinde desteklenmiştir.

Çıkar çatışması: Yüklenen çalışmada ayrı bir çıkar çatışması beyanı tespit edilmemiştir; bu durum çıkar çatışması bulunmadığı şeklinde yorumlanmamıştır.

CRediT/yazar katkıları: Yüklenen çalışmada ayrı bir CRediT beyanı bulunmamaktadır.

Bilimsel içerik sınırı: Bu Verianla makalesindeki yazılım mimarisi, veri işleme adımları, CNN yapısı, parametreler, gerçek zamanlı gözlem ve sayısal sonuçlar yüklenen çalışmadan alınmıştır. Bibliyografik dış doğrulama yalnız yayın kimliği ve güncel yayın durumunu kontrol etmek amacıyla kullanılmış; ana bilimsel içeriğe dış deney sonucu eklenmemiştir.

Temel yorum sınırı: Çalışma bir dokunsal hareket tanıma yazılım pipeline’ının geliştirilmesini ve ilişkili veri üzerinde kullanımını göstermektedir. Sistem doğrudan insan duygusunu ölçmemekte, sensör sinyallerini önceden tanımlanmış dokunma sınıflarına ayırmaktadır. Raporlanan model performansı başka insan grupları, sensör düzenleri veya robot sistemleri için otomatik olarak geçerli değildir.