AffectiveCNN fiziki sensor qurğusundan Bluetooth vasitəsilə alınan çoxkanallı toxunma və hərəkət siqnallarını emal edərək emosional toxunma hərəkətlərini təsnif edən kompakt birölçülü konvolyusion neyron şəbəkələrinin hazırlanması üçün başdan-başa MATLAB iş axınıdır. Sistem məlumatların toplanması, faylların təşkili və psevdonimləşdirilməsi, siqnal keyfiyyətinə nəzarət, insanın reaksiya gecikməsinin interaktiv şəkildə kəsilməsi, pəncərələmə və məlumatların artırılması, MATLAB Experiment Manager ilə CNN arxitekturasının yoxlanması və canlı Bluetooth məlumatları üzərində real vaxtda təsnifat daxil olmaqla yeddi ardıcıl mərhələdən ibarətdir. İlişkili çalışmada 25 katılımcıdan elde edilen 18 sınıflı toxunma verisi kullanılmış; 468 arxitektura/hiperparametre denemesi sonucunda 13.200 parametreli 14d1_39d2_41d4 topolojisinin boyut ve doğruluk arasında uygun bir denge sağladığı ve ortalama leave-one-subject-out çapraz validasiya doğruluğunun %85 olduğu bildirilmiştir. Bununla birlikte bu performans belirli məlumat kümesi, sensörlü qurğu, katılımcı grubu ve deney protokolüne aittir; bütün insanlarda və ya farklı dokunsal sistemlerde aynı doğruluk garanti edilmemektedir.

Tədqiqatın MATLAB baxımından orijinal cəhəti yalnız bir CNN modelinin öyrədilməsi deyil. MATLAB, ham sensor verilerinin hazırlanmasından arxitektura aramasına, test değerlendirmesine ve real vaxtda tahmin olasılıklarının görselleştirilmesine kadar bütün araştırma zincirinin mərkəzində kullanılmıştır. Böylece aynı yazılım ortamında siqnal işleme, dərin öyrənmə, deney yönetimi ve canlı sensor gözlemi birleştirilmektedir.

Tədqiqatın əsas problemi nədir?

İnsan dokunuşu yalnız fiziksel temas deyil; okşama, hafifçe vurma, sıkma, çekme və ya tutma kimi hareketler farklı emosional ve sosyal anlamlar taşıyabilir. Sosyal yardımcı robotların bu temasları anlamlandırabilmesi için ham sensor sinyallerinden toxunma türünü güvenilir biçimde ayırt etmesi gerekir.

AffectiveCNN’in geliştirilmesine yol açan önceki sistem, sensor genliği, temas süresi ve frekans alanı özelliklerine dayanan elle belirlenmiş eşiklerden oluşan sezgisel bir algoritmaydı. Kaynakta bu yaklaşımın aktif temas ile hareketsizliği kaba biçimde ayırabildiği, lakin benzer hərəkət örüntülerine sahip daha ince toxunma hareketlerini güvenilir biçimde ayırt edemediği qeyd olunur.

Bunun üzerine geliştirilen yaklaşım, insan tarafından tanımlanan sabit kurallar yerine zaman serilerindeki ayırt edici örüntüleri doğrudan öğrenebilen kompakt bir boyutlu konvolyusion sinir ağlarına, yani 1D CNN modellerine dayanmaktadır.

Nə üçün MATLAB istifadə olunub?

Yazar MATLAB seçimini iki temel nedenle açıklamaktadır. Birincisi, MATLAB’ın etkileşimli betik tabanlı tədqiqat ortamının sensor arayüzü geliştirme, siqnal inceleme ve deneysel məlumat işleme kimi yinelemeli araştırma süreçlerine uygun olmasıdır. İkincisi isə eğitilen ağların gelecekte MATLAB Coder aracılığıyla C/C++ mənbə koduna dönüştürülebilmesi ve böylece gömülü donanıma aktarım için bir yol sunmasıdır.

Veri toplamanın ilk aşaması MATLAB xaricində Processing/Java ile gerçekleştirilirken, geri kalan altı aşama MATLAB betikleri və ya MATLAB Experiment Manager Live Script'leri olarak uygulanmıştır.

Yeddi mərhələli AffectiveCNN iş axını necə işləyir?

Çalışmanın Şekil 1’inde yazılım mimarisi yedi ardışık modül olarak gösterilmektedir. Ara aşamalar .csv və ya .mat dosyalarını diske kaydettiği için işlem zinciri gerektiğinde herhangi bir ara basamaktan yeniden başlatılabilir. Böylece üst aşamaların her deneyde yeniden çalıştırılması gerekmez.

Bluetooth vasitəsilə hansı məlumatlar toplanır?

Veri toplama modülü sensörlü cihazdan her satırda 14 tamsayı içeren çerçeveler almaktadır. İlk değer bütün algılama elektrotlarının kümülatif kapasitif sinyalidir. İkinci ile onuncu kanallar dokuz ayrı kapasitif sensöre aittir. On birinci, on ikinci ve on üçüncü kanallar sırasıyla X, Y ve Z ivmeölçer bileşenleridir. On dördüncü değer isə bir önceki məlumat çerçevesinden bu yana geçen süreyi milisaniye cinsinden taşır.

Sayfa 4’teki Gesture Recorder görüntüsü, bu kanalların real vaxtda çizgiler hâlinde izlendiği arayüzü göstermektedir. Yazılım 20 saniyelik kayan bir görselleştirme penceresi kullanır. Kayıt başlamadan əvvəl üç saniyelik geri sayım uygulanır.

Neçə müxtəlif toxunma hərəkəti nəzərdən keçirilib?

İlişkili məlumat toplama çalışmasında 17 insan tarafından gerçekleştirilen toxunma hareketine ek olarak insan teması bulunmayan “At rest” sınıfı kaydedilmiş ve toplam 18 sınıflı bir təsnifat taksonomisi oluşturulmuştur.

Kaynağın örnekleri arasında okşama, kaşıma, hafifçe vurma, güçlü vurma, tutma ve çekme kimi farklı temas biçimleri mövcuddur. Bu hareketler sensörlü yumuşak cihazın farklı bölgelerine uygulanmıştır.

Fayllar nə üçün psevdonimləşdirilir?

a_move_labelled_data.m betiği kayıt dosyalarını kişiye/oturuma göre düzenlenmiş yapıdan hərəkət sınıfına göre düzenlenmiş yapıya taşır. Dosya adındaki kayıt oturumunu tanımlayan ilk sayısal bölüm rastgele oluşturulmuş yedi basamaklı bir sayı ile değiştirilir.

Böylece sınıf etiketi korunurken dosyanın mənbə oturumuyla doğrudan bağlantısı koparılır. Bu işlem çalışmada “organisation and pseudonymisation” aşaması olarak tanımlanmıştır.

Keyfiyyətə nəzarət mərhələsi nəyi axtarır?

b_training_data_analysis.m, her hərəkət sınıfındaki kayıt uzunlukları için ortalama, medyan, standart sapma, minimum ve maksimum değerleri hesaplar. Bir örneğin kayıt uzunluğu sınıf ortalamasından yapılandırılabilir bir oranın üzərində sapıyorsa aykırı aday olarak işaretlenir.

Varsayılan eşik:

\[ \text{thresholdRange}=0.4 \]

yani sınıf ortalamasına göre yaklaşık ±%40 sapmadır.

Sayfa 4’teki Şekil 3, bu kalite kontrolünün ürettiği aykırı siqnal örneklerini göstermektedir. Sistem aykırı örnekleri otomatik olarak kör biçimde silmek yerine araştırmacının görsel inceleme yapmasına olanak tanır. İlişkili çalışmada qurğu bağlantısının hərəkət sırasında kesildiği az sayıdaki kayıt bu aşamada tespit edilerek çıkarılmıştır.

Başlanğıc gecikməsi nə üçün əl ilə kəsilir?

Kayıt başlatma komutu ile katılımcının gerçekten dokunmaya başlaması arasında kişiden kişiye ve denemeden denemeye değişen bir tepki süresi vardır. Bu gecikmenin sabit bir zaman ofsetiyle otomatik kesilmesi, çalışmaya göre təlim verisine sistematik yanlılık ekleyebilir.

Bu nedenle c_training_data_truncation.m kullanıcıya MATLAB tabanlı bir GUI sunar. Araştırmacı siqnal üzərində bilinçli temasın başladığı noktayı tek tıklamayla işaretler ve Enter tuşuyla sonraki kayda geçer. Sayfa 5’teki Şekil 4 bu arayüzü göstermektedir.

Kesme iki aşamalıdır: əvvəl başlangıç kararları kaydedilir; ardından ikinci aşamada dosyalar toplu olarak kesilir. Orijinal veriler üzerine yazılmadan əvvəl zaman damgalı yedek klasöre alınır.

13 sensor xüsusiyyəti nə üçün 11 xüsusiyyətə endirilir?

Pencereleme öncesinde təsnifat için kullanılan 13 ham sensor sütunu 11 özelliğe indirgenir. Üç ayrı X, Y ve Z ivmeölçer bileşeni tek bir vektör büyüklüğü ile değiştirilir:

\[ a=\sqrt{a_x^2+a_y^2+a_z^2} \]

Bu dönüşüm üç ekseni tek ataletsel büyüklüğe indirerek qurğu yönelimine olan bağımlılığı azaltmayı amaçlamaktadır. Böylece dokuz bireysel kapasitif kanal, toplam kapasitif kanal ve bir ivme büyüklüğü olmak üzere 11 xüsusiyyət elde edilir.

Məlumatlar təlim, validasiya və test qruplarına necə bölünür?

İşlenmiş kayıtlar sınıf dağılımını koruyan tabakalı örnekleme ile:

• %70 təlim,
• %15 validasiya,
• %15 test

şəklində üç bölüme ayrılmaktadır.

Zaman sıraları CNN üçün necə pəncərələrə çevrilir?

Varsayılan yöntemde her kayıt 250 örnekten oluşan sabit pencerelere çevrilir. Örnekleme frekansı 100 Hz olduğundan her pəncərə:

\[ \frac{250}{100}=2.5\ \text{saniye} \]

uzunluğundadır.

Pencere kaydırma adımı 50 örnektir; dolayısıyla komşu pencereler büyük ölçüde örtüşür. Bu yöntem tek bir uzun hərəkət kaydından birden fazla təlim örneği oluştururken mevcut siqnal bilgisinin kullanılmasını təmin edir.

Alternatif yöntemde kısa kayıtların sonuna sıfır eklemek yerine kayıt döngüsel olarak tekrarlanır. Yazar bunu xüsusilə periyodik kısa hareketlerin spektral özelliklerini sessiz bir sıfır kuyruğuyla değiştirmemek için sunmaktadır.

Simvolik CNN dili necə işləyir?

AffectiveCNN’in dikkat çekici özelliklerinden biri ağ mimarisinin uzun MATLAB kod blokları yerine kompakt bir sembolik alan-özgü dil, yani domain-specific language (DSL) ile tanımlanabilmesidir.

Örneğin:

14d1_39d2_41d4

ifadesi üç evrişim katmanlı bir 1D CNN tanımlar:

Her evrişim katmanını katman normalizasyonu ve ReLU aktivasyonu izlemektedir. Ağın sonunda global average pooling katmanı ile tam bağlı softmax təsnifat başlığı mövcuddur.

Filtre sayısı arxitektura dizisinden bağımsız bir genel filtre ölçekleme çarpanıyla değiştirilebilir. Böylece aynı temel arxitektura farklı model büyüklüklerinde sistematik olarak denenebilir.

MATLAB Experiment Manager neçə modeli sınaqdan keçirib?

İlişkili deneyde toplam 468 təlim denemesi yapılmıştır. Tarama uzayı:

• 13 farklı arxitektura dizesi,
• 4 filtre ölçekleme çarpanı,
• 3 epoch seçeneği,
• 3 batch size seçeneği

içermektedir.

Bu kombinasyon sayısı:

\[ 13\times4\times3\times3=468 \]

olarak elde edilir.

Experiment Manager bütün təlim modellerini, öğrenme eğrilerini ve epoch bazındaki validasiya metriklerini aynı tədqiqat alanında saklamıştır. Araştırmacı böylece sonuçları sıralayabilir, filtreleyebilir ve seçilen modeli ayrı bir real vaxtda test aşamasına aktarabilir.

Real vaxtda təsnifat necə işləyir?

f_realtime_classifier.m eğitilmiş .mat modelini yükler ve sensörlü cihazdan gelen Bluetooth seri məlumat akışını bir halka tamponda toplar. Tampon 250 örneğe ulaştığında mevcut pəncərə üzərində təsnifat yapılır.

Varsayılan çıkarım adımı 50 örnektir. 100 Hz məlumat akışında bu yaklaşık:

\[ \frac{100}{50}=2\ \text{güncelleme/s} \]

yani yaklaşık 2 Hz tahmin yenileme hızına karşılık gelir.

Sayfa 6’daki Şekil 5, MATLAB real vaxtda sınıflandırıcı arayüzünü göstermektedir. Üst bölümde son sensor penceresi, alt bölümde isə hərəkət sınıflarına ait tahmin olasılıklarının çubuk grafiği görüntülenmektedir. Arayüz aynı zamanda en olası sınıfı ve güven skorunu gösterir.

İlişkili real vaxtda gözlem oturumunda beş katılımcı her hərəkət sınıfını gerçekleştirmiş ve sistemde hərəkət başlangıcından yaklaşık 2,0–2,4 saniye sonra tutarlı, harekete özgü aktivasyonların görüldüğü bildirilmiştir. Bu süre, deneysel olarak kullanılan 2,5 saniyelik pencereleme ve canlı gözlem düzeni bağlamında değerlendirilmelidir.

Bu sistem yalnız yumşaq robot üçün istifadə oluna bilərmi?

Kaynağa göre yazılım mimarisi belirli sensörlü yumuşak qurğu için geliştirilmiş olsa da işlem zincirinin sonraki aşamaları doğrudan bu donanıma kilitli deyil. Uyumlu sütun yapısına sahip çok kanallı zaman serisi verisi kullanıldığı sürece diğer dokunsal və ya ataletsel sensor sistemlerine uyarlanabilir.

Yazar giyilebilir sistemler, protezler ve diğer insan-robot etkileşimi platformlarını olası uyarlama alanları olarak belirtmektedir. Ancak bu alanlarda ayrı deneysel performans doğrulaması bu tədqiqat kapsamında sunulmamıştır.

Bu, Türkiyə baxımından nə ifadə edir?

Araştırma Letonya’da Riga Technical University bünyesinde geliştirilmiştir ve Türkiye’ye ait katılımcı və ya yerel sensor verisi içermemektedir. Bu nedenle %85 çapraz validasiya sonucu Türkiye’deki kullanıcı gruplarına və ya başka robot sistemlerine doğrudan taşınamaz.

Bununla birlikte kullanılan mühendislik yaklaşımı, Türkiye’de insan-robot etkileşimi, rehabilitasyon teknolojileri, giyilebilir sensörler, sosyal robotlar və ya dokunsal arayüzler üzərində çalışan araştırma ekipleri için uyarlanabilir bir metodoloji sunmaktadır. Yerel uygulama için yeni katılımcılar, farklı temas alışkanlıkları, farklı sensor geometrileri ve hedef donanım üzərində yeniden məlumat toplama ve validasiya gerekir.

Tədqiqat nə deyir, nə demir?

Tədqiqatın dəstəklədiyi nəticələr

• MATLAB tabanlı modüler bir iş akışı ham sensor kaydından real vaxtda CNN gözlemine kadar bütün süreci kapsayabilmektedir.
• MATLAB Experiment Manager ile yüzlerce arxitektura ve hiperparametre kombinasyonu otomatik biçimde karşılaştırılabilmiştir.
• İlişkili məlumat kümesi 25 katılımcı ve 18 hərəkət sınıfından oluşmaktadır.
• 14d1_39d2_41d4 topolojisi 13.200 parametre ile kaynakta boyut/doğruluk dengesi açısından seçilen modeldir.
• Bu model için ortalama LOSO-CV doğruluğu %85 olarak raporlanmıştır.
• Canlı Bluetooth verisi üzerinden MATLAB içində real vaxtda təsnifat olasılıkları gözlemlenebilmiştir.

Tədqiqatın dəstəkləmədiyi nəticələr

• %85 doğruluk bütün kullanıcılar, kültürler, yaş grupları, sensörler və ya robot platformları için garanti edilen doğruluk deyil.
• Sistem insanın gerçek emosional durumunu doğrudan ölçmemektedir; sensor sinyalinden önceden tanımlanmış toxunma hareketi sınıflarını tahmin etmektedir.
• Gerçek zamanlı PC gösterimi, nihai gömülü mikrodenetleyici dağıtımının gerçekleştirildiği anlamına gelmez.
• ESP32 sınıfı mikrodenetleyiciye uygunluk kaynakta teorik hesaplama uyumluluğu olarak tartışılmıştır; bu yazılım çalışması nihai gömülü donanım entegrasyonunu göstermemektedir.
• Başka dokunsal uygulamalara uyarlanabilir olması, bu alanlarda aynı performansın deneysel olarak doğrulandığı anlamına gelmez.

Tədqiqatın Metodu və Nəticələri

Proqram arxitekturası

Məlumat və eksperimentin əhatə dairəsi

Arxitektura axtarışı

Seçilmiş kompakt CNN

İlişkili deneyde 14d1_39d2_41d4 mimarisi parametre sayısı ve doğruluk dengesi bakımından seçilmiştir.

LOSO-CV, leave-one-subject-out cross-validation anlamına gelir. Bu değerlendirmede her döngüde bir katılımcının verileri model eğitiminden dışarıda bırakılır ve model daha əvvəl təlim sırasında görmediği bu katılımcı üzərində değerlendirilir. Bu yöntem kişiden bağımsız genelleme davranışını incelemek açısından rastgele örnek bölmeye göre daha güçlü bir sınama sunabilir; lakin nəticə yine bu çalışmadaki katılımcı ve məlumat toplama koşullarıyla sınırlıdır.

Proqramın təkrarolunabilirlik xüsusiyyətləri

• Modüller birbirinden ayrılmıştır.
• Ara veriler CSV ve MAT biçiminde diske kaydedilir.
• İşlem herhangi bir ara aşamadan yeniden başlatılabilir.
• Mimari topolojileri sembolik dizeyle tanımlanabilir.
• Experiment Manager bütün aday modelleri ve metriklerini tek tədqiqat alanında saklar.
• Gerçek zamanlı arayüz eğitilmiş MAT modelini doğrudan kullanır.
• Kaynak kodu Git sürüm kontrolü altında yayımlanmıştır.

Tədqiqatın güclü tərəfləri

• Veri toplama ile canlı təsnifat arasındaki bütün mühendislik zincirini tek tədqiqat olarak belgelendirmektedir.
• Kalite kontrol aşaması aykırı sinyalleri otomatik silmek yerine araştırmacıya görünür hâle getirir.
• Tepki gecikmesinin kayıt bazında elle belirlenmesi, sabit zaman kesmesinin yaratabileceği sistematik hatayı azaltmayı hedefler.
• 468 denemelik arxitektura taraması elle model seçimine göre daha sistematik karşılaştırma təmin edir.
• Kompakt sembolik CNN dili arxitektura varyasyonlarının hızlı kurulmasını təmin edir.
• Gerçek sensor cihazı ile canlı PC təsnifat arayüzü təlim sonrası model davranışının hemen gözlemlenmesine izin verir.

Əsas məhdudiyyətlər

• Yazılım tek bir özgün sensörlü yumuşak qurğu bağlamında geliştirilmiştir.
• 25 katılımcılık məlumat kümesi farklı nüfuslara doğrudan genellenemez.
• Etkileşimli kesme aşaması insan kararına bağımlıdır ve bütünüyle otomatik deyil.
• Gerçek zamanlı gösterim PC üzərində gerçekleştirilmiştir; nihai gömülü qurğu dağıtımı bu çalışmanın kapsamı deyil.
• Alternatif sensor sistemlerine uyarlanabilirlik yazılım mimarisi düzeyinde açıklanmıştır lakin bu çalışmada bu sistemlerin her birinde ayrı performans deneyleri yapılmamıştır.
• Raporlanan təsnifat başarımı mənbə məlumat kümesi ve ilgili deney protokolüne özgüdür.

Mənbə və Metod Qeydi

Tam özgün tədqiqat adı: AffectiveCNN: MATLAB Software Pipeline for Affective Tactile Gesture Recognition Using Compact 1D Convolutional Neural Networks

Yazar: Aleksandrs Vališevskis.

Sorumlu yazar: Aleksandrs Vališevskis.

Eş birinci/eş katkı: Çalışma tek yazarlı olduğundan eş katkı beyanı bulunmamaktadır.

Kurum: Institute of Architecture and Design, Riga Technical University, Riga, Latvia.

Kaynak türü: Bilimsel yazılım geliştirme ve makine öğrenmesi iş akışı tanımlama çalışması.

Yayın durumu: Yüklenen tədqiqat hakem değerlendirmesinden geçmemiş bir preprinttir; sonuçları bu yayın aşaması dikkate alınarak değerlendirilmelidir.

Platform: SSRN.

SSRN kayıt numarası: 6679307.

DOI: 10.2139/ssrn.6679307.

SSRN kayıt tarihi: 30 Nisan 2026.

Resmî kayıt: https://ssrn.com/abstract=6679307

Hakemli dergi sürümü: Bibliyografik doğrulamada bağımsız olarak doğrulanmış nihai dergi DOI’si bulunamamıştır. Geliştirici deposunda SoftwareX kaydı için DOI alanı hâlen “TBD” biçimindedir; bu nedenle bu Verianla makalesinde mənbə preprint olarak değerlendirilmiştir.

Yazılım adı ve sürümü: AffectiveCNN v2.0.

Programlama ortamı: MATLAB R2025a; ilk məlumat toplama modülü Processing/Java.

MATLAB bağımlılığı: Deep Learning Toolbox ve Stage 6’da MATLAB Experiment Manager. Kaynağa göre ek MATLAB toolbox'ı gerekmemektedir.

İşletim sistemi: Windows, macOS və ya Linux.

Yazılım lisansı: MIT License.

Kalıcı yazılım arşivi: 10.5281/zenodo.17650545.

Veri kümesi: Çalışma, ilişkili etiketli toxunma məlumat kümesini Zenodo üzərində 10.5281/zenodo.17650600 kaydıyla belirtmektedir.

Finansman: Çalışma RTU-PA-2024/1-0074 araştırma ve geliştirme hibesi ile, AB Recovery and Resilience Facility kapsamında No.5.2.1.1.i.0/2/24/I/CFLA/003 proje çerçevesinde desteklenmiştir.

Çıkar çatışması: Yüklenen çalışmada ayrı bir çıkar çatışması beyanı tespit edilmemiştir; bu durum çıkar çatışması bulunmadığı şəklində yorumlanmamıştır.

CRediT/yazar katkıları: Yüklenen çalışmada ayrı bir CRediT beyanı bulunmamaktadır.

Bilimsel içerik sınırı: Bu Verianla makalesindeki yazılım mimarisi, məlumat işleme adımları, CNN yapısı, parametreler, real vaxtda gözlem ve sayısal sonuçlar yüklenen çalışmadan alınmıştır. Bibliyografik dış validasiya yalnız yayın kimliği ve güncel yayın durumunu kontrol etmek amacıyla kullanılmış; ana bilimsel içeriğe dış deney sonucu eklenmemiştir.

Temel yorum sınırı: Çalışma bir dokunsal hərəkət tanıma yazılım pipeline’ının geliştirilmesini ve ilişkili məlumat üzərində kullanımını göstermektedir. Sistem doğrudan insan duygusunu ölçmemekte, sensor sinyallerini önceden tanımlanmış toxunma sınıflarına ayırmaktadır. Raporlanan model performansı başka insan grupları, sensor düzenleri və ya robot sistemleri için otomatik olarak geçerli deyil.