AffectiveCNN физикалык сенсорлуу түзмөктөн Bluetooth аркылуу алынган көп каналдуу тийүү жана кыймыл сигналдарын иштетип, эмоционалдык тийүү кыймылдарын классификациялаган компакттуу бир өлчөмдүү конволюциялык нейрон тармактарын иштеп чыгуу үчүн түзүлгөн MATLAB иш процесси. Sistem; маалымат toplama, dosyaların düzenlenmesi ve takma adlandırılması, сигнал сапатты көзөмөлдөө, insan tepki gecikmesinin etkileşimli olarak kesilmesi, pencereleme ve маалымат artırma, MATLAB Experiment Manager ile CNN mimarisi taraması ve canlı Bluetooth verisi үстүндө реалдуу убакыттагы классификация olmak üzere yedi ardışık aşamadan oluşur. İlişkili çalışmada 25 katılımcıdan elde edilen 18 sınıflı тийүү verisi kullanılmış; 468 архитектура/hiperparametre denemesi sonucunda 13.200 parametreli 14d1_39d2_41d4 topolojisinin boyut ve doğruluk арасында uygun бир denge sağladığı ve ortalama leave-one-subject-out çapraz валидация doğruluğunun %85 экендиги bildirilmiştir. Bununla birlikte бул performans belirli маалымат kümesi, sensörlü түзмөк, katılımcı grubu ve deney protokolüne aittir; bütün insanlarda же farklı dokunsal sistemlerde aynı doğruluk garanti edilmemektedir.

Изилдөөнүн MATLAB жагынан өзгөчө өзгөчөлүгү бир гана CNN моделин үйрөтүүдө эмес. MATLAB, ham сенсор verilerinin hazırlanmasından архитектура aramasına, тест değerlendirmesine ve реалдуу убакыттагы tahmin olasılıklarının görselleştirilmesine kadar bütün araştırma zincirinin борборунда kullanılmıştır. Böylece aynı yazılım ortamında сигнал işleme, терең үйрөнүү, deney yönetimi ve canlı сенсор gözlemi birleştirilmektedir.

Изилдөөнүн негизги көйгөйү эмнеде?

İnsan dokunuşu yalnız fiziksel temas эмес; okşama, hafifçe vurma, sıkma, çekme же tutma сыяктуу hareketler farklı эмоционалдык ve sosyal anlamlar taşıyabilir. Sosyal yardımcı robotların бул temasları anlamlandırabilmesi için ham сенсор sinyallerinden тийүү türünü güvenilir biçimde ayırt etmesi gerekir.

AffectiveCNN’in geliştirilmesine yol açan önceki sistem, сенсор genliği, temas süresi ve frekans alanı özelliklerine dayanan elle belirlenmiş eşiklerden oluşan sezgisel бир algoritmaydı. Kaynakta бул yaklaşımın aktif temas ile hareketsizliği kaba biçimde ayırabildiği, бирок benzer кыймыл örüntülerine sahip көбүрөөк ince тийүү hareketlerini güvenilir biçimde ayırt edemediği белгиленет.

Bunun üzerine geliştirilen yaklaşım, insan tarafından tanımlanan sabit kurallar yerine zaman serilerindeki ayırt edici örüntüleri doğrudan öğrenebilen kompakt бир boyutlu конволюциялык sinir ağlarına, yani 1D CNN modellerine dayanmaktadır.

MATLAB эмне үчүн колдонулган?

Yazar MATLAB seçimini iki temel nedenle açıklamaktadır. Birincisi, MATLAB’ın etkileşimli betik tabanlı изилдөө ortamının сенсор arayüzü geliştirme, сигнал inceleme ve deneysel маалымат işleme сыяктуу yinelemeli araştırma süreçlerine uygun olmasıdır. İkincisi болсо eğitilen ağların gelecekte MATLAB Coder aracılığıyla C/C++ булак koduna dönüştürülebilmesi ve böylece gömülü donanıma aktarım için бир yol sunmasıdır.

Veri toplamanın ilk aşaması MATLAB сыртында Processing/Java ile gerçekleştirilirken, geri kalan altı aşama MATLAB betikleri же MATLAB Experiment Manager Live Script'leri olarak uygulanmıştır.

AffectiveCNNдин жети баскычтуу иш процесси кантип иштейт?

Çalışmanın Şekil 1’inde yazılım mimarisi yedi ardışık modül olarak gösterilmektedir. Ara aşamalar .csv же .mat dosyalarını diske kaydettiği için işlem zinciri gerektiğinde herhangi бир ara basamaktan yeniden başlatılabilir. Böylece üst aşamaların her deneyde yeniden çalıştırılması gerekmez.

Bluetooth аркылуу кандай маалыматтар чогултулат?

Veri toplama modülü sensörlü cihazdan her satırda 14 tamsayı içeren çerçeveler almaktadır. İlk değer bütün algılama elektrotlarının kümülatif kapasitif sinyalidir. İkinci ile onuncu kanallar dokuz ayrı kapasitif sensöre aittir. On birinci, on ikinci ve on üçüncü kanallar sırasıyla X, Y ve Z ivmeölçer bileşenleridir. On dördüncü değer болсо бир önceki маалымат çerçevesinden бул yana geçen süreyi milisaniye cinsinden taşır.

Sayfa 4’teki Gesture Recorder görüntüsü, бул kanalların реалдуу убакыттагы çizgiler hâlinde izlendiği arayüzü göstermektedir. Yazılım 20 saniyelik kayan бир görselleştirme penceresi kullanır. Kayıt başlamadan мурун üç saniyelik geri sayım uygulanır.

Канча түрдүү тийүү кыймылы каралган?

İlişkili маалымат toplama çalışmasında 17 insan tarafından gerçekleştirilen тийүү hareketine ek olarak insan teması bulunmayan “At rest” sınıfı kaydedilmiş ve toplam 18 sınıflı бир классификация taksonomisi oluşturulmuştur.

Kaynağın örnekleri арасында okşama, kaşıma, hafifçe vurma, güçlü vurma, tutma ve çekme сыяктуу farklı temas biçimleri бар. Бул hareketler sensörlü yumuşak cihazın farklı bölgelerine uygulanmıştır.

Файлдар эмне үчүн псевдонимделет?

a_move_labelled_data.m betiği kayıt dosyalarını kişiye/oturuma göre düzenlenmiş yapıdan кыймыл sınıfına göre düzenlenmiş yapıya taşır. Dosya adındaki kayıt oturumunu tanımlayan ilk sayısal bölüm rastgele oluşturulmuş yedi basamaklı бир sayı ile değiştirilir.

Böylece sınıf etiketi korunurken dosyanın булак oturumuyla doğrudan bağlantısı koparılır. Бул işlem çalışmada “organisation and pseudonymisation” aşaması olarak tanımlanmıştır.

Сапатты көзөмөлдөө баскычы эмнени издейт?

b_training_data_analysis.m, her кыймыл sınıfındaki kayıt uzunlukları için ortalama, medyan, standart sapma, minimum ve maksimum değerleri hesaplar. Бир örneğin kayıt uzunluğu sınıf ortalamasından yapılandırılabilir бир oranın үстүндө sapıyorsa aykırı aday olarak işaretlenir.

Varsayılan eşik:

\[ \text{thresholdRange}=0.4 \]

yani sınıf ortalamasına göre yaklaşık ±%40 sapmadır.

Sayfa 4’teki Şekil 3, бул kalite kontrolünün ürettiği aykırı сигнал örneklerini göstermektedir. Sistem aykırı örnekleri otomatik olarak kör biçimde silmek yerine araştırmacının görsel inceleme yapmasına olanak tanır. İlişkili çalışmada түзмөк bağlantısının кыймыл sırasında kesildiği az sayıdaki kayıt бул aşamada tespit edilerek çıkarılmıştır.

Баштапкы кечигүү эмне үчүн кол менен кесилет?

Kayıt başlatma komutu ile katılımcının gerçekten dokunmaya başlaması арасында kişiden kişiye ve denemeden denemeye değişen бир tepki süresi vardır. Бул gecikmenin sabit бир zaman ofsetiyle otomatik kesilmesi, çalışmaya göre үйрөтүү verisine sistematik yanlılık ekleyebilir.

Бул nedenle c_training_data_truncation.m kullanıcıya MATLAB tabanlı бир GUI sunar. Araştırmacı сигнал үстүндө bilinçli temasın başladığı noktayı tek tıklamayla işaretler ve Enter tuşuyla sonraki kayda geçer. Sayfa 5’teki Şekil 4 бул arayüzü göstermektedir.

Kesme iki aşamalıdır: мурун başlangıç kararları kaydedilir; ardından ikinci aşamada dosyalar toplu olarak kesilir. Orijinal veriler üzerine yazılmadan мурун zaman damgalı yedek klasöre alınır.

13 сенсордук өзгөчөлүк эмне үчүн 11 өзгөчөлүккө түшүрүлөт?

Pencereleme öncesinde классификация için kullanılan 13 ham сенсор sütunu 11 özelliğe indirgenir. Üç ayrı X, Y ve Z ivmeölçer bileşeni tek бир vektör büyüklüğü ile değiştirilir:

\[ a=\sqrt{a_x^2+a_y^2+a_z^2} \]

Бул dönüşüm üç ekseni tek ataletsel büyüklüğe indirerek түзмөк yönelimine болгон bağımlılığı azaltmayı amaçlamaktadır. Böylece dokuz bireysel kapasitif kanal, toplam kapasitif kanal ve бир ivme büyüklüğü olmak üzere 11 өзгөчөлүк elde жасалат.

Маалыматтар үйрөтүү, валидация жана тест топтомдоруна кантип бөлүнөт?

İşlenmiş kayıtlar sınıf dağılımını koruyan tabakalı örnekleme ile:

• %70 үйрөтүү,
• %15 валидация,
• %15 тест

түрүндө üç bölüme ayrılmaktadır.

Убакыт катарлары CNN үчүн кантип терезелерге айландырылат?

Varsayılan yöntemde her kayıt 250 örnekten oluşan sabit pencerelere айландырылат. Örnekleme frekansı 100 Hz болгондуктан her терезе:

\[ \frac{250}{100}=2.5\ \text{saniye} \]

uzunluğundadır.

Pencere kaydırma adımı 50 örnektir; dolayısıyla komşu pencereler büyük ölçüde örtüşür. Бул yöntem tek бир uzun кыймыл kaydından birden fazla үйрөтүү örneği oluştururken mevcut сигнал bilgisinin kullanılmasını камсыз кылат.

Alternatif yöntemde kısa kayıtların sonuna sıfır eklemek yerine kayıt döngüsel olarak tekrarlanır. Yazar bunu өзгөчө periyodik kısa hareketlerin spektral özelliklerini sessiz бир sıfır kuyruğuyla değiştirmemek için sunmaktadır.

Символдук CNN тили кантип иштейт?

AffectiveCNN’in dikkat çekici özelliklerinden biri ağ mimarisinin uzun MATLAB kod blokları yerine kompakt бир sembolik alan-özgü dil, yani domain-specific language (DSL) ile tanımlanabilmesidir.

Örneğin:

14d1_39d2_41d4

ifadesi üç evrişim katmanlı бир 1D CNN tanımlar:

Her evrişim katmanını katman normalizasyonu ve ReLU aktivasyonu izlemektedir. Ağın sonunda global average pooling katmanı ile tam bağlı softmax классификация başlığı бар.

Filtre sayısı архитектура dizisinden bağımsız бир genel filtre ölçekleme çarpanıyla değiştirilebilir. Böylece aynı temel архитектура farklı model büyüklüklerinde sistematik olarak denenebilir.

MATLAB Experiment Manager канча моделди сынаган?

İlişkili deneyde toplam 468 үйрөтүү denemesi yapılmıştır. Tarama uzayı:

• 13 farklı архитектура dizesi,
• 4 filtre ölçekleme çarpanı,
• 3 epoch seçeneği,
• 3 batch size seçeneği

içermektedir.

Бул kombinasyon sayısı:

\[ 13\times4\times3\times3=468 \]

olarak elde жасалат.

Experiment Manager bütün үйрөтүү modellerini, öğrenme eğrilerini ve epoch bazındaki валидация metriklerini aynı изилдөө alanında saklamıştır. Araştırmacı böylece sonuçları sıralayabilir, filtreleyebilir ve seçilen modeli ayrı бир реалдуу убакыттагы тест aşamasına aktarabilir.

Реалдуу убакыттагы классификация кантип иштейт?

f_realtime_classifier.m eğitilmiş .mat modelini yükler ve sensörlü cihazdan gelen Bluetooth seri маалымат akışını бир halka tamponda toplar. Tampon 250 örneğe ulaştığında mevcut терезе үстүндө классификация yapılır.

Varsayılan çıkarım adımı 50 örnektir. 100 Hz маалымат akışında бул yaklaşık:

\[ \frac{100}{50}=2\ \text{güncelleme/s} \]

yani yaklaşık 2 Hz tahmin yenileme hızına karşılık gelir.

Sayfa 6’daki Şekil 5, MATLAB реалдуу убакыттагы sınıflandırıcı arayüzünü göstermektedir. Üst bölümde son сенсор penceresi, alt bölümde болсо кыймыл sınıflarına ait tahmin olasılıklarının çubuk grafiği görüntülenmektedir. Arayüz aynı zamanda en olası sınıfı ve güven skorunu gösterir.

İlişkili реалдуу убакыттагы gözlem oturumunda beş katılımcı her кыймыл sınıfını gerçekleştirmiş ve sistemde кыймыл başlangıcından yaklaşık 2,0–2,4 saniye кийин tutarlı, harekete özgü aktivasyonların görüldüğü bildirilmiştir. Бул süre, deneysel olarak kullanılan 2,5 saniyelik pencereleme ve canlı gözlem düzeni bağlamında değerlendirilmelidir.

Бул системаны жумшак робот үчүн гана колдонууга болобу?

Kaynağa göre yazılım mimarisi belirli sensörlü yumuşak түзмөк için geliştirilmiş olsa da işlem zincirinin sonraki aşamaları doğrudan бул donanıma kilitli эмес. Uyumlu sütun yapısına sahip çok kanallı zaman serisi verisi kullanıldığı sürece diğer dokunsal же ataletsel сенсор sistemlerine uyarlanabilir.

Yazar giyilebilir sistemler, protezler ve diğer insan-robot etkileşimi platformlarını olası uyarlama alanları olarak belirtmektedir. Ancak бул alanlarda ayrı deneysel performans doğrulaması бул изилдөө kapsamında sunulmamıştır.

Бул Түркия үчүн эмнени билдирет?

Araştırma Letonya’da Riga Technical University bünyesinde geliştirilmiştir ve Türkiye’ye ait katılımcı же yerel сенсор verisi içermemektedir. Бул nedenle %85 çapraz валидация sonucu Türkiye’deki kullanıcı gruplarına же başka robot sistemlerine doğrudan taşınamaz.

Bununla birlikte kullanılan mühendislik yaklaşımı, Türkiye’de insan-robot etkileşimi, rehabilitasyon teknolojileri, giyilebilir sensörler, sosyal robotlar же dokunsal arayüzler үстүндө çalışan araştırma ekipleri için uyarlanabilir бир metodoloji sunmaktadır. Yerel uygulama için yeni katılımcılar, farklı temas alışkanlıkları, farklı сенсор geometrileri ve hedef donanım үстүндө yeniden маалымат toplama ve валидация gerekir.

Изилдөө эмнени айтат, эмнени айтпайт?

Изилдөө колдогон натыйжалар

• MATLAB tabanlı modüler бир iş akışı ham сенсор kaydından реалдуу убакыттагы CNN gözlemine kadar bütün süreci kapsayabilmektedir.
• MATLAB Experiment Manager ile yüzlerce архитектура ve hiperparametre kombinasyonu otomatik biçimde karşılaştırılabilmiştir.
• İlişkili маалымат kümesi 25 katılımcı ve 18 кыймыл sınıfından oluşmaktadır.
• 14d1_39d2_41d4 topolojisi 13.200 parametre ile kaynakta boyut/doğruluk dengesi açısından seçilen modeldir.
• Бул model için ortalama LOSO-CV doğruluğu %85 olarak raporlanmıştır.
• Canlı Bluetooth verisi üzerinden MATLAB ичинде реалдуу убакыттагы классификация olasılıkları gözlemlenebilmiştir.

Изилдөө колдобогон натыйжалар

• %85 doğruluk bütün kullanıcılar, kültürler, yaş grupları, sensörler же robot platformları için garanti edilen doğruluk эмес.
• Sistem insanın gerçek эмоционалдык durumunu doğrudan ölçmemektedir; сенсор sinyalinden önceden tanımlanmış тийүү hareketi sınıflarını tahmin etmektedir.
• Gerçek zamanlı PC gösterimi, nihai gömülü mikrodenetleyici dağıtımının gerçekleştirildiği anlamına gelmez.
• ESP32 sınıfı mikrodenetleyiciye uygunluk kaynakta teorik hesaplama uyumluluğu olarak tartışılmıştır; бул yazılım çalışması nihai gömülü donanım entegrasyonunu göstermemektedir.
• Başka dokunsal uygulamalara uyarlanabilir olması, бул alanlarda aynı performansın deneysel olarak doğrulandığı anlamına gelmez.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Программалык архитектура

Маалыматтардын жана эксперименттин камтылышы

Архитектураны издөө

Тандалган компакттуу CNN

İlişkili deneyde 14d1_39d2_41d4 mimarisi parametre sayısı ve doğruluk dengesi bakımından seçilmiştir.

LOSO-CV, leave-one-subject-out cross-validation anlamına gelir. Бул değerlendirmede her döngüde бир katılımcının verileri model eğitiminden dışarıda bırakılır ve model көбүрөөк мурун үйрөтүү sırasında görmediği бул katılımcı үстүндө değerlendirilir. Бул yöntem kişiden bağımsız genelleme davranışını incelemek açısından rastgele örnek bölmeye göre көбүрөөк güçlü бир sınama sunabilir; бирок натыйжа yine бул çalışmadaki katılımcı ve маалымат toplama koşullarıyla sınırlıdır.

Программанын кайра өндүрүлүү өзгөчөлүктөрү

• Modüller birbirinden ayrılmıştır.
• Ara veriler CSV ve MAT biçiminde diske kaydedilir.
• İşlem herhangi бир ara aşamadan yeniden başlatılabilir.
• Mimari topolojileri sembolik dizeyle tanımlanabilir.
• Experiment Manager bütün aday modelleri ve metriklerini tek изилдөө alanında saklar.
• Gerçek zamanlı arayüz eğitilmiş MAT modelini doğrudan kullanır.
• Kaynak kodu Git sürüm kontrolü астында yayımlanmıştır.

Изилдөөнүн күчтүү жактары

• Veri toplama ile canlı классификация arasındaki bütün mühendislik zincirini tek изилдөө olarak belgelendirmektedir.
• Kalite kontrol aşaması aykırı sinyalleri otomatik silmek yerine araştırmacıya görünür hâle getirir.
• Tepki gecikmesinin kayıt bazında elle belirlenmesi, sabit zaman kesmesinin yaratabileceği sistematik hatayı azaltmayı hedefler.
• 468 denemelik архитектура taraması elle model seçimine göre көбүрөөк sistematik karşılaştırma камсыз кылат.
• Kompakt sembolik CNN dili архитектура varyasyonlarının hızlı kurulmasını камсыз кылат.
• Gerçek сенсор cihazı ile canlı PC классификация arayüzü үйрөтүү sonrası model davranışının hemen gözlemlenmesine izin verir.

Негизги чектөөлөр

• Yazılım tek бир özgün sensörlü yumuşak түзмөк bağlamında geliştirilmiştir.
• 25 katılımcılık маалымат kümesi farklı nüfuslara doğrudan genellenemez.
• Etkileşimli kesme aşaması insan kararına bağımlıdır ve bütünüyle otomatik эмес.
• Gerçek zamanlı gösterim PC үстүндө gerçekleştirilmiştir; nihai gömülü түзмөк dağıtımı бул çalışmanın kapsamı эмес.
• Alternatif сенсор sistemlerine uyarlanabilirlik yazılım mimarisi düzeyinde açıklanmıştır бирок бул çalışmada бул sistemlerin her birinde ayrı performans deneyleri yapılmamıştır.
• Raporlanan классификация başarımı булак маалымат kümesi ve ilgili deney protokolüne özgüdür.

Булак жана Ыкма Жөнүндө Эскертүү

Tam özgün изилдөө adı: AffectiveCNN: MATLAB Software Pipeline for Affective Tactile Gesture Recognition Using Compact 1D Convolutional Neural Networks

Yazar: Aleksandrs Vališevskis.

Sorumlu yazar: Aleksandrs Vališevskis.

Eş birinci/eş katkı: Çalışma tek yazarlı болгондуктан eş katkı beyanı bulunmamaktadır.

Kurum: Institute of Architecture and Design, Riga Technical University, Riga, Latvia.

Kaynak türü: Bilimsel yazılım geliştirme ve makine öğrenmesi iş akışı tanımlama çalışması.

Yayın durumu: Yüklenen изилдөө hakem değerlendirmesinden geçmemiş бир preprinttir; sonuçları бул yayın aşaması dikkate alınarak değerlendirilmelidir.

Platform: SSRN.

SSRN kayıt numarası: 6679307.

DOI: 10.2139/ssrn.6679307.

SSRN kayıt tarihi: 30 Nisan 2026.

Resmî kayıt: https://ssrn.com/abstract=6679307

Hakemli dergi sürümü: Bibliyografik doğrulamada bağımsız olarak doğrulanmış nihai dergi DOI’si bulunamamıştır. Geliştirici deposunda SoftwareX kaydı için DOI alanı hâlen “TBD” biçimindedir; бул nedenle бул Verianla makalesinde булак preprint olarak değerlendirilmiştir.

Yazılım adı ve sürümü: AffectiveCNN v2.0.

Programlama ortamı: MATLAB R2025a; ilk маалымат toplama modülü Processing/Java.

MATLAB bağımlılığı: Deep Learning Toolbox ve Stage 6’da MATLAB Experiment Manager. Kaynağa göre ek MATLAB toolbox'ı gerekmemektedir.

İşletim sistemi: Windows, macOS же Linux.

Yazılım lisansı: MIT License.

Kalıcı yazılım arşivi: 10.5281/zenodo.17650545.

Veri kümesi: Çalışma, ilişkili etiketli тийүү маалымат kümesini Zenodo үстүндө 10.5281/zenodo.17650600 kaydıyla belirtmektedir.

Finansman: Çalışma RTU-PA-2024/1-0074 araştırma ve geliştirme hibesi ile, AB Recovery and Resilience Facility kapsamında No.5.2.1.1.i.0/2/24/I/CFLA/003 proje çerçevesinde desteklenmiştir.

Çıkar çatışması: Yüklenen çalışmada ayrı бир çıkar çatışması beyanı tespit edilmemiştir; бул durum çıkar çatışması bulunmadığı түрүндө yorumlanmamıştır.

CRediT/yazar katkıları: Yüklenen çalışmada ayrı бир CRediT beyanı bulunmamaktadır.

Bilimsel içerik sınırı: Бул Verianla makalesindeki yazılım mimarisi, маалымат işleme adımları, CNN yapısı, parametreler, реалдуу убакыттагы gözlem ve sayısal sonuçlar yüklenen çalışmadan alınmıştır. Bibliyografik dış валидация yalnız yayın kimliği ve güncel yayın durumunu kontrol etmek amacıyla kullanılmış; ana bilimsel içeriğe dış deney sonucu eklenmemiştir.

Temel yorum sınırı: Çalışma бир dokunsal кыймыл tanıma yazılım pipeline’ının geliştirilmesini ve ilişkili маалымат үстүндө kullanımını göstermektedir. Sistem doğrudan insan duygusunu ölçmemekte, сенсор sinyallerini önceden tanımlanmış тийүү sınıflarına ayırmaktadır. Raporlanan model performansı başka insan grupları, сенсор düzenleri же robot sistemleri için otomatik olarak geçerli эмес.