ETKİLEŞİMLİ SES ÜRETİM BAĞLAMINDA JEST TABANLI DİJİTAL ENSTRÜMAN PROTOTİPİ

Bu çalışma, insan hareketlerinin ses üretim süreçleriyle etkileşimini konu alan jest kontrollü bir interaktif enstrümana ve enstrüman arayüzüne dair tasarım ve uygulama sürecini ele almaktadır. Tasarım, Arduino UNO mikrodenetleyicisi ve HC-SR04 ultrasonik mesafe sensörü kullanılarak oluşturulmuş, sensörden elde edilen mesafe verileri seri iletişim protokolü aracılığıyla Max/MSP yazılım ortamına aktarılmıştır. Max/MSP içerisinde bu veriler gerçek zamanlı olarak işlenmiş, belirli aralıklara göre ölçeklendirilerek frekans birimlerine dönüştürülmüştür. Böylece kullanıcı, fiziksel temasa ihtiyaç duymaksızın el hareketleriyle sesin perde ve tını özelliklerini kontrol edebilmiştir. Tasarımın açık kaynak donanım ve yazılım bileşenleriyle gerçekleştirilmiş olması, düşük maliyetli ve esnek bir etkileşimli müzik sistemi ortaya koymuştur. Çalışma, theremin benzeri temassız çalgıların dijital çağda yeniden yorumlanmasına katkı sağlamakta olup özellikle müzik teknolojisi, ses tasarımı ve performans sanatları alanlarında alternatif bir ifade aracı önermektedir. Gelecek araştırmalarda sistemin çoklu sensör yapıları, üç boyutlu hareket takibi ve makine öğrenmesi tabanlı jest tanıma yöntemleriyle geliştirilmesi planlanmaktadır.

The present study addresses the design and implementation process of a gesture-controlled interactive instrument and instrument interface that explores the interaction between human movements and sound production processes. The design was created using an Arduino UNO microcontroller and an HC-SR04 ultrasonic distance sensor. The distance data obtained from the sensor was transferred to the Max/MSP software environment via a serial communication protocol. Within the Max/MSP framework, this data underwent real-time processing, scaling according to predefined intervals, and conversion into frequency units. This innovation enabled the user to modulate the pitch and timbre of the sound through manual manipulation, obviating the necessity for physical contact. The implementation of the design with open-source hardware and software components resulted in a low-cost and flexible interactive music system. The work contributes to the reinterpretation of theremin-like contactless instruments in the digital age and proposes an alternative means of expression, particularly in the fields of music technology, sound design, and performance arts. Subsequent research endeavours are envisaged to entail the enhancement of the system through the incorporation of multi-sensor structures, three-dimensional motion tracking, and machine learning-based gesture recognition methodologies.