Sesten Duygu — Konuşma Analizi

Konuşmadan özelliğe

Ses kaydı ölçülere çevrilir. Model, yeni kaydı en yakın duygu sınıfına koyar.

Aynı cümle yavaş, tiz veya kısık söylenince farklı bir durum anlatır. Model ham sesi doğrudan sınıflamaz. Önce ölçülebilir değerlere çevirir. Frekans, sesin ne kadar tiz olduğudur. Perde, konuşmanın müzikteki nota karşılığıdır. Şiddet, sesin gücüdür. Aralık, perdenin kayıt boyunca ne kadar değiştiğidir.

Model, önceden etiketlenmiş kayıtlarla eğitilir. Yeni bir kayıt gelince aynı ölçüler çıkarılır ve kayıt, öğrenilmiş sınıflardan en yakınına konur. Sınıf, bu çalışmada tanımlanmış bir duygu etiketidir. Sonuç tıbbi teşhis değildir. Bir yakınlık tahminidir.

Metin verisi

Kayıtlar metne de çevrildi. Bu metinler, daha önce paylaşılmış yorumlarla birleştirilerek ayrı bir metin veri kümesi kuruldu. Ses kümesi ve metin kümesi aynı çalışmanın iki girdisidir.

Bu projede yapılan iş

2024, TETLAB, İstanbul Üniversitesi. Danışmanım Doç. Dr. Leyla Türker Şener’di. İş, bir görüşmedeki gerginliği veya bir dönemdeki yükü ses kaydından tahmin etmekti. Veri topladım, kayıtları temizledim, özellikleri çıkardım ve yükleme ekranını yazdım. Staj bitince uzaktan devam teklifi geldi.