DERİN TRANSFORMATÖRLERDEN ÇİFT YÖNLÜ KODLAYICI TEMSİLLERİ VE DESTEK VEKTÖR MAKİNELERİ İLE TÜRKÇE FİLM YORUMLARI ÜZERİNE DUYGU ANALİZİ

Sentiment analysis, also known as opinion mining, identifies the opinion behind a series of words. Sentiment analysis is used to understand better the perception, thoughts, and feelings conveyed in a textual expression. In this study, sentiment analysis was made on the movie reviews collected from the Turkish movie site beyazperde.com. The proposed method is based on the pre-trained BERTurk model. In the first experiment, deep representations were extracted from the penultimate transformer layer of the BERTurk model and given as input to the Support Vector Machines (SVM). In the second experiment, the classification was carried out by fine-tuning on BERTurk. In the last experiment, deep representations were extracted from the fine-tuned BERTurk model as in the first experiment and the classification with SVM was completed. Experiments have shown that fine-tuned BERTurk representations reach the highest accuracy with a rate of 0.984. While the representations obtained at the end of the fine-tuning process caused an increase of about 10% in the accuracy rate, the combination of the representations obtained from BERTurk with the SVM instead of using BERTurk directly in the classification resulted in an accuracy increase of about 5%.

Görüş madenciliği olarak da bilinen duygu analizi bir dizi kelimenin ardındaki görüşü belirlemenin yoludur. Duygu analizi, metinsel bir ifadede iletilen algıyı, düşünceleri ve duyguları daha iyi anlamak için kullanılır. Bu çalışmada Türkçe film sitesi beyazperde.com'dan derlenen film yorumları üzerinde duygu analizi yapılmıştır. Önerilen yöntem ön eğitimli BERTurk modelini temel almıştır. Yapılan ilk deneyde BERTurk modelinin sondan bir önceki dönüştürücü katmanından derin temsiller çıkarılmış ve bu temsiller Destek Vektör Makineleri (DVM) modeline girdi olarak verilmiştir. İkinci deneyde BERTurk üzerinde ince ayarlama yapılarak sınıflandırma gerçekleştirilirken, son deneyde ince ayarlı BERTurk modelinden ilk deneyde olduğu gibi derin temsiller çıkarılmış ve DVM ile sınıflandırma yapılmıştır. Yapılan deneylerde en yüksek doğruluk oranına 0.984 ile ince ayarlı BERTurk temsilleriyle ulaşılmıştır. İnce ayar işlemi sonunda elde edilen temsiller doğruluk oranında yaklaşık %10'luk artışa neden olurken, sınıflandırmada direkt olarak BERTurk yerine BERTurk'ten elde edilen temsiller ile DVM’nin birleşiminin kullanılması yaklaşık %5'lik doğruluk artışıyla sonuçlanmıştır.