SENTIMENT ANALYSIS ON TURKISH MOVIE REVIEWS WITH DEEP BIDIRECTIONAL ENCODER REPRESENTATIONS FROM TRANSFORMERS (BERT) AND SUPPORT VECTOR MACHINES
Abstract
Sentiment analysis, also known as opinion mining, identifies the opinion behind a series of words. Sentiment analysis is used to understand better the perception, thoughts, and feelings conveyed in a textual expression. In this study, sentiment analysis was made on the movie reviews collected from the Turkish movie site beyazperde.com. The proposed method is based on the pre-trained BERTurk model. In the first experiment, deep representations were extracted from the penultimate transformer layer of the BERTurk model and given as input to the Support Vector Machines (SVM). In the second experiment, the classification was carried out by fine-tuning on BERTurk. In the last experiment, deep representations were extracted from the fine-tuned BERTurk model as in the first experiment and the classification with SVM was completed. Experiments have shown that fine-tuned BERTurk representations reach the highest accuracy with a rate of 0.984. While the representations obtained at the end of the fine-tuning process caused an increase of about 10% in the accuracy rate, the combination of the representations obtained from BERTurk with the SVM instead of using BERTurk directly in the classification resulted in an accuracy increase of about 5%.
References
- Ain, Q. T., Ali, M., Riaz, A., Noureen, A., Kamran, M., Hayat, B., & Rehman, A. (2017). Sentiment analysis using deep learning techniques: a review. International Journal of Advanced Computer Science and Applications, 8(6).
- Akgül, E. S., Ertano, C., & Banu, D. İ. R. İ. (2016). Twitter verileri ile duygu analizi. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 22(2), 106-110.
- Catal, C., Gunduz, H., & Ozcan, A. (2021). Malware detection based on graph attention networks for intelligent transportation systems. Electronics, 10(20), 2534.
- Catal, C., & Nangir, M. (2017). A sentiment classification model based on multiple classifiers. Applied Soft Computing, 50, 135-141.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
- Eroğul, U. (2009). Sentiment analysis in Turkish (Master's thesis). Middle East Technical University, Ankara. Gezici, G., & Yanıkoğlu, B. (2018). Sentiment analysis in Turkish. In Turkish natural language processing (pp. 255-271). Springer, Cham.
- Gulsen, E., Gunduz, H., Cataltepe, Z., & Serinol, L. (2015, May). Big data feature selection and projection for gender prediction based on user web behaviour. In 2015 23nd Signal Processing and Communications Applications Conference (SIU) (pp. 1545-1548). IEEE.
- Gunduz, H. (2021). An efficient stock market prediction model using hybrid feature reduction method based on variational autoencoders and recursive feature elimination. Financial Innovation, 7(1), 1-24.
- Guven, Z. A. (2021, September). Comparison of BERT models and machine learning methods for sentiment analysis on Turkish tweets. In 2021 6th International Conference on Computer Science and Engineering (UBMK) (pp. 98-101). IEEE.
- Jin, D., Jin, Z., Zhou, J. T., & Szolovits, P. (2020, April). Is bert really robust? a strong baseline for natural language attack on text classification and entailment. In Proceedings of the AAAI conference on artificial intelligence (Vol. 34, No. 05, pp. 8018-8025).
- Joachims, T. (1999). Making large-scale svm learning. Practical Advances in Kernel Methods-Support Vector Learning.
- Karayiğit, H., Akdagli, A., & Acı, Ç. İ. (2022). BERT-based Transfer Learning Model for COVID-19 Sentiment Analysis on Turkish Instagram Comments. Information Technology and Control, 51(3), 409-428.
- Kilimci, Z. H. (2020). Financial sentiment analysis with Deep Ensemble Models (DEMs) for stock market prediction. Journal of the Faculty of Engineering and Architecture of Gazi University, 35(2), 635-650.
- Nizam, H., & Akın, S. S. (2014). Sosyal medyada makine öğrenmesi ile duygu analizinde dengeli ve dengesiz veri setlerinin performanslarının karşılaştırılması. XIX. Türkiye'de İnternet Konferansı, 1(6).
- Polat, H., & Ağca, P. (2022). Tripadvisor kullanicilarinin türkçe ve i̇ngi̇li̇zce yorumlari kapsaminda duygu anali̇zi̇ yöntemleri̇ni̇n karşilaştirmali anALİZİ. Abant Sosyal Bilimler Dergisi, 22(2), 9
- Poria, S., Cambria, E., Hazarika, D., Majumder, N., Zadeh, A., & Morency, L. P. (2017, July). Context-dependent sentiment analysis in user-generated videos. In Proceedings of the 55th annual meeting of the association for computational linguistics (volume 1: Long papers) (pp. 873-883).
- Sağbaş, E. A. (2023). Filtre Tabanlı Öznitelik Seçim Yöntemleri Kullanılarak Metinlerde Duygu Sınıflandırması Üzerine Karşılaştırmalı Bir Çalışma. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 35(1), 239-250.
- Şahi̇naslan, Ö., Dalyan, H., & Şahi̇naslan, E. (2022). Naive bayes sınıflandırıcısı kullanılarak youtube verileri üzerinden çok dilli duygu analizi. Bilişim Teknolojileri Dergisi, 15(2), 221-22
- Türkmenoglu, C., & Tantug, A. C. (2014, June). Sentiment analysis in Turkish media. In International Conference on Machine Learning (ICML).
- Uca, E., Yilmazer, S., Kizilhan, H., & Karaköse, M. (2022). Sağlık Alanındaki Etkileşimlerde Duygu Analizi Yaklaşımları ve Analizi. Fırat Üniversitesi Uzay ve Savunma Teknolojileri Dergisi 1(1), 465-470,
- Yadollahi, A., Shahraki, A. G., & Zaiane, O. R. (2017). Current state of text sentiment analysis from opinion to emotion mining. ACM Computing Surveys (CSUR), 50(2), 1-33.
- Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., ... & Rush, A. M. (2019). Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771.
- BERTurk (2019). https://huggingface.co/dbmdz/bert-base-turkish-cased, Erişilme tarihi: 19.10.2022.
DERİN TRANSFORMATÖRLERDEN ÇİFT YÖNLÜ KODLAYICI TEMSİLLERİ VE DESTEK VEKTÖR MAKİNELERİ İLE TÜRKÇE FİLM YORUMLARI ÜZERİNE DUYGU ANALİZİ
Abstract
Görüş madenciliği olarak da bilinen duygu analizi bir dizi kelimenin ardındaki görüşü belirlemenin yoludur. Duygu analizi, metinsel bir ifadede iletilen algıyı, düşünceleri ve duyguları daha iyi anlamak için kullanılır. Bu çalışmada Türkçe film sitesi beyazperde.com'dan derlenen film yorumları üzerinde duygu analizi yapılmıştır. Önerilen yöntem ön eğitimli BERTurk modelini temel almıştır. Yapılan ilk deneyde BERTurk modelinin sondan bir önceki dönüştürücü katmanından derin temsiller çıkarılmış ve bu temsiller Destek Vektör Makineleri (DVM) modeline girdi olarak verilmiştir. İkinci deneyde BERTurk üzerinde ince ayarlama yapılarak sınıflandırma gerçekleştirilirken, son deneyde ince ayarlı BERTurk modelinden ilk deneyde olduğu gibi derin temsiller çıkarılmış ve DVM ile sınıflandırma yapılmıştır. Yapılan deneylerde en yüksek doğruluk oranına 0.984 ile ince ayarlı BERTurk temsilleriyle ulaşılmıştır. İnce ayar işlemi sonunda elde edilen temsiller doğruluk oranında yaklaşık %10'luk artışa neden olurken, sınıflandırmada direkt olarak BERTurk yerine BERTurk'ten elde edilen temsiller ile DVM’nin birleşiminin kullanılması yaklaşık %5'lik doğruluk artışıyla sonuçlanmıştır.
References
- Ain, Q. T., Ali, M., Riaz, A., Noureen, A., Kamran, M., Hayat, B., & Rehman, A. (2017). Sentiment analysis using deep learning techniques: a review. International Journal of Advanced Computer Science and Applications, 8(6).
- Akgül, E. S., Ertano, C., & Banu, D. İ. R. İ. (2016). Twitter verileri ile duygu analizi. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 22(2), 106-110.
- Catal, C., Gunduz, H., & Ozcan, A. (2021). Malware detection based on graph attention networks for intelligent transportation systems. Electronics, 10(20), 2534.
- Catal, C., & Nangir, M. (2017). A sentiment classification model based on multiple classifiers. Applied Soft Computing, 50, 135-141.
- Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
- Eroğul, U. (2009). Sentiment analysis in Turkish (Master's thesis). Middle East Technical University, Ankara. Gezici, G., & Yanıkoğlu, B. (2018). Sentiment analysis in Turkish. In Turkish natural language processing (pp. 255-271). Springer, Cham.
- Gulsen, E., Gunduz, H., Cataltepe, Z., & Serinol, L. (2015, May). Big data feature selection and projection for gender prediction based on user web behaviour. In 2015 23nd Signal Processing and Communications Applications Conference (SIU) (pp. 1545-1548). IEEE.
- Gunduz, H. (2021). An efficient stock market prediction model using hybrid feature reduction method based on variational autoencoders and recursive feature elimination. Financial Innovation, 7(1), 1-24.
- Guven, Z. A. (2021, September). Comparison of BERT models and machine learning methods for sentiment analysis on Turkish tweets. In 2021 6th International Conference on Computer Science and Engineering (UBMK) (pp. 98-101). IEEE.
- Jin, D., Jin, Z., Zhou, J. T., & Szolovits, P. (2020, April). Is bert really robust? a strong baseline for natural language attack on text classification and entailment. In Proceedings of the AAAI conference on artificial intelligence (Vol. 34, No. 05, pp. 8018-8025).
- Joachims, T. (1999). Making large-scale svm learning. Practical Advances in Kernel Methods-Support Vector Learning.
- Karayiğit, H., Akdagli, A., & Acı, Ç. İ. (2022). BERT-based Transfer Learning Model for COVID-19 Sentiment Analysis on Turkish Instagram Comments. Information Technology and Control, 51(3), 409-428.
- Kilimci, Z. H. (2020). Financial sentiment analysis with Deep Ensemble Models (DEMs) for stock market prediction. Journal of the Faculty of Engineering and Architecture of Gazi University, 35(2), 635-650.
- Nizam, H., & Akın, S. S. (2014). Sosyal medyada makine öğrenmesi ile duygu analizinde dengeli ve dengesiz veri setlerinin performanslarının karşılaştırılması. XIX. Türkiye'de İnternet Konferansı, 1(6).
- Polat, H., & Ağca, P. (2022). Tripadvisor kullanicilarinin türkçe ve i̇ngi̇li̇zce yorumlari kapsaminda duygu anali̇zi̇ yöntemleri̇ni̇n karşilaştirmali anALİZİ. Abant Sosyal Bilimler Dergisi, 22(2), 9
- Poria, S., Cambria, E., Hazarika, D., Majumder, N., Zadeh, A., & Morency, L. P. (2017, July). Context-dependent sentiment analysis in user-generated videos. In Proceedings of the 55th annual meeting of the association for computational linguistics (volume 1: Long papers) (pp. 873-883).
- Sağbaş, E. A. (2023). Filtre Tabanlı Öznitelik Seçim Yöntemleri Kullanılarak Metinlerde Duygu Sınıflandırması Üzerine Karşılaştırmalı Bir Çalışma. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 35(1), 239-250.
- Şahi̇naslan, Ö., Dalyan, H., & Şahi̇naslan, E. (2022). Naive bayes sınıflandırıcısı kullanılarak youtube verileri üzerinden çok dilli duygu analizi. Bilişim Teknolojileri Dergisi, 15(2), 221-22
- Türkmenoglu, C., & Tantug, A. C. (2014, June). Sentiment analysis in Turkish media. In International Conference on Machine Learning (ICML).
- Uca, E., Yilmazer, S., Kizilhan, H., & Karaköse, M. (2022). Sağlık Alanındaki Etkileşimlerde Duygu Analizi Yaklaşımları ve Analizi. Fırat Üniversitesi Uzay ve Savunma Teknolojileri Dergisi 1(1), 465-470,
- Yadollahi, A., Shahraki, A. G., & Zaiane, O. R. (2017). Current state of text sentiment analysis from opinion to emotion mining. ACM Computing Surveys (CSUR), 50(2), 1-33.
- Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., ... & Rush, A. M. (2019). Huggingface's transformers: State-of-the-art natural language processing. arXiv preprint arXiv:1910.03771.
- BERTurk (2019). https://huggingface.co/dbmdz/bert-base-turkish-cased, Erişilme tarihi: 19.10.2022.
Details
| Primary Language | Turkish |
|---|---|
| Subjects | Computer Software |
| Journal Section | Computer Engineering |
| Authors | |
| Publication Date | June 3, 2023 |
| Submission Date | January 23, 2023 |
| Published in Issue | Year 2023 |