ANALYSIS OF TURKISH COMMENTS ON MENTAL HEALTH IN SOCIAL MEDIA THROUGH TRANSFORMER-BASED EMOTION CLASSIFICATION

Instagram platformunda paylaşılan Türkçe yorumlar üzerinden ruh sağlığına yönelik duygusal tepkilerin makine öğrenimi algoritmaları ile incelenmesini amaçlayan bu çalışmada, XLM-RoBERTa-Large, BERTurk ve Electra-Turkish gibi güncel ve güçlü Transformer tabanlı modeller kullanılarak çok kategorili duygu sınıflandırması gerçekleştirilmiştir. Belirlenen zaman diliminde toplanan veriler, beş farklı duygu kategorisine ayrılarak etiketlenmiş ve modellerin doğruluk ve F1-Skoru gibi ölçütler üzerinden performansları karşılaştırılmıştır. Analiz sonuçlarına göre, XLM-RoBERTa-Large modeli %92 doğruluk ve %90.5 F1-skoru ile en yüksek performansı sergilemiştir. Tüm modeller bazında yapılan değerlendirmede, en yüksek doğruluk ve F1-skoru değerlerinin Şükran ve Aşk/Hayranlık kategorilerinde elde edildiği görülmüştür. Öte yandan, her üç modelde de en düşük sınıflandırma performansının Üzüntü kategorisinde olduğu belirlenmiştir. Özellikle XLM-RoBERTa-Large modeli, "Şükran" sınıfında %94 doğruluk ve %94.5 F1-skoru ile en başarılı sonuçları sağlamıştır. Anlam olarak yakın duyguların varlığı, modellerin duygu ayrımındaki performansını olumsuz yönde etkilemiştir. Çalışmanın bulguları, sosyal medya verilerinin ruh sağlığına ilişkin duygusal eğilimlerin analizinde değerli bir kaynak olabileceğini göstermiştir.

In this study, which aims to examine emotional reactions towards mental health through Turkish comments shared on the Instagram platform using machine learning algorithms, multi-category sentiment classification was performed utilizing current and powerful Transformer-based models such as XLM-RoBERTa-Large, BERTurk, and Electra-Turkish. The dataset, collected over a specified time period, was labeled into five distinct sentiment categories. The models’ performances were evaluated and compared based on key metrics, including accuracy and F1-Score. According to the analysis results, the XLM-RoBERTa-Large model achieved the best performance with 92% accuracy and a 90.5% F1-Score. the XLM-RoBERTa-Large model provided the best results in the “Gratitude” category with 94% accuracy and 94.5% F1-score. In the evaluation of all models, it was observed that the highest accuracy and F1- Conversely, the Sadness category yielded the lowest classification performance across all models. The close semantic proximity between certain emotional categories was found to negatively impact model performance. The study’s findings indicate that social media data can serve as a valuable resource for analyzing emotional tendencies related to mental health.