Analisis Sentimen Penanganan Covid-19 dengan Support Vector Machine: Evaluasi Leksikon dan Metode Ekstraksi Fitur
Article Sidebar
Main Article Content
Abstract
Peneliti melakukan uji perbandingan metode ekstraksi fitur dan leksikon bahasa Indonesia pada analisis sentimen teks di media sosial terkait penanganan Covid-19. Set data yang digunakan berasal dari penelitian sebelumnya yang divalidasi ahli bahasa. Penelitian ini bertujuan mengukur performa kamus sentimen kata dari leksikon InSet dan sentistrength_id terhadap label aktual, berikutnya untuk mengetahui pengaruh pemilihan metode ekstraksi fitur term presence, BoW, dan TF-IDF. Proses penelitian dimulai dengan tahap prapengolahan teks, pemilihan metode ekstraksi fitur, pelabelan kata dengan leksikon, dan klasifikasi sentimen dengan Support Vector Machine (SVM). Evaluasi akhir dilakukan dengan k-Fold cross validation menggunakan data yang disintesis dengan algoritma SMOTE. Pengujian awal menunjukkan bahwa kamus sentimen kata leksikon sentistrength_id menghasilkan skor akurasi sedikit lebih tinggi (64,46%) dibanding InSet (62,65%) saat dikombinasikan dengan TF-IDF.
Di tahap evaluasi akhir, kamus sentimen kata sentistrength_id masih menunjukkan performa yang relatif lebih baik berdasarkan rerata nilai akurasi, presisi, sensitivitas, dan f-measure (59,22%, 61,1%, 31,3%, 41,0%) dibanding InSet (58,98%, 62,2%, 26,1%, 36,6%) saat dikombinasikan dengan TF-IDF. Secara umum, performa kedua leksikon memang masih di bawah data dengan label aktual yang mengindikasikan kedua leksikon belum cukup kuat dalam menentukan kelas kata. Penyebabnya bisa karena jumlah data yang relatif sedikit atau karena normalisasi teks belum cukup dilakukan secara maksimal.
Article Details
This work is licensed under a Creative Commons Attribution 4.0 International License.
References
DePaula N, Dincelli E, Harrison TM, “Toward a typology of government social media communication: Democratic goals, symbolic acts and self-presentation”, Government Information Quarterly, 2018, 35(1), 98–108, doi: 10.1016/j.giq.2017.10.003.
Chen Q, Min C, Zhang W, Wang G, Ma X, Evans R, “Unpacking the black box: How to promote citizen engagement through government social media during the COVID-19 crisis”, Computers in Human Behavior, 2020, 12, doi: 10.1016/j.chb. 2020.106380.
Prastyo PH, Sumi AS, Dian AW, Permanasari AE, “Tweets Responding to the Indonesian Government’s Handling of COVID-19: Sentiment Analysis Using SVM with Normalized Poly Kernel”, Journal of Information Systems Engineering and Business Intelligence, 2020, 11.
Liu B, Sentiment analysis: mining opinions, sentiments, and emotions. New York, NY: Cambridge University Press, 2015.
Cambria E, Das D, Bandyopadhyay S, Feraco A, editors, A Practical Guide to Sentiment Analysis. vol. 5. Cham: Springer International Publishing, 2017. doi: 10.1007/978-3-319-55394-8.
Koto F, Rahmaningtyas GY, “Inset lexicon: Evaluation of a word list for Indonesian sentiment analysis in microblogs”, 2017 International Conference on Asian Language Processing (IALP), Singapore: IEEE, 2017, p. 391–4, doi: 10.1109/IALP.2017.391–4.
Wahid DH, Azhari SN, “Peringkasan Sentimen Esktraktif di Twitter Menggunakan Hybrid TF-IDF dan Cosine Similarity”, Indonesian Journal of Computer Cybernetics System (IJCCS), 2016, 10:207, doi: 10.22146/ijccs.16625.
Abdillah WF, sentimen-bahasa: Implementasi analisis sentimen untuk teks berbahasa Indonesia di media sosial, 2021, [Online], tautan: https://github.com/onpilot/sentimen-bahasa, diakses pada: 25 Agustus 2021.
Salsabila NA, Kamus Alay - Colloquial Indonesian Lexicon, 2020, [Online], tautan: https://github.com/nasalsabila/kamus-alay, diakses pada: 26 Mei 2021.
Salsabila NA, Winatmoko YA, Septiandri AA, Jamal A, “Colloquial Indonesian Lexicon”, 2018 International Conference on Asian Language Processing (IALP), Bandung, Indonesia: IEEE; 2018, p. 226–9, doi: 10.1109/IALP.2018.8629151.
Septiandri AA, Wibisono O, “Detecting spam comments on Indonesia’s Instagram posts”, Journal of Physics: Conference Series, 2017, 801:012069, doi: 10.1088/1742-6596/801/1/012069.
Wahid DH, ID-Stopwords: Stopwords collection of Bahasa Indonesia, 2020, [Online]. tautan: https://github.com/masdevid/ID-Stopwords, diakses pada: 26 Mei 2021.
Tala FZ, A Study of Stemming Effects on Information Retrieval in Bahasa Indonesia, 2003, M. Sc. Thesis, Institute for Logic, Language and Computation (ILLC) Universiteit van Amsterdam, Amsterdam, Netherlands.
Bird S, Loper E, Klein E, Natural Language Processing with Python,
O’Reilly Media Inc., 2009.
Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O, et al, “Scikit-learn: Machine Learning in Python”, Journal of Machine Learning Research, 2011, 12, 2825–30.
Lemaˆıtre G, Nogueira F, Aridas CK, “Imbalanced-learn: A Python Toolbox to Tackle the Curse of Imbalanced Datasets in Machine Learning”, Journal of Machine Learning Research, 2017, 18(17), 1–5.