Analisis Sentimen Ulasan Pengguna Aplikasi Mobile Banking Bank Kalbar Menggunakan Algoritma Svm Random Forest dan Naive Bayes
DOI:
https://doi.org/10.62712/juktisi.v5i2.1331Keywords:
Analisis Sentimen, Mobile Banking, Support Vector Machine, Random Forest, Naive Bayes, TF-IDF, Bank KalbarAbstract
Perkembangan dalam layanan perbankan seluler telah meningkatkan jumlah ulasan pengguna di platform seperti Google Play Store, yang menyimpan data berharga terkait kepuasan dan keluhan dari nasabah. Penelitian ini memiliki tujuan untuk menganalisis sentimen dari ulasan pengguna aplikasi mobile banking Bank Kalbar dengan memanfaatkan tiga algoritma machine learning untuk klasifikasi, yaitu Support Vector Machine (SVM), Random Forest, dan Naive Bayes, yang diterapkan dengan representasi fitur berbasis TF-IDF. Data yang digunakan dalam penelitian ini mencakup 2.923 ulasan yang diperoleh melalui web scraping dan secara otomatis diberi label melalui model LLaMA 3.1 8B Instant menggunakan Groq API ke dalam tiga kategori sentimen: positif (49,3%), negatif (41,2%), dan netral (9,5%). Ketidakseimbangan dalam distribusi kelas ditangani dengan metode SMOTE, sedangkan optimisasi hyperparameter dilakukan dengan teknik GridSearchCV menggunakan Stratified 5-Fold Cross Validation. Hasil evaluasi menunjukkan bahwa SVM berperforma sebagai model paling unggul dengan akurasi 87,52%, F1-Weighted 86,80%, dan F1-Macro 79,59%, diikuti oleh Naive Bayes (85,98%) dan Random Forest (85,47%). Namun, analisis statistik McNemar mengindikasikan bahwa perbedaan kinerja di antara ketiga model tidak signifikan secara statistik (p > 0,05), yang menunjukkan bahwa ketiga algoritma ini memiliki kemampuan generalisasi yang setara pada dataset ini. Tantangan utama yang teridentifikasi adalah rendahnya tingkat recall pada kelas netral (41–46%) disebabkan oleh ketidakseimbangan data. Hasil dari penelitian ini memberikan wawasan yang jelas mengenai pola sentimen dari pengguna aplikasi mobile banking Bank Kalbar dan dapat menjadi referensi bagi manajemen untuk meningkatkan kualitas layanan digital, terutama dalam hal stabilitas aplikasi dan kemudahan akses.
Downloads
References
[1] T. D. Pramitasari and A. Y. A. Nanggala, “Dampak Mobile Banking Terhadap Kinerja Dan Stabilitas Keuangan Perbankan di Indonesia,” Jurnal Manajemen dan Bisnis Indonesia, vol. 9, no. 2, pp. 241–252, 2023, doi: 10.32528/jmbi.v9i2.855.
[2] A. A. Arifiyanti, N. R. Shantika, and A. O. Syafira, “Analisis Sentimen Ulasan Pengguna Bsi Mobile Pada Google Play Dengan Pendekatan Supervised Learning,” Jurnal Informatika Polinema, vol. 9, no. 3, pp. 283–288, 2023, doi: 10.33795/jip.v9i3.1003.
[3] Sujjada et al., “Sentiment Analysis of Digital Bank Reviews on Google Play Store Using the Support Vector Machine (SVM) Method,” Jurnal Rekayasa Teknologi Nusa Putra, vol. 9, no. 2, pp. 122–135, 2023.
[4] M. R. Pratama, Y. R. Ramadha, and M. A. Komara, “Analisis Sentimen BRImo dan BCA Mobile Menggunakan Support Vector Machine dan Lexicon Based,” Jutisi : Jurnal Ilmiah Teknik Informatika dan Sistem Informasi, vol. 12, no. 3, p. 1439, 2023, doi: 10.35889/jutisi.v12i3.1431.
[5] D. Munandar, M. Afdal, Z. Zarnelly, and R. Novita, “Analisis Sentimen Ulasan Pengguna Aplikasi Mobile Banking Menggunakan Algoritma K-Nearest Neighbor,” Jurnal Teknologi Sistem Informasi dan Aplikasi, vol. 7, no. 3, pp. 1309–1318, 2024, doi: 10.32493/jtsi.v7i3.41409.
[6] R. R. S. Dimas Wahyu Bhatara, “Analisis Sentimen Aplikasi BCA Mobile Menggunakan Algoritma Naive Bayes dan Suport Vector Machine,” TEKNOSAINS : Jurnal Sains, Teknologi dan Informatika, vol. 10, no. 2, pp. 176–184, 2023, doi: 10.37373/tekno.v10i2.419.
[7] Wahyudi, R. Kurniawan, and Y. A. Wijaya, “Playstore Mengunakan Algoritma Naïve Bayes ( Studi Kasus Sentimen Pengguna Terhadap Pengalaman Aplikasi Blu Bca ),” JATI (Jurnal Mahasiswa Teknik Informatika), vol. 8, no. 3, pp. 2511–2517, 2024.
[8] S. A. S. Mola, D. L. B. Baun, I. O. Nunes, and M. M. A. R. Sani, “Analisis Sentimen Aplikasi Halo Bca Di Google Play Store Menggunakan Metode Naive Bayes, Support Vector Machine Dan Random Forest,” HOAQ (High Education of Organization Archive Quality) : Jurnal Teknologi Informasi, vol. 15, no. 2, pp. 69–79, 2024, doi: 10.52972/hoaq.vol15no2.p69-79.
[9] M. G. Al Hakim and F. Irwiensyah, “Analisis Sentimen Terhadap Ulasan Pengguna Pada Aplikasi BCA Mobile Menggunakan Metode Naïve Bayes,” Journal of Information System Research (JOSH), vol. 5, no. 4, pp. 911–921, 2024, doi: 10.47065/josh.v5i4.5343.
[10] H. Touvron et al., “LLaMA: Open and Efficient Foundation Language Models,” 2023, [Online]. Available: http://arxiv.org/abs/2302.13971
[11] W. Zhang, Y. Deng, B. Liu, S. J. Pan, and L. Bing, “Sentiment Analysis in the Era of Large Language Models: A Reality Check,” Findings of the Association for Computational Linguistics: NAACL 2024 - Findings, pp. 3881–3906, 2024, doi: 10.18653/v1/2024.findings-naacl.246.
[12] D. Rifaldi and A. Fadlil, “DECODE: Jurnal Pendidikan Teknologi Informasi TEKNIK PREPROCESSING PADA TEXT MINING MENGGUNAKAN DATA TWEET ‘MENTAL HEALTH,’” DECODE: Jurnal Pendidikan Teknologi Informasi, vol. 3, no. 2, pp. 161–171, 2023.
[13] A. Addiga and S. Bagui, “Sentiment Analysis on Twitter Data Using Term Frequency-Inverse Document Frequency,” Journal of Computer and Communications, vol. 10, no. 08, pp. 117–128, 2022, doi: 10.4236/jcc.2022.108008.
[14] J. Hunt, “Machine Learning in Python,” vol. 12, pp. 633–642, 2023, doi: 10.1007/978-3-031-40336-1_56.
[15] S. N. Almuayqil, M. Humayun, N. Z. Jhanjhi, M. F. Almufareh, and D. Javed, “Framework for Improved Sentiment Analysis via Random Minority Oversampling for User Tweet Review Classification,” Electronics (Switzerland), vol. 11, no. 19, pp. 1–17, 2022, doi: 10.3390/electronics11193058.
[16] Achmad Baroqah Pohan, Irmawati, and A. Kurniasih, “Optimization of Classification Algorithm with GridSearchCV and Hyperparameter Tuning for Sentiment Analysis of the Nusantara Capital City,” Journal of Artificial Intelligence and Engineering Applications (JAIEA), vol. 3, no. 3, pp. 808–814, 2024, doi: 10.59934/jaiea.v3i3.514.
[17] S. F. Kadir and A. Fairuzabadi, “Analisis Sentimen Ulasan Shopee di Google Play dengan TF-IDF dan Logistic Regression,” RIGGS: Journal of Artificial Intelligence and Digital Business, vol. 4, no. 2, pp. 7940–57945, 2025, doi: 10.31004/riggs.v4i2.2850.
[18] R. Obiedat et al., “Sentiment Analysis of Customers’ Reviews Using a Hybrid Evolutionary SVM-Based Approach in an Imbalanced Data Distribution,” IEEE Access, vol. 10, pp. 22260–22273, 2022, doi: 10.1109/ACCESS.2022.3149482.
[19] I. Setiawan, A. M. Widodo, M. Rahaman, M. B. Ulum, E. Y. Mulyani, and N. Erzed, Proceedings of the First Mandalika International Multi-Conference on Science and Engineering 2022, MIMSE 2022 (Informatics and Computer Science), vol. 2. Atlantis Press International BV, 2022. doi: 10.2991/978-94-6463-084-8.
[20] K. Kowsari, K. J. Meimandi, M. Heidarysafa, S. Mendu, L. Barnes, and D. Brown, “Text classification algorithms: A survey,” Information (Switzerland), vol. 10, no. 4, pp. 1–68, 2019, doi: 10.3390/info10040150.
[21] M. Heydarian and T. E. Doyle, “MLCM : Multi-Label Confusion Matrix,” pp. 19083–19095, 2022.
[22] R. Wang and J. Li, “Block-regularized 5$times$2 Cross-validated McNemar’s Test for Comparing Two Classification Algorithms,” vol. 14, no. 8, pp. 1–10, 2023, [Online]. Available: https://arxiv.org/abs/2304.03990v1
[23] J. A. Roldán-Nofuentes, T. S. Sheth, and J. F. Vera-Vera, “Hypothesis Test to Compare Two Paired Binomial Proportions: Assessment of 24 Methods,” Mathematics, vol. 12, no. 2, 2024, doi: 10.3390/math12020190.
[24] D. Anggraini, I. Gamayanto, and S. Wibowo, “Comparing Decision Tree and Support Vector Machines in Hospital Satisfaction,” Journal of Applied Informatics and Computing, vol. 9, no. 2, pp. 364–372, 2025, doi: 10.30871/jaic.v9i2.9203.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Theofilus BA, Panny Agustia Rahayuningsih, Muhammad Rezki
This work is licensed under a Creative Commons Attribution 4.0 International License.
