Analisis Perbandingan Large Language Model Meta AI (LLaMA) dan Mistral pada Pendekatan Retrieval-Augmented Generation (RAG) untuk Chatbot Layanan Masyarakat Desa (Studi Kasus: Desa Bou)

Putri Angraini Aziz; Bambang Pramono; Adha Mashur Sajiah

doi:10.69693/jesa.v4i1.131

Authors

Putri Angraini Aziz Universitas Halu Oleo
Bambang Pramono Universitas Halu Oleo
Adha Mashur Sajiah Universitas Halu Oleo

DOI:

https://doi.org/10.69693/jesa.v4i1.131

Keywords:

Chatbot, Retrieval-Augmented Generation (RAG), LLaMA 3.1, Mistral 7B, Layanan Masyarakat Desa

Abstract

Keterbatasan akses informasi layanan administrasi dan pemerintahan desa mendorong perlunya sistem informasi yang mampu memberikan jawaban berdasarkan dokumen resmi. Penelitian ini bertujuan mengembangkan TabeBot, chatbot layanan masyarakat Desa Bou berbasis Retrieval-Augmented Generation (RAG), serta membandingkan kinerja model LLaMA 3.1 8B dan Mistral 7B. Sistem dikembangkan menggunakan metode Rational Unified Process (RUP) dengan basis pengetahuan sebanyak 34 dokumen PDF yang menghasilkan 6.611 chunk. Arsitektur RAG menerapkan chunking dan embedding menggunakan multilingual-e5-base, penyimpanan vektor pada ChromaDB, serta hybrid retrieval yang menggabungkan BM25 dan dense vector retrieval. Kandidat hasil pencarian diurutkan menggunakan Cross-Encoder Reranker dan diproses dengan aturan khusus dokumen hukum berdasarkan metadata Registry Peraturan sebelum diberikan kepada LLM. Pengujian fungsional menggunakan Black Box Testing, sedangkan evaluasi kualitas jawaban dilakukan menggunakan RAGAS terhadap 125 pertanyaan. Hasil pengujian menunjukkan seluruh 19 skenario fungsional berhasil. LLaMA 3.1 memperoleh nilai faithfulness 0,84 dan answer relevancy 0,85, sedangkan Mistral 7B memperoleh masing-masing 0,82. Kedua model memperoleh nilai context precision 0,81 dan context recall 0,76. Berdasarkan hasil tersebut, LLaMA 3.1 dipilih untuk implementasi akhir TabeBot.

Downloads

Download data is not yet available.

References

[1] I. Hadi and I. A. P. S. Widnyani, “Modernisasi dan Digitalisasi Public Servis: Mewujudkan Indonesia Emas Melalui Harmonisasi Sistem Pemerintahan Berbasis Elektronik (SPBE),” Jurnal Kridatama Sains dan Teknologi, vol. 6, no. 2, pp. 639–658, 2024.

[2] A. Bora and H. Cuayáhuitl, “Systematic Analysis of Retrieval-Augmented Generation-Based LLMs for Medical Chatbot Applications,” Mach. Learn. Knowl. Extr., vol. 6, no. 4, pp. 2355–2374, Dec. 2024.

[3] P. Lewis et al., “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks,” Apr. 2021, [Online]. Available: http://arxiv.org/abs/2005.11401

[4] H. de Martim, “An Ontology-Driven Graph RAG for Legal Norms: A Structural, Temporal, and Deterministic Approach,” Sep. 2025, doi: 10.3233/FAIA251598.

[5] M. Prior, A. Schultz, and M. Grabmair, “Asking For An Old Friend: Diagnosing and Mitigating Temporal Failure Modes in LLM-based Statutory Question Answering,” Proceedings of International Conference on Artificial Intelligence and Law (ICAIL), vol. 1, Sep. 2026, [Online]. Available: https://github.com/TUMLegalTech/temporal_bias.

[6] V. Karpukhin et al., “Dense Passage Retrieval for Open-Domain Question Answering,” pp. 6769–6781, Nov. 2020, [Online]. Available: https://github.com/facebookresearch/DPR.

[7] A. Y. Yulestiono, A. P. Sari, and A. Rakhmadi, “Evaluasi Hybrid Retrieval Berbasis Reciprocal Rank Fusion untuk Pencarian Informasi pada Dokumen Peraturan Daerah,” Seminar Nasional Informatika Bela Negara (SANTIKA), vol. 6, pp. 148–153, 2026.

[8] M. D. Salman, Rahmaddeni, T. Nasution, and Susanti, “Implementation of Retrieval-Augmented Generation Method on Large Language Model for Development of Campus Service and Information Chatbot,” INOVTEK Polbeng-Seri Informatika, vol. 11, no. 1, pp. 298–309, Feb. 2026.

[9] A. Grattafiori et al., “The Llama 3 Herd of Models,” Nov. 2024, [Online]. Available: http://arxiv.org/abs/2407.21783

[10] A. Q. Jiang et al., “Mistral 7B,” Oct. 2023.

[11] S. Elysia and Herianto, “Chatbot Berbasis Retrieval Augmented Generation (RAG) untuk Peningkatan Layanan Informasi Sekolah,” Journal TIFDA (Technology Information and Data Analytic), vol. 1, no. 2, pp. 52–58, Dec. 2024.

[12] D. Firdaus, I. Sumardi, and Y. Kulsum, “Integrating Retrieval-Augmented Generation with Large Language Model Mistral 7b for Indonesian Medical Herb,” Jurnal Informatika Sunan Kalijaga, vol. 9, no. 3, pp. 230–243, Sep. 2024.

[13] S. Es, J. James, L. Espinosa-Anke, and S. Schockaert, “Ragas: Automated Evaluation of Retrieval Augmented Generation,” Apr. 2025.

[14] Ragas, “Available Metrics,” Ragas Documentation. Accessed: Nov. 09, 2026. [Online]. Available: https://docs.ragas.io/en/stable/concepts/metrics/available_metrics/

[15] Y. I. Chandra, D. R. Irawati, and M. Riastuti, “Penerapan Model Rational Unified Process (RUP) Dalam Membangun Aplikasi Promosi dan Penjualan Berbasis Web (Studi Kasus: Toko Mie Ayam ‘Neng Kene Kiyeh’),” Ikraith Informatika, vol. 8, no. 3, pp. 107–120, Nov. 2024.