Membangun RAG Sederhana dengan Laravel: Panduan Lengkap untuk Developer

Model Bahasa Besar (LLM) seperti ChatGPT, Claude, atau Gemini memang revolusioner. Namun, mereka punya beberapa keterbatasan yang sering membuat developer frustrasi: informasi yang terbatas pada data pelatihan mereka (seringkali usang), kecenderungan untuk berhalusinasi (mengarang fakta), dan kurangnya pemahaman kontekstual yang spesifik pada domain Anda. Di sini lah peran Retrieval-Augmented Generation (RAG) menjadi sangat krusial.

RAG memungkinkan LLM untuk mengambil informasi relevan dari sumber data eksternal yang spesifik (misalnya, dokumentasi internal perusahaan, database produk, atau artikel blog Anda sendiri) sebelum menghasilkan respons. Ini berarti, LLM bisa memberikan jawaban yang lebih akurat, relevan, dan terkini, karena “pengetahuannya” diperluas secara dinamis. Bayangkan Anda bisa membuat chatbot yang menjawab pertanyaan tentang produk Anda hanya dengan data dari website Anda, bukan pengetahuan umum yang bisa jadi salah.

Dalam artikel ini, kita akan membangun sistem RAG sederhana menggunakan Laravel. Kenapa Laravel? Karena ekosistemnya yang solid, kemudahan integrasinya dengan berbagai tools, dan komunitas developer yang besar, menjadikannya pilihan ideal untuk backend aplikasi berbasis AI. Kita akan belajar cara membuat embedding, menyimpan di database vektor, melakukan retrieval, dan menggunakannya untuk memperkaya prompt LLM Anda.

Memahami Konsep Dasar Retrieval-Augmented Generation (RAG)

Sebelum masuk ke implementasi, mari kita bedah tiga komponen utama RAG:

1. Dokumen dan Chunking

Data mentah Anda (teks dari artikel, PDF, database, dll.) perlu dipecah menjadi bagian-bagian yang lebih kecil dan mudah dikelola, yang disebut “chunks”. Proses ini penting karena LLM dan database vektor memiliki batasan ukuran input. Chunking yang baik memastikan setiap chunk memiliki konteks yang cukup namun tidak terlalu besar.

2. Embeddings dan Database Vektor

Setelah dokumen dipecah menjadi chunks, setiap chunk akan diubah menjadi “embedding”. Embedding adalah representasi numerik (vektor) dari teks yang menangkap makna semantiknya. Dua teks yang memiliki makna serupa akan memiliki vektor yang “dekat” satu sama lain dalam ruang multidimensi. Embeddings ini kemudian disimpan dalam “database vektor” seperti ChromaDB, Pinecone, Weaviate, atau Qdrant. Database vektor dirancang khusus untuk menyimpan dan mencari vektor berdasarkan kesamaan (similarity search) dengan sangat efisien.

3. Retrieval dan Generasi

Ketika pengguna mengajukan pertanyaan, pertanyaan tersebut juga diubah menjadi embedding. Embedding query ini kemudian digunakan untuk mencari chunk-chunk yang paling relevan di database vektor. Chunk-chunk yang paling mirip inilah yang disebut “retrieval”. Selanjutnya, chunk-chunk yang diambil ini digabungkan (augmented) dengan pertanyaan asli pengguna dan dikirim sebagai prompt ke LLM. LLM kemudian menggunakan konteks tambahan ini untuk menghasilkan jawaban yang lebih informatif dan akurat.

Persiapan Lingkungan dan Tools yang Dibutuhkan

Untuk membangun RAG sederhana ini, kita akan membutuhkan beberapa tools:

• Laravel Project: Asumsikan Anda sudah memiliki proyek Laravel yang berjalan.
• PHP 8.2+ dan Composer: Standar untuk pengembangan Laravel.
• OpenAI API Key: Untuk membuat embedding dan berinteraksi dengan LLM.
• ChromaDB: Sebagai database vektor. Kita akan menjalankannya menggunakan Docker.
• OpenAI PHP Client: Package PHP untuk berinteraksi dengan API OpenAI.
• Guzzle HTTP Client: Digunakan oleh OpenAI PHP client untuk request HTTP.

Menjalankan ChromaDB dengan Docker

ChromaDB adalah pilihan yang bagus untuk memulai karena relatif ringan dan mudah di-setup. Pastikan Anda sudah menginstal Docker di sistem Anda.

Buka terminal dan jalankan perintah ini untuk menjalankan ChromaDB:

docker run -p 8000:8000 chromadb/chroma

Ini akan membuat ChromaDB berjalan di alamat http://localhost:8000.

Langkah Implementasi RAG di Laravel

Langkah 1: Setup Proyek Laravel dan Install Dependensi

Jika Anda belum punya proyek Laravel, buat baru:

laravel new rag-app

Kemudian, masuk ke direktori proyek dan install package OpenAI PHP Client:

composer require openai-php/client

Pastikan Anda juga punya Guzzle HTTP Client, yang biasanya sudah ada sebagai dependensi Laravel.

Langkah 2: Konfigurasi OpenAI API Key

Buka file .env di root proyek Laravel Anda dan tambahkan OpenAI API Key Anda:

OPENAI_API_KEY=”sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx”

Kemudian, buat sebuah service provider atau konfigurasi di config/services.php untuk menginisialisasi klien OpenAI. Atau, cara paling cepat untuk tutorial ini adalah dengan langsung menginisialisasi di controller atau command.

Langkah 3: Membuat Data Contoh

Untuk demonstrasi, mari kita siapkan beberapa teks yang akan kita gunakan sebagai “pengetahuan” dasar. Anggap ini adalah artikel blog atau dokumentasi internal.

Misalnya, kita punya dua “dokumen” sederhana:

Dokumen 1: “Laravel adalah framework PHP yang paling populer untuk membangun aplikasi web modern. Ini menyediakan fitur-fitur seperti routing, ORM Eloquent, dan Blade templating.”

Dokumen 2: “RAG adalah teknik AI yang menggabungkan kemampuan retrieval informasi dengan generasi bahasa. Ini membantu LLM memberikan jawaban yang lebih akurat dengan mengambil konteks dari data eksternal.”

Langkah 4: Membuat Embeddings dan Menyimpan ke ChromaDB

Kita akan membuat sebuah command Artisan untuk proses ini. Buat file baru app/Console/Commands/ProcessDocuments.php.

Dalam command ini, Anda akan:

1. Memecah dokumen menjadi chunks (untuk contoh sederhana ini, satu dokumen bisa menjadi satu chunk).
2. Menggunakan OpenAI API untuk membuat embedding dari setiap chunk.
3. Menyimpan embedding beserta teks aslinya ke ChromaDB.

Untuk menginisialisasi klien OpenAI, Anda bisa melakukannya seperti ini:

$client = OpenAI::client(env(‘OPENAI_API_KEY’));

Untuk membuat embedding, panggil metode embeddings()->create():

$response = $client->embeddings()->create([ ‘model’ => ‘text-embedding-ada-002’, ‘input’ => $chunkText, ]); $embedding = $response->embeddings[0]->embedding;

Untuk berinteraksi dengan ChromaDB, karena belum ada package PHP resmi yang populer seperti untuk Python, kita akan menggunakan HTTP client seperti Guzzle secara langsung untuk mengirim request ke API ChromaDB.

Contoh skema koleksi di ChromaDB (via HTTP POST ke /api/v1/collections):

{ “name”: “artikel_rag”, “metadata”: { “description”: “Koleksi artikel tentang RAG dan Laravel” } }

Untuk menambahkan dokumen (via HTTP POST ke /api/v1/collections/{collection_id}/add):

{ “embeddings”: [[0.1, 0.2, …]], “documents”: [“Teks chunk asli”], “metadatas”: [{“source”: “Dokumen 1”, “page”: 1}], “ids”: [“id1”] }

Setelah command dibuat, jalankan di terminal:

php artisan process:documents

Langkah 5: Implementasi Logic Retrieval (Pencarian Konteks)

Sekarang, saat ada pertanyaan dari user, kita perlu mencari konteks yang relevan di ChromaDB. Kita bisa membuat controller atau service untuk ini.

1. Ambil pertanyaan user (misalnya, “Apa itu Laravel?”).
2. Buat embedding dari pertanyaan user menggunakan OpenAI.
3. Query ChromaDB untuk mencari embedding yang paling mirip.

Untuk mencari di ChromaDB (via HTTP POST ke /api/v1/collections/{collection_id}/query):

{ “query_embeddings”: [[0.3, 0.4, …]], “n_results”: 3, “include”: [“documents”, “metadatas”] }

Ini akan mengembalikan beberapa chunk dokumen yang paling relevan dengan pertanyaan user.

Langkah 6: Augmentation dan Generasi Jawaban oleh LLM

Setelah mendapatkan chunk-chunk yang relevan, kita akan menggabungkannya dengan pertanyaan user untuk membuat prompt yang lebih kaya ke LLM.

Contoh prompt:

“Berikut adalah beberapa informasi yang relevan:
[Teks Chunk 1]
[Teks Chunk 2]

Berdasarkan informasi di atas, jawablah pertanyaan berikut:
[Pertanyaan User]”

Kirim prompt ini ke OpenAI GPT-3.5 Turbo atau GPT-4:

$response = $client->chat()->create([ ‘model’ => ‘gpt-3.5-turbo’, ‘messages’ => [ [‘role’ => ‘system’, ‘content’ => ‘Anda adalah asisten yang membantu menjawab pertanyaan berdasarkan konteks yang diberikan.’], [‘role’ => ‘user’, ‘content’ => $augmentedPrompt], ], ]); $llmResponse = $response->choices[0]->message->content;

Ini akan menghasilkan jawaban dari LLM yang telah diperkaya dengan konteks dari data Anda.

Pengalaman dan Pertimbangan Praktis

Membangun RAG memang terlihat straightforward, tetapi ada banyak detail yang mempengaruhi kualitas dan performanya dalam praktiknya:

Strategi Chunking yang Efektif

Ini adalah salah satu aspek paling krusial. Chunking yang terlalu kecil bisa kehilangan konteks, sementara chunking yang terlalu besar bisa melebihi batas token LLM atau memasukkan terlalu banyak informasi yang tidak relevan. Eksperimen dengan berbagai ukuran chunk (misalnya, 200-500 token) dan strategi (berdasarkan paragraf, kalimat, atau custom delimiter) sangat penting. Menambahkan metadata ke setiap chunk (seperti judul dokumen, tanggal, penulis) juga bisa meningkatkan kualitas retrieval.

Pemilihan Vector Database

Untuk project kecil atau pengembangan lokal, ChromaDB sangat ideal. Namun, untuk aplikasi skala produksi, Anda mungkin perlu mempertimbangkan database vektor managed seperti Pinecone, Weaviate, atau Qdrant yang menawarkan skalabilitas, performa, dan fitur enterprise. Masing-masing memiliki kelebihan dan kekurangan dalam hal biaya, fitur, dan kemudahan penggunaan.

Manajemen Latency dan Biaya

Setiap panggilan API ke OpenAI (untuk embedding dan generasi) memerlukan waktu dan biaya. Untuk aplikasi yang sensitif terhadap latency, Anda perlu mengoptimalkan proses ini. Caching embedding yang sudah dibuat adalah praktik yang bagus. Pertimbangkan juga biaya per token, terutama jika volume query sangat tinggi.

Kualitas Embeddings

Model embedding yang Anda gunakan juga mempengaruhi kualitas retrieval. text-embedding-ada-002 dari OpenAI adalah pilihan yang sangat baik dan terjangkau. Namun, untuk domain yang sangat spesifik, Anda mungkin perlu mencoba model embedding lain yang lebih spesifik atau bahkan melakukan fine-tuning jika memungkinkan.

Prompt Engineering untuk Generasi

Bagian “augmentation” di prompt harus dirancang dengan baik agar LLM bisa memahami dan memanfaatkan konteks yang diberikan. Jaga agar prompt jelas, singkat, dan berikan instruksi eksplisit kepada LLM tentang bagaimana menggunakan konteks tersebut. Misalnya, instruksikan LLM untuk “menjawab hanya berdasarkan konteks yang diberikan” untuk mengurangi halusinasi.

Skalabilitas dan Pemeliharaan

Ketika jumlah dokumen Anda bertambah, proses chunking, embedding, dan penyimpanan ke database vektor akan menjadi lebih kompleks. Pertimbangkan workflow otomatis untuk memproses dokumen baru. Pastikan sistem RAG Anda dapat menangani volume permintaan yang tinggi.

Masalah yang Sering Terjadi

1. Koneksi ChromaDB Gagal

Gejala: Aplikasi tidak bisa terhubung ke ChromaDB atau mendapatkan error “Connection refused”.

Penyebab: ChromaDB belum berjalan, atau berjalan di port/alamat yang berbeda dari yang dikonfigurasi.

Solusi: Pastikan Docker berjalan dan perintah docker run -p 8000:8000 chromadb/chroma telah dieksekusi dengan sukses. Cek log Docker untuk memastikan ChromaDB tidak mengalami error saat startup. Pastikan konfigurasi alamat dan port di aplikasi Laravel Anda sesuai (misalnya, http://localhost:8000).

2. OpenAI API Key Tidak Valid atau Kuota Habis

Gejala: Error 401 Unauthorized atau error terkait pembayaran saat memanggil OpenAI API.

Penyebab: API Key di file .env salah, sudah expired, atau kuota penggunaan Anda di OpenAI sudah habis.

Solusi: Periksa kembali OpenAI API Key Anda di .env. Pastikan tidak ada spasi atau karakter tambahan. Cek juga dashboard OpenAI Anda untuk status API Key dan kuota penggunaan. Pastikan Anda memiliki saldo yang cukup.

3. Context Window LLM Overflow

Gejala: LLM menolak prompt karena terlalu panjang, atau memberikan respons yang tidak relevan karena banyak informasi terpotong.

Penyebab: Chunk yang diambil dari database vektor terlalu banyak atau terlalu besar, sehingga gabungan prompt dan pertanyaan user melebihi batas token (context window) LLM.

Solusi: Optimalkan strategi chunking Anda; buat chunk lebih ringkas. Kurangi jumlah chunk yang diambil dari database vektor (misalnya, dari 5 menjadi 3). Pastikan Anda menggunakan LLM dengan context window yang cukup besar (misalnya, GPT-4 memiliki context window lebih besar daripada GPT-3.5). Lakukan iterasi pada proses prompt engineering untuk meringkas informasi yang dikirim ke LLM.

4. Retrieval Tidak Akurat (Jawaban LLM Tidak Relevan)

Gejala: LLM masih berhalusinasi atau memberikan jawaban yang tidak sesuai dengan data yang Anda berikan, meskipun RAG sudah diimplementasikan.

Penyebab: Kualitas embedding rendah, strategi chunking tidak optimal (konteks terpecah atau terlalu umum), atau database vektor tidak mengembalikan chunk yang benar-benar relevan.

Solusi: Lakukan evaluasi pada kualitas embedding. Perbaiki strategi chunking; coba ukuran dan metode pemecahan yang berbeda. Tambahkan metadata pada chunk untuk membantu pencarian. Eksperimen dengan parameter pencarian di database vektor (misalnya, jumlah n_results yang diambil). Kadang, pre-filtering metadata sebelum pencarian vektor juga bisa membantu.

5. Latency Terlalu Tinggi

Gejala: Aplikasi terasa lambat saat memproses query RAG.

Penyebab: Terlalu banyak panggilan API ke OpenAI, database vektor lambat, atau proses di aplikasi Laravel yang tidak efisien.

Solusi: Gunakan caching untuk embedding yang sudah dibuat. Gunakan asynchronous processing jika memungkinkan. Pertimbangkan upgrade spesifikasi server untuk ChromaDB atau migrasi ke managed vector database untuk performa yang lebih baik. Optimalkan query ke database vektor.

FAQ

Apa itu RAG dan mengapa penting?

RAG (Retrieval-Augmented Generation) adalah teknik AI yang memungkinkan Model Bahasa Besar (LLM) untuk mengambil informasi dari sumber data eksternal (pengetahuan Anda) sebelum menghasilkan respons. Ini penting karena mengatasi keterbatasan LLM seperti halusinasi, informasi usang, dan kurangnya konteks spesifik, sehingga menghasilkan jawaban yang lebih akurat dan relevan.

Kenapa harus menggunakan Laravel untuk membangun sistem RAG?

Laravel adalah framework PHP yang robust dan efisien, menjadikannya pilihan ideal untuk backend RAG. Dengan ekosistemnya yang kaya, kemudahan integrasi dengan API eksternal (seperti OpenAI) dan database, serta tool-tool pengembangan yang lengkap, Laravel memungkinkan developer untuk membangun dan mengelola aplikasi RAG dengan cepat dan terstruktur.

Bisakah saya menggunakan LLM lokal (on-premise) untuk RAG?

Ya, sangat bisa. Jika Anda memiliki LLM yang berjalan secara lokal (misalnya, Llama 2 atau Mistral yang di-host di server Anda sendiri), Anda bisa mengganti panggilan API OpenAI dengan panggilan ke endpoint LLM lokal Anda. Proses retrieval dari database vektor akan tetap sama, hanya bagian “generasi” yang berubah.

Berapa perkiraan biaya untuk menjalankan sistem RAG?

Biaya RAG sangat bervariasi tergantung pada: 1) Model embedding dan LLM yang digunakan (misalnya, GPT-4 lebih mahal dari GPT-3.5), 2) Volume data yang di-embedding dan disimpan, 3) Jumlah query RAG yang diproses, dan 4) Pilihan database vektor (local vs. managed service). OpenAI dan layanan database vektor umumnya mengenakan biaya per token atau per query/penyimpanan.

Bagaimana cara memastikan akurasi dan mengurangi halusinasi LLM dalam RAG?

Untuk meningkatkan akurasi dan mengurangi halusinasi, pastikan data yang Anda gunakan berkualitas tinggi, lakukan chunking yang optimal, pilih model embedding yang tepat, dan gunakan teknik prompt engineering yang baik (misalnya, instruksikan LLM untuk “menjawab hanya berdasarkan konteks yang diberikan”). Evaluasi rutin terhadap respons LLM juga sangat penting.

Kesimpulan

RAG adalah salah satu teknik paling powerful dalam ekosistem AI modern yang memungkinkan kita untuk memaksimalkan potensi LLM dengan memberinya “mata” untuk melihat data spesifik kita sendiri. Dengan Laravel sebagai fondasi, kita bisa membangun sistem RAG yang tidak hanya fungsional tetapi juga terstruktur, mudah di-maintain, dan siap diintegrasikan ke dalam berbagai aplikasi web.

Tutorial ini hanya permulaan. Masih banyak ruang untuk eksplorasi lebih lanjut, seperti mengimplementasikan strategi chunking yang lebih canggih, menggunakan metadata yang lebih kaya, bereksperimen dengan model embedding dan LLM yang berbeda, hingga membangun UI yang intuitif. Memasukkan RAG ke dalam workflow development Anda adalah langkah penting untuk menciptakan aplikasi AI yang lebih cerdas, akurat, dan dapat diandalkan. Mulai eksperimen, dan Anda akan melihat betapa transformatifnya teknik ini!

TAGS: RAG, Laravel, AI, OpenAI, ChromaDB, Vector Database, LLM, PHP, Developer Tools, AI Automation

---

Baca Juga

• Panduan Lengkap Artificial Intelligence untuk Programmer