Beranda / Bagaimana sebuah dokumen menjadi jawaban terverifikasi yang dapat dikutip.
Teknologi

Bagaimana sebuah dokumen menjadi jawaban terverifikasi yang dapat dikutip.

CVS adalah mesin hybrid RAG yang dibangun untuk perusahaan yang tidak bisa menoleransi jawaban salah yang disampaikan dengan percaya diri. Setiap tahap — ingestion, routing, retrieval, dan abstention — dirancang untuk menghasilkan bukti yang dapat Anda audit, bukan prosa yang harus Anda percayai.

Ingestion

Pipeline ingestion lima tahap mengubah satu dokumen menjadi bukti yang dapat dicari.

CVS terhubung langsung ke tempat pengetahuan Anda sudah berada — SharePoint, Google Drive, Confluence, S3, dan server file on-premise — lalu mem-parsing setiap format melalui triple OCR dan vision: PDF, hasil scan, DOCX, PPTX, XLSX, dan gambar. Tabel, gambar, dan anchor halaman tetap utuh selama parsing sehingga bukti asli dapat dikembalikan kemudian, bukan diparafrasakan.

Smart chunking menghasilkan fragmen yang koheren secara semantik, bukan pembagian buta dengan lebar tetap. Setiap chunk diperkaya dengan entitas, metadata, diff dokumen, dan fakta temporal, lalu ditulis ke indeks berlapis secara bersamaan: penyimpanan pgvector untuk recall semantik, indeks full-text BM25F untuk istilah eksak, grafik pengetahuan temporal Neo4j untuk relasi, plus indeks metadata dan temporal. Satu kali proses, lima permukaan retrieval.

  • Konektor untuk SharePoint, Google Drive, Confluence, S3, dan file share lokal — tanpa migrasi salin-tempel
  • Triple OCR plus pengayaan vision di seluruh PDF, PDF hasil scan, DOCX, PPTX, XLSX, dan gambar
  • Chunking semantik yang menjaga tabel, gambar, dan anchor halaman sebagai bukti kelas utama
  • Pengindeksan berlapis ke pgvector, BM25F, grafik pengetahuan temporal Neo4j, metadata, dan penyimpanan temporal
Pipeline ingestion lima tahap mengubah satu dokumen menjadi bukti yang dapat dicari.. CVS terhubung langsung ke tempat pengetahuan Anda sudah berada — SharePoint, Google Drive, Confluence, S3, dan server file on-premise — lalu mem-parsing setiap format melalui triple OCR dan vision: PDF, hasil scan, DOCX, PPTX, XLSX, dan gambar. Tabel, gambar, dan anchor halaman tetap utuh selama parsing sehingga bukti asli dapat dikembalikan kemudian, bukan diparafrasakan.
Routing

Sebuah intent router mengarahkan setiap kueri ke jalur termurah yang mampu menjawabnya.

Tidak setiap pertanyaan layak menjalani proses reasoning penuh. Sebuah intent router pusat mengklasifikasikan setiap kueri dan mengarahkannya ke salah satu dari empat jalur: cache hit instan tanpa token; pencarian hybrid standar yang cepat; sintesis multi-dokumen yang mendalam; atau jalur reasoning ultra yang memecah pertanyaan menjadi directed acyclic graph dari sub-kueri.

Kaskade hemat token ini berarti pertanyaan sederhana tidak pernah membangunkan LLM yang mahal, sementara pertanyaan yang benar-benar sulit dan multi-dokumen mendapatkan perlakuan dekomposisi penuh. Hasilnya adalah latensi yang dapat diprediksi, biaya yang dapat diprediksi, dan tidak ada kejutan token per kueri — kaskade ini saja memangkas pengeluaran LLM sebesar 85–95% dibandingkan RAG naif.

  • Jalur instant: cache tanpa token untuk kueri yang berulang dan mudah dijawab
  • Jalur standard: pencarian hybrid cepat untuk mayoritas pertanyaan sehari-hari
  • Jalur deep: sintesis multi-dokumen ketika satu sumber tidak cukup
  • Jalur ultra: DAG dekomposisi yang memecah pertanyaan kompleks menjadi sub-langkah yang dapat diaudit
Sebuah intent router mengarahkan setiap kueri ke jalur termurah yang mampu menjawabnya.. Tidak setiap pertanyaan layak menjalani proses reasoning penuh. Sebuah intent router pusat mengklasifikasikan setiap kueri dan mengarahkannya ke salah satu dari empat jalur: cache hit instan tanpa token; pencarian hybrid standar yang cepat; sintesis multi-dokumen yang mendalam; atau jalur reasoning ultra yang memecah pertanyaan menjadi directed acyclic graph dari sub-kueri.
Retrieval

5 retriever paralel, digabung oleh RRF, di-rerank oleh cross-encoder.

CVS menjalankan lima retriever sekaligus — vector search, traversal grafik pengetahuan, full-text BM25F, retrieval temporal, dan pemfilteran metadata. Masing-masing melihat korpus secara berbeda, sehingga menangkap bukti yang berbeda: semantik, relasi, istilah eksak, validitas waktu, dan atribut terstruktur. Tidak ada retriever tunggal yang harus sempurna.

Keluaran terperingkat mereka digabung melalui Reciprocal Rank Fusion (k=60), lalu sebuah cross-encoder me-rerank kandidat yang telah digabung untuk menyusun set bukti yang padat bagi pembangun jawaban. Inilah sebabnya CVS mencapai akurasi jawaban 94,7% dibandingkan 67–73% yang umum pada sistem single-retriever seperti RAG dasar atau Copilot.

  • Vector (pgvector) + grafik pengetahuan Neo4j + BM25F + temporal + metadata, semuanya paralel
  • Reciprocal Rank Fusion (k=60) menggabungkan lima peringkat independen menjadi satu konsensus
  • Cross-encoder reranking mempertajam set bukti akhir sebelum pembuatan jawaban
  • Akurasi jawaban 94,7% dibandingkan 67–73% untuk sistem single-retriever
5 retriever paralel, digabung oleh RRF, di-rerank oleh cross-encoder.. CVS menjalankan lima retriever sekaligus — vector search, traversal grafik pengetahuan, full-text BM25F, retrieval temporal, dan pemfilteran metadata. Masing-masing melihat korpus secara berbeda, sehingga menangkap bukti yang berbeda: semantik, relasi, istilah eksak, validitas waktu, dan atribut terstruktur. Tidak ada retriever tunggal yang harus sempurna.
Abstention

Adversarial abstention: sistem tahu kapan ia tidak tahu.

Setelah retrieval, CVS mengajukan satu pertanyaan sebelum menjawab: apakah buktinya cukup? Jika ya, ia menjawab dengan kutipan inline dan menulis interaksi ke log audit yang tahan manipulasi. Jika tidak, ia melakukan abstention secara terus terang alih-alih memfabrikasi respons yang terdengar masuk akal — satu perilaku yang menggagalkan sebagian besar pilot RAG enterprise.

Abstention bukanlah jalan buntu. Pertanyaan yang belum terjawab diarahkan ke ahli bidang yang ditunjuk, jawaban terverifikasi mereka ditangkap, dan basis pengetahuan diperbaiki sehingga orang berikutnya mendapat respons instan. Di produksi, ini menekan halusinasi di bawah 2% dibandingkan sekitar 19% untuk RAG biasa.

  • Gerbang keyakinan mengevaluasi kecukupan bukti sebelum jawaban apa pun dihasilkan
  • Bukti cukup → jawaban dengan kutipan plus entri log audit lengkap
  • Bukti tidak cukup → abstention yang jelas, lalu eskalasi ke ahli
  • Jawaban ahli yang ditangkap memperbaiki basis — halusinasi di bawah 2% dibandingkan ~19% untuk RAG biasa
Adversarial abstention: sistem tahu kapan ia tidak tahu.. Setelah retrieval, CVS mengajukan satu pertanyaan sebelum menjawab: apakah buktinya cukup? Jika ya, ia menjawab dengan kutipan inline dan menulis interaksi ke log audit yang tahan manipulasi. Jika tidak, ia melakukan abstention secara terus terang alih-alih memfabrikasi respons yang terdengar masuk akal — satu perilaku yang menggagalkan sebagian besar pilot RAG enterprise.

Uji CVS dengan pertanyaan tersulit Anda.

Bawa spesifikasi paling tidak jelas atau kueri yang paling sering dieskalasikan. Kami akan menunjukkan jalur bukti dari ujung ke ujung — dan persis apa yang terjadi ketika basis tidak tahu.