🧠 RAG 구축 계획

AI 책상 위의 비서

🤖 AI(LLM)는 공부만 많이 해서 "우리 회사 매뉴얼", "소장님 검측요청서" 같은 건 몰라요.

💡 RAG = "질문하기 전에 책상 위에 관련 문서 펼쳐놓기"

🍕 피자 가게 비유:
• AI만 쓸 때: "피자 주문 받을게요!" (메뉴판 안 봄)
• RAG 붙이면: "피자 주문 받을게요!" + 메뉴판 펼쳐놓고 → "페퍼로니 12,000원, 불고기 14,000원입니다" 정확히 대답

구성 3가지

• 📚 Vector DB (서랍장) — PDF/매뉴얼을 조각내서 숫자로 저장
• 🔎 Retriever (찾는 사람) — 질문 받으면 관련 조각 빠르게 검색
• 🤖 Generator (답하는 AI) — 찾은 조각 보면서 사람처럼 답변

검측요청서 1장만 가지고 1시간 안에 작동 확인하는 패턴:

4-1. 패키지 설치

uv pip install --python /home/jaekyung/.hermes/hermes-agent/venv/bin/python \
    chromadb sentence-transformers pypdf

4-2. PDF → 조각 → 임베딩

import chromadb
from pypdf import PdfReader
from sentence_transformers import SentenceTransformer
import glob

# 1) DB
client = chromadb.PersistentClient(path="/home/jaekyung/rag-db")
collection = client.get_or_create_collection("inspec-reports")

# 2) 임베딩 모델 (한글 bge-m3)
model = SentenceTransformer("BAAI/bge-m3")

# 3) PDF 읽기 → 단락 조각
def pdf_to_chunks(path):
    try:
        reader = PdfReader(path)
        text = "\n\n".join(p.extract_text() or "" for p in reader.pages)
    except Exception:
        # SINDOH 흑백 → vision 필요 (skill: pdf-split-by-marker)
        text = vision_analyze(path)  # placeholder
    return [c for c in text.split("\n\n") if len(c.strip()) > 30]

# 4) 인덱싱 (재귀)
for pdf in glob.glob("/mnt/ssd500/var/inspec-reports/**/*.pdf", recursive=True):
    chunks = pdf_to_chunks(pdf)
    embs = model.encode(chunks).tolist()
    ids = [f"{pdf}-{i}" for i in range(len(chunks))]
    metadatas = [{"source": pdf, "chunk_id": i} for i in range(len(chunks))]
    collection.add(documents=chunks, embeddings=embs, ids=ids, metadatas=metadatas)
    print(f"✓ {pdf}: {len(chunks)} chunks")

4-3. 검색 + 답변

def rag_search(query: str, n=5):
    q_emb = model.encode([query]).tolist()
    results = collection.query(query_embeddings=q_emb, n_results=n)
    chunks = results["documents"][0]
    sources = [m["source"] for m in results["metadatas"][0]]
    return list(zip(chunks, sources))

# 사용
for chunk, src in rag_search("작년 3월 건축 검측"):
    print(f"[{src}]\n{chunk}\n---")

📅 진행 로그 (예정)