LLM 위키는 LLM이 직접 entity와 relation을 추출하고 그래프로 연결해 영구 누적·재인덱싱하는 지식 시스템입니다. 질문 시점에만 retrieval하는 RAG와 달리, 도메인 지식이 시간에 따라 진화·누적되는 구조입니다. 이 문서는 정의·아키텍처·실증 사례를 한 페이지에 정리합니다.
많은 글이 LLM 위키를 "더 똑똑한 RAG"라고 부르지만, 두 시스템은 지식의 수명주기 자체가 다릅니다. RAG는 질문이 들어올 때마다 chunk를 즉석에서 retrieval하는 휘발성 검색 레이어이고, LLM 위키는 entity와 relation을 사전에 추출해 graph DB에 영구 누적하는 지식 기층(substrate)입니다.
| 축 | RAG | LLM 위키 |
|---|---|---|
| 지식 수명주기 | 질문 시점 즉석 retrieval · 휘발성 · 응답 끝나면 사라짐 | 영구 누적 + 재인덱싱 · graph DB에 entity·relation 보존 · 시간 누적 |
| 구조 | chunk → embedding → vector top-k | entity·relation 그래프 + 멀티 retriever 라우팅 (universe.habix.ai의 Producer/Consumer + Agentic RAG 3-router가 실증) |
| 언제 쓰는가 | 단발성 QA · 문서 검색 · 사전 지식 적은 일회성 질의 | 도메인 지식이 누적·진화하는 1인/팀 context · 외장된 도메인 뇌 |
한편 "AI 위키"라는 표현은 두 가지 의미로 혼용됩니다. 사람이 직접 편집하는 wiki에 AI 기능을 얹은 것(Notion AI, Confluence AI 등)을 가리키기도 하고, 본 문서가 다루는 LLM 위키와 동의어로 쓰이기도 합니다. 본 페이지는 후자, 즉 LLM이 entity·relation을 자동으로 추출·관리하는 시스템을 가리킵니다.
2024~2025년을 지나며 retrieval 패러다임에는 세 가지 균열이 생겼습니다. 첫째, Anthropic이 Contextual Retrieval에서 보였듯 단순 vector top-k의 정답률 한계가 분명해졌습니다. chunk가 원 문맥에서 단절되는 순간 retrieval의 정밀도가 30~50% 떨어진다는 측정이 반복적으로 보고되었습니다.
둘째, Neo4j의 GraphRAG Manifesto가 정리한 대로, retrieval은 vector 단일 경로에서 graph traversal + 의미 검색의 하이브리드로 이동하고 있습니다. entity·relation을 명시적으로 보존하는 쪽이 multi-hop 질의에서 압도적으로 강하기 때문입니다.
셋째, Andrej Karpathy가 Software 3.0 / LLM-as-OS 논의에서 강조한 흐름 — LLM이 단순 호출 대상이 아니라 지식을 직접 구성·유지하는 substrate가 되는 방향 — 이 LLM 위키의 본질과 직접 닿아 있습니다. 이 세 흐름이 합쳐져 "LLM이 직접 위키를 운영하는 시대"가 빠르게 현실이 됩니다.
LLM 위키가 규모를 가지려면 ingest(Producer)와 query(Consumer)가 반드시 분리되어야 합니다. universe.habix.ai는 이 분리를 기준선으로 설계되었습니다.
wiki 원본(노트·문서·블로그)을 받아 LLM이 entity와 relation을 추출하고 Neo4j graph DB에 노드·엣지로 적재합니다. embedding은 ingest 시점에 1회만 계산되어 vector index에 저장되며, 이후 변경분만 incremental 재인덱싱됩니다. 이 분리 덕분에 재인덱싱 비용은 데이터 규모와 무관하게 거의 0에 수렴합니다.
FastAPI /query 엔드포인트가 들어온 질문을 라우터 LLM에 넘기고, 라우터는 셋 중 하나의 retriever를 선택합니다:
VectorRetriever(의미 기반 fuzzy),
VectorCypherRetriever(의미 진입 후 그래프 traversal),
Text2CypherRetriever(자연어 → Cypher 정밀 질의).
답변 LLM은 선택된 retriever의 결과를 받아 응답을 합성합니다.
universe.habix.ai는 위 정의가 그대로 작동하는 라이브 LLM 위키입니다. 한 사람의 도메인 지식이 5개 도메인 그래프로 누적되어, 자연어 질의로 multi-hop 응답을 만드는 구조입니다. 개념을 글로만 설명하기보다, 직접 질의해 보는 쪽이 빠릅니다.
관련된 deep dive는 blog.habix.ai에서 Producer/Consumer 분리, Agentic RAG 3-router, Neo4j graph 운용 노트 형태로 이어 다룹니다.
위 정의가 실제로 어떻게 작동하는지 라이브 LLM 위키에서 자연어로 질의해 보세요. 더 깊은 운용 노트는 blog.habix.ai 일일 발행 인사이트에서 이어 다룹니다.