LlamaIndex

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core import Settings
from llama_index.llms.openai import OpenAI
from llama_index.embeddings.openai import OpenAIEmbedding

# LLM과 임베딩 모델 설정
Settings.llm = OpenAI(model="gpt-4o-mini", temperature=0.1)
Settings.embed_model = OpenAIEmbedding(model="text-embedding-3-small")

# 문서 로드 (PDF, txt, docx 등 자동 인식)
documents = SimpleDirectoryReader("./company_docs").load_data()
print(f"로드된 문서: {len(documents)}개")

# 벡터 인덱스 생성 (청킹 + 임베딩 자동 처리)
index = VectorStoreIndex.from_documents(documents)

# 쿼리 엔진 생성
query_engine = index.as_query_engine(
    similarity_top_k=5,  # 상위 5개 관련 문서 검색
    response_mode="compact"  # 응답 형식
)

# 질문에 대한 답변 생성
response = query_engine.query(
    "2024년 4분기 매출 실적은 어떻게 되나요?"
)
print(f"답변: {response}")
print(f"출처: {[node.metadata for node in response.source_nodes]}")

# 영구 저장소에 인덱스 저장
index.storage_context.persist(persist_dir="./storage")

# 저장된 인덱스 로드
from llama_index.core import StorageContext, load_index_from_storage
storage_context = StorageContext.from_defaults(persist_dir="./storage")
loaded_index = load_index_from_storage(storage_context)