Chunking

# pip install langchain langchain-text-splitters tiktoken
from langchain_text_splitters import (
    RecursiveCharacterTextSplitter,
    CharacterTextSplitter,
    TokenTextSplitter,
    MarkdownHeaderTextSplitter
)
import tiktoken

# 예시 문서
document = """
# 인공지능 개요

인공지능(AI)은 인간의 학습능력, 추론능력, 언어이해능력 등을
컴퓨터 프로그램으로 실현한 기술입니다.

## 머신러닝

머신러닝은 데이터로부터 패턴을 학습하여 예측하는 AI의 하위 분야입니다.
지도학습, 비지도학습, 강화학습으로 나뉩니다.

### 딥러닝

딥러닝은 인공신경망을 여러 층으로 쌓아 복잡한 패턴을 학습하는 기법입니다.
CNN, RNN, Transformer 등의 아키텍처가 있습니다.

## 자연어 처리

자연어 처리(NLP)는 컴퓨터가 인간의 언어를 이해하고 생성하는 기술입니다.
텍스트 분류, 번역, 요약, 질문 응답 등에 활용됩니다.
"""

# 1. 재귀적 문자 분할 (가장 추천되는 방법)
recursive_splitter = RecursiveCharacterTextSplitter(
    chunk_size=200,           # 청크 최대 크기 (문자 수)
    chunk_overlap=50,         # 청크 간 오버랩 (문맥 유지)
    length_function=len,
    separators=["\n\n", "\n", ".", " ", ""]  # 분할 우선순위
)

chunks = recursive_splitter.split_text(document)
print("=== 재귀적 문자 분할 ===")
for i, chunk in enumerate(chunks):
    print(f"Chunk {i+1} ({len(chunk)}자): {chunk[:50]}...")

# 2. 토큰 기반 분할 (토큰 제한 고려 시)
token_splitter = TokenTextSplitter(
    encoding_name="cl100k_base",  # GPT-4/3.5용 토크나이저
    chunk_size=100,               # 최대 토큰 수
    chunk_overlap=20              # 오버랩 토큰 수
)

token_chunks = token_splitter.split_text(document)
print("\n=== 토큰 기반 분할 ===")
for i, chunk in enumerate(token_chunks):
    # 토큰 수 확인
    enc = tiktoken.get_encoding("cl100k_base")
    tokens = len(enc.encode(chunk))
    print(f"Chunk {i+1} ({tokens} tokens): {chunk[:40]}...")

# 3. 마크다운 헤더 기반 분할 (구조화된 문서에 적합)
headers_to_split_on = [
    ("#", "Header 1"),
    ("##", "Header 2"),
    ("###", "Header 3"),
]

markdown_splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on=headers_to_split_on
)

md_chunks = markdown_splitter.split_text(document)
print("\n=== 마크다운 헤더 기반 분할 ===")
for i, chunk in enumerate(md_chunks):
    print(f"Chunk {i+1}: {chunk.metadata} - {chunk.page_content[:40]}...")

# 4. 시맨틱 청킹 (의미 단위 분할) - 고급 방법
from langchain_openai import OpenAIEmbeddings
from langchain_experimental.text_splitter import SemanticChunker

# 의미적 유사도 기반 분할
semantic_splitter = SemanticChunker(
    embeddings=OpenAIEmbeddings(),
    breakpoint_threshold_type="percentile",  # 분할 기준
    breakpoint_threshold_amount=95           # 임계값
)

# 5. 커스텀 청킹 함수
def custom_chunker(
    text: str,
    chunk_size: int = 500,
    chunk_overlap: int = 100,
    min_chunk_size: int = 50
) -> list:
    """
    문장 경계를 존중하는 커스텀 청커

    Args:
        text: 분할할 텍스트
        chunk_size: 목표 청크 크기
        chunk_overlap: 오버랩 크기
        min_chunk_size: 최소 청크 크기

    Returns:
        청크 리스트
    """
    import re

    # 문장 단위로 분리
    sentences = re.split(r'(?<=[.!?])\s+', text)
    chunks = []
    current_chunk = ""

    for sentence in sentences:
        if len(current_chunk) + len(sentence) <= chunk_size:
            current_chunk += " " + sentence if current_chunk else sentence
        else:
            if len(current_chunk) >= min_chunk_size:
                chunks.append(current_chunk.strip())
            # 오버랩 적용
            overlap_text = current_chunk[-chunk_overlap:] if len(current_chunk) > chunk_overlap else current_chunk
            current_chunk = overlap_text + " " + sentence

    if len(current_chunk) >= min_chunk_size:
        chunks.append(current_chunk.strip())

    return chunks

custom_chunks = custom_chunker(document, chunk_size=300, chunk_overlap=50)
print("\n=== 커스텀 문장 기반 분할 ===")
for i, chunk in enumerate(custom_chunks):
    print(f"Chunk {i+1} ({len(chunk)}자): {chunk[:50]}...")