BPE

# BPE 토크나이저 학습 및 사용 예제
from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer
from tokenizers.pre_tokenizers import Whitespace

# 1. BPE 토크나이저 생성
tokenizer = Tokenizer(BPE(unk_token="[UNK]"))
tokenizer.pre_tokenizer = Whitespace()

# 2. 학습 데이터 준비
corpus = [
    "인공지능이 세상을 바꾸고 있습니다.",
    "머신러닝과 딥러닝은 인공지능의 핵심 기술입니다.",
    "자연어처리는 인공지능의 중요한 분야입니다.",
    "GPT는 자연어처리 모델의 대표적인 예입니다."
]

# 3. BPE 학습
trainer = BpeTrainer(
    vocab_size=1000,           # 어휘 크기
    special_tokens=["[UNK]", "[PAD]", "[CLS]", "[SEP]"],
    min_frequency=2            # 최소 빈도
)

# 파일에서 학습하는 것이 일반적이지만 예시로 직접 학습
tokenizer.train_from_iterator(corpus, trainer=trainer)

# 4. 토큰화 결과 확인
text = "인공지능은 미래의 핵심 기술이다"
output = tokenizer.encode(text)

print(f"원문: {text}")
print(f"토큰: {output.tokens}")
print(f"토큰 ID: {output.ids}")

# 5. Hugging Face GPT-2 토크나이저 사용 예
from transformers import GPT2Tokenizer

gpt2_tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

english_text = "Artificial intelligence is transforming the world."
tokens = gpt2_tokenizer.tokenize(english_text)
ids = gpt2_tokenizer.encode(english_text)

print(f"\nGPT-2 토큰화:")
print(f"원문: {english_text}")
print(f"토큰: {tokens}")
print(f"토큰 수: {len(tokens)}")