토큰

# OpenAI tiktoken 토크나이저
# pip install tiktoken

import tiktoken

# GPT-4 토크나이저 로드
enc = tiktoken.encoding_for_model("gpt-4")

# 텍스트 토큰화
text = "안녕하세요, 인공지능 토큰화를 알아봅시다!"
tokens = enc.encode(text)

print(f"원본 텍스트: {text}")
print(f"토큰 수: {len(tokens)}")
print(f"토큰 ID: {tokens}")

# 각 토큰을 텍스트로 디코딩
for token_id in tokens:
    token_text = enc.decode([token_id])
    print(f"  {token_id} -> '{token_text}'")

# 토큰 수 미리 계산 (비용 예측용)
def estimate_tokens(text, model="gpt-4"):
    enc = tiktoken.encoding_for_model(model)
    return len(enc.encode(text))

long_text = "..." * 100
print(f"\n긴 텍스트 토큰 수: {estimate_tokens(long_text)}")

# 토큰 제한에 맞게 텍스트 자르기
def truncate_to_tokens(text, max_tokens, model="gpt-4"):
    enc = tiktoken.encoding_for_model(model)
    tokens = enc.encode(text)
    if len(tokens) > max_tokens:
        tokens = tokens[:max_tokens]
    return enc.decode(tokens)

truncated = truncate_to_tokens(text, 10)
print(f"잘린 텍스트: {truncated}")

# Hugging Face 토크나이저
# pip install transformers

from transformers import AutoTokenizer

# 다양한 모델의 토크나이저
models = {
    "GPT-2": "gpt2",
    "BERT": "bert-base-uncased",
    "Llama": "meta-llama/Llama-2-7b-hf",
    "Korean": "beomi/kcbert-base"
}

text_en = "Hello, this is a tokenization example."
text_ko = "안녕하세요, 토큰화 예제입니다."

for name, model_id in models.items():
    try:
        tokenizer = AutoTokenizer.from_pretrained(model_id)
        tokens_en = tokenizer.encode(text_en)
        tokens_ko = tokenizer.encode(text_ko)

        print(f"\n{name} 모델:")
        print(f"  영어 토큰 수: {len(tokens_en)}")
        print(f"  한국어 토큰 수: {len(tokens_ko)}")
        print(f"  어휘 크기: {tokenizer.vocab_size:,}")
    except:
        print(f"\n{name} 모델: 로드 실패 (인증 필요)")

# 특수 토큰 확인
tokenizer = AutoTokenizer.from_pretrained("gpt2")
print(f"\n특수 토큰:")
print(f"  BOS (시작): {tokenizer.bos_token}")
print(f"  EOS (종료): {tokenizer.eos_token}")
print(f"  PAD (패딩): {tokenizer.pad_token}")
print(f"  UNK (미지): {tokenizer.unk_token}")

# 배치 토큰화 (패딩 포함)
texts = ["짧은 문장", "이것은 조금 더 긴 문장입니다."]
encoded = tokenizer(texts, padding=True, return_tensors="pt")
print(f"\n배치 토큰화 결과:")
print(f"  input_ids shape: {encoded['input_ids'].shape}")