임베딩

import numpy as np
from openai import OpenAI
from sentence_transformers import SentenceTransformer

# OpenAI 임베딩 생성
client = OpenAI()

def get_openai_embedding(text, model="text-embedding-3-small"):
    response = client.embeddings.create(input=text, model=model)
    return response.data[0].embedding

# 텍스트 임베딩
texts = [
    "인공지능은 미래 기술입니다",
    "AI가 세상을 바꾸고 있습니다",
    "오늘 날씨가 좋습니다"
]
embeddings = [get_openai_embedding(t) for t in texts]

# 코사인 유사도 계산
def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

print(f"문장 1-2 유사도: {cosine_similarity(embeddings[0], embeddings[1]):.4f}")  # 높음
print(f"문장 1-3 유사도: {cosine_similarity(embeddings[0], embeddings[2]):.4f}")  # 낮음

# 오픈소스 모델 (Sentence-Transformers)
model = SentenceTransformer('all-MiniLM-L6-v2')  # 384차원, 빠름
embeddings_local = model.encode(texts)
print(f"로컬 모델 차원: {embeddings_local.shape}")

# 한국어 특화 모델
ko_model = SentenceTransformer('jhgan/ko-sroberta-multitask')
ko_embeddings = ko_model.encode(["안녕하세요", "반갑습니다"])
print(f"한국어 유사도: {cosine_similarity(ko_embeddings[0], ko_embeddings[1]):.4f}")