Embedding Model

# Embedding Model 활용 예제
from openai import OpenAI
import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

client = OpenAI()

# 1. OpenAI text-embedding-3-small 사용 ($0.02/1M tokens)
def get_embedding(text: str, model="text-embedding-3-small"):
    response = client.embeddings.create(input=text, model=model)
    return response.data[0].embedding

# 임베딩 생성
texts = [
    "Python은 데이터 분석에 많이 사용됩니다",
    "파이썬은 머신러닝 분야에서 인기가 높습니다",
    "자바스크립트는 웹 개발에 필수입니다",
    "오늘 날씨가 좋네요"
]
embeddings = [get_embedding(t) for t in texts]

# 2. 유사도 계산
similarity_matrix = cosine_similarity(embeddings)
print("텍스트 유사도 행렬:")
print(np.round(similarity_matrix, 2))
# Python-파이썬: 0.92 (높음), Python-날씨: 0.31 (낮음)

# 3. 시맨틱 검색 구현
query = "데이터 사이언스 프로그래밍 언어"
query_emb = get_embedding(query)

scores = cosine_similarity([query_emb], embeddings)[0]
ranked_results = sorted(zip(texts, scores), key=lambda x: x[1], reverse=True)

print("\n검색 결과:")
for text, score in ranked_results:
    print(f"  {score:.3f}: {text}")

# 4. 오픈소스 모델 (sentence-transformers)
from sentence_transformers import SentenceTransformer

# BGE 모델 - 한국어 지원, 무료
model = SentenceTransformer('BAAI/bge-m3')  # 다국어 지원

embeddings = model.encode(texts)
print(f"\n임베딩 차원: {embeddings.shape}")  # (4, 1024)

# 5. 배치 처리 + Vector DB 저장 (Chroma 예시)
import chromadb
from chromadb.utils import embedding_functions

chroma_client = chromadb.Client()
openai_ef = embedding_functions.OpenAIEmbeddingFunction(
    model_name="text-embedding-3-small"
)

collection = chroma_client.create_collection(
    name="documents",
    embedding_function=openai_ef
)

# 문서 추가 (임베딩 자동 생성)
collection.add(
    documents=texts,
    ids=[f"doc_{i}" for i in range(len(texts))]
)

# 유사 문서 검색
results = collection.query(
    query_texts=["AI 프로그래밍"],
    n_results=2
)
print(f"\n검색된 문서: {results['documents']}")