Sentence Transformer

# pip install sentence-transformers
from sentence_transformers import SentenceTransformer, util
import numpy as np

# 모델 로드 (첫 실행 시 자동 다운로드)
# 빠른 모델: all-MiniLM-L6-v2 (384차원, 빠름)
# 고품질 모델: all-mpnet-base-v2 (768차원, 느리지만 정확)
model = SentenceTransformer('all-MiniLM-L6-v2')

# 문장 리스트
sentences = [
    "인공지능이 세상을 바꾸고 있습니다.",
    "AI 기술이 우리의 삶을 혁신하고 있습니다.",
    "오늘 날씨가 매우 좋습니다.",
    "머신러닝은 데이터에서 패턴을 학습합니다.",
]

# 문장 임베딩 생성
embeddings = model.encode(sentences, convert_to_tensor=True)
print(f"임베딩 shape: {embeddings.shape}")  # (4, 384)

# 코사인 유사도 계산
cosine_scores = util.cos_sim(embeddings, embeddings)
print("\n유사도 행렬:")
print(cosine_scores.numpy().round(3))

# 쿼리와 가장 유사한 문장 찾기
query = "딥러닝 기술의 발전"
query_embedding = model.encode(query, convert_to_tensor=True)

# 모든 문장과의 유사도 계산
similarities = util.cos_sim(query_embedding, embeddings)[0]

# 결과 정렬 및 출력
print(f"\n쿼리: '{query}'")
print("유사한 문장 순위:")
for idx in similarities.argsort(descending=True):
    print(f"  {similarities[idx]:.3f}: {sentences[idx]}")

# pip install sentence-transformers faiss-cpu
from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

model = SentenceTransformer('all-MiniLM-L6-v2')

# 대규모 문서 코퍼스 (예시)
corpus = [
    "Python은 인기 있는 프로그래밍 언어입니다.",
    "JavaScript는 웹 개발에 필수적입니다.",
    "딥러닝은 신경망을 사용한 머신러닝 기법입니다.",
    "자연어 처리는 텍스트 데이터를 분석합니다.",
    "컴퓨터 비전은 이미지를 이해하는 AI 분야입니다.",
    # ... 수백만 개의 문서
]

# 코퍼스 임베딩 (한 번만 실행, 저장해두고 재사용)
corpus_embeddings = model.encode(corpus, convert_to_numpy=True)
corpus_embeddings = corpus_embeddings.astype('float32')

# FAISS 인덱스 생성 (L2 거리 기반)
dimension = corpus_embeddings.shape[1]  # 384
index = faiss.IndexFlatIP(dimension)  # Inner Product (코사인 유사도용 정규화 필요)

# 정규화 후 인덱스에 추가
faiss.normalize_L2(corpus_embeddings)
index.add(corpus_embeddings)

# 검색 함수
def search(query: str, top_k: int = 3):
    query_embedding = model.encode([query], convert_to_numpy=True).astype('float32')
    faiss.normalize_L2(query_embedding)

    scores, indices = index.search(query_embedding, top_k)

    results = []
    for score, idx in zip(scores[0], indices[0]):
        results.append({
            'document': corpus[idx],
            'score': float(score)
        })
    return results

# 검색 테스트
query = "AI가 이미지를 분석하는 방법"
results = search(query, top_k=3)

print(f"검색 쿼리: '{query}'")
for i, result in enumerate(results, 1):
    print(f"{i}. [{result['score']:.3f}] {result['document']}")

# pip install sentence-transformers datasets
from sentence_transformers import SentenceTransformer, InputExample, losses
from sentence_transformers.evaluation import EmbeddingSimilarityEvaluator
from torch.utils.data import DataLoader

# 기본 모델 로드
model = SentenceTransformer('all-MiniLM-L6-v2')

# 학습 데이터 준비 (문장 쌍 + 유사도 점수)
train_examples = [
    InputExample(texts=["문장 A1", "문장 B1"], label=0.9),  # 매우 유사
    InputExample(texts=["문장 A2", "문장 B2"], label=0.1),  # 다름
    # ... 더 많은 데이터
]

train_dataloader = DataLoader(train_examples, shuffle=True, batch_size=16)

# 손실 함수: CosineSimilarityLoss (연속 점수용)
train_loss = losses.CosineSimilarityLoss(model)

# 평가 데이터 (선택적)
evaluator = EmbeddingSimilarityEvaluator.from_input_examples(
    train_examples[:100],
    name='dev'
)

# 파인튜닝
model.fit(
    train_objectives=[(train_dataloader, train_loss)],
    epochs=3,
    warmup_steps=100,
    evaluator=evaluator,
    evaluation_steps=500,
    output_path='./my-finetuned-model'
)

# 파인튜닝된 모델 로드
model = SentenceTransformer('./my-finetuned-model')