FastText

import fasttext
import fasttext.util
import numpy as np

# 1. 사전 학습된 한국어 모델 다운로드 및 로드
fasttext.util.download_model('ko', if_exists='ignore')  # 약 4.5GB
model = fasttext.load_model('cc.ko.300.bin')

# 단어 벡터 얻기
word_vector = model.get_word_vector("인공지능")
print(f"벡터 차원: {word_vector.shape}")  # (300,)

# 유사 단어 찾기
similar_words = model.get_nearest_neighbors("인공지능", k=5)
print("유사 단어:", similar_words)

# OOV 단어도 벡터 생성 가능 (FastText의 강점)
oov_vector = model.get_word_vector("인공지능개발자")
print("OOV 단어 벡터도 생성됨:", oov_vector[:5])

# 2. 텍스트 분류 모델 학습
# 학습 데이터 형식: __label__레이블 텍스트
# train.txt 예시:
# __label__positive 이 영화 정말 재미있어요
# __label__negative 시간 낭비였습니다

# 분류 모델 학습
classifier = fasttext.train_supervised(
    input='train.txt',
    epoch=25,
    lr=0.5,
    wordNgrams=2,  # bi-gram 사용
    dim=100,
    loss='softmax'
)

# 예측
prediction = classifier.predict("정말 좋은 제품이에요")
print(f"예측: {prediction}")  # (('__label__positive',), array([0.98]))

# 여러 문장 예측
texts = ["최악이에요", "추천합니다", "그냥 그래요"]
predictions = classifier.predict(texts)
print("배치 예측:", predictions)

# 모델 평가
result = classifier.test("test.txt")
print(f"정확도: {result[1]:.4f}")

# 3. 커스텀 임베딩 학습
# corpus.txt: 한 줄에 하나의 문장
custom_model = fasttext.train_unsupervised(
    input='corpus.txt',
    model='skipgram',  # 또는 'cbow'
    dim=100,
    minCount=5,
    minn=2,  # 최소 n-gram 길이
    maxn=5,  # 최대 n-gram 길이
    epoch=5
)

# 모델 저장
custom_model.save_model("my_fasttext.bin")

# 차원 축소 (메모리 절약)
fasttext.util.reduce_model(model, 100)  # 300 -> 100 차원