개체명 인식

# pip install transformers torch

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

# 한국어 NER 모델 로드
model_name = "Leo97/KoELECTRA-small-v3-modu-ner"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)

# NER 파이프라인 생성
ner_pipeline = pipeline("ner", model=model, tokenizer=tokenizer,
                        aggregation_strategy="simple")

# 분석할 텍스트
texts = [
    "삼성전자 이재용 회장이 서울에서 기자회견을 열었다.",
    "2024년 1월 15일 네이버는 신규 AI 서비스를 발표했다.",
    "애플의 팀 쿡 CEO가 도쿄에서 열린 행사에 참석했다."
]

# NER 수행
for text in texts:
    print(f"원문: {text}")
    entities = ner_pipeline(text)

    for entity in entities:
        print(f"  → {entity['word']}: {entity['entity_group']} "
              f"(신뢰도: {entity['score']:.2%})")
    print()

# 출력 예시:
# 원문: 삼성전자 이재용 회장이 서울에서 기자회견을 열었다.
#   → 삼성전자: ORG (신뢰도: 98.45%)
#   → 이재용: PER (신뢰도: 99.12%)
#   → 서울: LOC (신뢰도: 97.89%)

# pip install spacy
# python -m spacy download ko_core_news_lg

import spacy

# 한국어 모델 로드
nlp = spacy.load("ko_core_news_lg")

text = """
카카오뱅크가 2024년 3월에 서울 강남에서 핀테크 컨퍼런스를 개최한다.
행사에는 김범수 카카오 창업자와 이승건 토스 대표가 참석할 예정이다.
"""

# NER 수행
doc = nlp(text)

# 결과 출력
print("개체명 인식 결과:")
for ent in doc.ents:
    print(f"  {ent.text}: {ent.label_} (위치: {ent.start_char}-{ent.end_char})")

# 출력 예시:
# 개체명 인식 결과:
#   카카오뱅크: ORG (위치: 1-6)
#   2024년 3월: DATE (위치: 8-16)
#   서울 강남: LOC (위치: 18-24)
#   김범수: PER (위치: 50-53)
#   카카오: ORG (위치: 54-57)
#   이승건: PER (위치: 65-68)
#   토스: ORG (위치: 69-71)

# pip install anthropic

import anthropic
import json

client = anthropic.Anthropic()

def extract_entities_with_llm(text: str) -> dict:
    prompt = f"""다음 텍스트에서 개체명을 추출하세요.

개체 유형:
- PER: 인명
- ORG: 기관/회사명
- LOC: 지명
- DATE: 날짜/시간
- MONEY: 금액

예시:
텍스트: "삼성전자 이재용 회장이 2024년 1월 서울에서 10억원 투자를 발표했다."
결과: {{"PER": ["이재용"], "ORG": ["삼성전자"], "LOC": ["서울"], "DATE": ["2024년 1월"], "MONEY": ["10억원"]}}

텍스트: "{text}"
결과:"""

    response = client.messages.create(
        model="claude-sonnet-4-20250514",
        max_tokens=500,
        messages=[{"role": "user", "content": prompt}]
    )

    return json.loads(response.content[0].text)

# 사용 예시
text = "LG전자가 2024년 4월 부산 벡스코에서 500억원 규모의 AI 로봇 사업을 공개한다."
entities = extract_entities_with_llm(text)
print(entities)

# 출력: {"PER": [], "ORG": ["LG전자"], "LOC": ["부산 벡스코"], "DATE": ["2024년 4월"], "MONEY": ["500억원"]}