Yi

# Yi API 사용 예제 (OpenAI 호환 인터페이스)
from openai import OpenAI

# 01.AI Platform API 클라이언트 설정
client = OpenAI(
    api_key="your-yi-api-key",
    base_url="https://api.lingyiwanwu.com/v1"
)

# Yi-Lightning 모델 호출 (가장 비용 효율적)
def chat_with_yi_lightning(prompt: str) -> str:
    response = client.chat.completions.create(
        model="yi-lightning",
        messages=[
            {"role": "system", "content": "당신은 한국어와 중국어에 능통한 AI 어시스턴트입니다."},
            {"role": "user", "content": prompt}
        ],
        max_tokens=1000,
        temperature=0.7
    )
    return response.choices[0].message.content

# Yi-Large 모델 호출 (고성능 추론)
def chat_with_yi_large(prompt: str, stream: bool = False) -> str:
    response = client.chat.completions.create(
        model="yi-large",
        messages=[
            {"role": "user", "content": prompt}
        ],
        max_tokens=2000,
        stream=stream
    )

    if stream:
        full_response = ""
        for chunk in response:
            if chunk.choices[0].delta.content:
                full_response += chunk.choices[0].delta.content
                print(chunk.choices[0].delta.content, end="", flush=True)
        return full_response

    return response.choices[0].message.content

# 다국어 번역 예제 (Yi의 강점)
def translate_multilingual(text: str, source_lang: str, target_lang: str) -> str:
    prompt = f"""
    다음 텍스트를 {source_lang}에서 {target_lang}로 번역해주세요.
    자연스럽고 문맥에 맞는 번역을 제공하세요.

    원문: {text}

    번역:
    """
    return chat_with_yi_lightning(prompt)

# Hugging Face에서 오픈소스 Yi 모델 사용
from transformers import AutoModelForCausalLM, AutoTokenizer

def load_yi_opensource():
    model_id = "01-ai/Yi-34B-Chat"

    tokenizer = AutoTokenizer.from_pretrained(
        model_id,
        trust_remote_code=True
    )

    model = AutoModelForCausalLM.from_pretrained(
        model_id,
        device_map="auto",
        torch_dtype="auto",
        trust_remote_code=True
    )

    return model, tokenizer

def generate_with_yi_local(model, tokenizer, prompt: str) -> str:
    messages = [{"role": "user", "content": prompt}]
    input_ids = tokenizer.apply_chat_template(
        messages,
        return_tensors="pt"
    ).to(model.device)

    output = model.generate(
        input_ids,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7,
        top_p=0.9
    )

    return tokenizer.decode(output[0], skip_special_tokens=True)

# 실행 예제
if __name__ == "__main__":
    # API 사용
    result = chat_with_yi_lightning("Python에서 async/await 사용법을 설명해주세요.")
    print(result)

    # 번역 예제
    translation = translate_multilingual(
        "인공지능이 세상을 바꾸고 있습니다.",
        "한국어",
        "중국어"
    )
    print(f"번역 결과: {translation}")