AI Alignment

"""
AI Alignment 기법: Constitutional AI 스타일 자기 비평 시스템
모델이 응답을 생성한 후 스스로 검토하고 수정하는 패턴
"""

from openai import OpenAI

client = OpenAI()

# 헌법 원칙 정의 (Constitutional AI 스타일)
CONSTITUTION = """
1. 응답은 정확하고 진실해야 합니다. 불확실하면 불확실하다고 말합니다.
2. 사용자에게 해를 끼칠 수 있는 정보는 제공하지 않습니다.
3. 차별적이거나 편향된 콘텐츠를 생성하지 않습니다.
4. 사용자의 자율성을 존중하며 조작하지 않습니다.
5. 명시적 동의 없이 개인정보를 수집하거나 공유하지 않습니다.
"""

def generate_with_self_critique(user_prompt: str) -> dict:
    """
    1단계: 초기 응답 생성
    2단계: 헌법 원칙으로 자기 비평
    3단계: 비평을 반영하여 수정된 응답 생성
    """

    # 1단계: 초기 응답 생성
    initial_response = client.chat.completions.create(
        model="gpt-4",
        messages=[{"role": "user", "content": user_prompt}],
        temperature=0.7
    ).choices[0].message.content

    # 2단계: 자기 비평
    critique_prompt = f"""
다음 응답을 헌법 원칙에 따라 검토하세요:

<헌법>
{CONSTITUTION}


<응답>
{initial_response}


각 원칙별로 위반 여부를 분석하고, 개선점을 제안하세요.
"""

    critique = client.chat.completions.create(
        model="gpt-4",
        messages=[{"role": "user", "content": critique_prompt}],
        temperature=0.3
    ).choices[0].message.content

    # 3단계: 수정된 응답 생성
    revision_prompt = f"""
원래 질문: {user_prompt}

초기 응답: {initial_response}

자기 비평: {critique}

비평을 반영하여 개선된 응답을 작성하세요.
"""

    revised_response = client.chat.completions.create(
        model="gpt-4",
        messages=[{"role": "user", "content": revision_prompt}],
        temperature=0.5
    ).choices[0].message.content

    return {
        "initial_response": initial_response,
        "critique": critique,
        "final_response": revised_response
    }

# 사용 예시
result = generate_with_self_critique(
    "투자 조언을 해주세요. 어떤 주식을 사야 할까요?"
)

print("=== 초기 응답 ===")
print(result["initial_response"])
print("\n=== 자기 비평 ===")
print(result["critique"])
print("\n=== 최종 응답 ===")
print(result["final_response"])