Observability

# OpenTelemetry 통합 설정 - 메트릭, 로그, 트레이스 통합
from opentelemetry import trace, metrics
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.metrics import MeterProvider
from opentelemetry.sdk.resources import Resource
from opentelemetry.exporter.otlp.proto.grpc.trace_exporter import OTLPSpanExporter
from opentelemetry.exporter.otlp.proto.grpc.metric_exporter import OTLPMetricExporter
import structlog

# 공통 리소스 정의
resource = Resource.create({
    "service.name": "order-service",
    "service.version": "1.2.3",
    "deployment.environment": "production"
})

# Tracer 설정
trace.set_tracer_provider(TracerProvider(resource=resource))
tracer = trace.get_tracer(__name__)

# Meter 설정
metrics.set_meter_provider(MeterProvider(resource=resource))
meter = metrics.get_meter(__name__)

# 커스텀 메트릭
order_counter = meter.create_counter(
    "orders_total",
    description="Total number of orders"
)
order_latency = meter.create_histogram(
    "order_processing_seconds",
    description="Order processing latency"
)

# 구조화된 로거 (trace_id 자동 포함)
logger = structlog.get_logger()

def process_order(order_id: str):
    # 트레이스 시작
    with tracer.start_as_current_span("process_order") as span:
        span.set_attribute("order.id", order_id)

        # 로그에 trace_id 자동 연결
        ctx = trace.get_current_span().get_span_context()
        log = logger.bind(
            trace_id=format(ctx.trace_id, '032x'),
            span_id=format(ctx.span_id, '016x'),
            order_id=order_id
        )

        log.info("order_processing_started")

        with tracer.start_as_current_span("validate_payment"):
            # 결제 검증 로직...
            pass

        # 메트릭 기록
        order_counter.add(1, {"status": "success", "type": "online"})
        order_latency.record(0.235, {"step": "total"})

        log.info("order_processing_completed")

# Grafana 대시보드에서 세 기둥 통합 쿼리

# 1. 메트릭: 분당 주문 성공률 (Prometheus/PromQL)
sum(rate(orders_total{status="success"}[5m]))
/
sum(rate(orders_total[5m])) * 100

# 2. 로그: 에러 로그 검색 (Loki/LogQL)
{app="order-service"}
|= "error"
| json
| trace_id != ""  # trace_id가 있는 로그만

# 3. 트레이스: 느린 요청 분석 (Tempo/TraceQL)
{resource.service.name="order-service" && duration > 1s}

# Grafana에서 Exemplar 연결 설정
# 메트릭 패널에서 이상점 클릭 -> 해당 trace로 이동 -> 관련 로그 확인

# OpenTelemetry Collector 설정
receivers:
  otlp:
    protocols:
      grpc: { endpoint: "0.0.0.0:4317" }
processors:
  batch: {}
exporters:
  prometheus: { endpoint: "0.0.0.0:8889" }
  loki: { endpoint: "http://loki:3100/loki/api/v1/push" }
  otlp: { endpoint: "tempo:4317" }
service:
  pipelines:
    metrics: { receivers: [otlp], processors: [batch], exporters: [prometheus] }
    logs: { receivers: [otlp], processors: [batch], exporters: [loki] }
    traces: { receivers: [otlp], processors: [batch], exporters: [otlp] }