배치 정규화

# PyTorch에서 배치 정규화 사용 예제
import torch
import torch.nn as nn

class ConvBlockWithBatchNorm(nn.Module):
    """
    Conv -> BatchNorm -> ReLU 패턴의 기본 블록
    대부분의 CNN 아키텍처에서 표준으로 사용됩니다.
    """
    def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1):
        super().__init__()
        self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding, bias=False)
        # bias=False: BatchNorm의 beta가 bias 역할을 하므로 불필요
        self.bn = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)

    def forward(self, x):
        x = self.conv(x)
        x = self.bn(x)
        x = self.relu(x)
        return x

# ResNet 스타일 Residual Block with BatchNorm
class ResidualBlock(nn.Module):
    def __init__(self, channels):
        super().__init__()
        self.conv1 = nn.Conv2d(channels, channels, 3, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(channels)
        self.conv2 = nn.Conv2d(channels, channels, 3, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(channels)
        self.relu = nn.ReLU(inplace=True)

    def forward(self, x):
        residual = x
        out = self.relu(self.bn1(self.conv1(x)))
        out = self.bn2(self.conv2(out))
        out += residual  # Skip connection
        return self.relu(out)

# 모델 생성 및 학습/추론 모드 전환
model = ResidualBlock(64)

# 학습 모드: 배치 통계 사용 + running stats 업데이트
model.train()
x_train = torch.randn(32, 64, 56, 56)  # batch=32
output_train = model(x_train)

# 추론 모드: running mean/variance 사용
model.eval()
with torch.no_grad():
    x_test = torch.randn(1, 64, 56, 56)  # 단일 이미지도 OK
    output_test = model(x_test)

print(f"학습 출력 shape: {output_train.shape}")
print(f"추론 출력 shape: {output_test.shape}")