Weight

import torch
import torch.nn as nn

# 1. 간단한 신경망 정의
class SimpleNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc1 = nn.Linear(10, 5)  # 10 입력 -> 5 출력
        self.fc2 = nn.Linear(5, 2)   # 5 입력 -> 2 출력

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        return self.fc2(x)

model = SimpleNN()

# 2. 가중치 확인
print("=== fc1 레이어 가중치 ===")
print(f"가중치 shape: {model.fc1.weight.shape}")  # [5, 10]
print(f"편향 shape: {model.fc1.bias.shape}")      # [5]
print(f"가중치 값 (일부):\n{model.fc1.weight[:2, :3]}")

# 3. 전체 파라미터 수 계산
total_params = sum(p.numel() for p in model.parameters())
trainable_params = sum(p.numel() for p in model.parameters() if p.requires_grad)
print(f"\n총 파라미터: {total_params:,}")
print(f"학습 가능 파라미터: {trainable_params:,}")

# 4. 가중치 초기화
def init_weights(m):
    if isinstance(m, nn.Linear):
        nn.init.xavier_uniform_(m.weight)
        nn.init.zeros_(m.bias)

model.apply(init_weights)
print(f"\n초기화 후 가중치:\n{model.fc1.weight[:2, :3]}")

# 5. 가중치 저장 & 로드
torch.save(model.state_dict(), "model_weights.pt")
print("\n가중치 저장 완료: model_weights.pt")

# 새 모델에 가중치 로드
new_model = SimpleNN()
new_model.load_state_dict(torch.load("model_weights.pt"))
print("가중치 로드 완료!")

# 6. 학습 중 가중치 변화 관찰
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
criterion = nn.CrossEntropyLoss()

# 더미 데이터
x = torch.randn(32, 10)
y = torch.randint(0, 2, (32,))

print(f"\n학습 전 fc1.weight[0,0]: {model.fc1.weight[0,0].item():.6f}")

# 학습 스텝
for _ in range(10):
    optimizer.zero_grad()
    output = model(x)
    loss = criterion(output, y)
    loss.backward()
    optimizer.step()

print(f"학습 후 fc1.weight[0,0]: {model.fc1.weight[0,0].item():.6f}")

# 7. 가중치 프리징 (일부 레이어 학습 중지)
for param in model.fc1.parameters():
    param.requires_grad = False

print(f"\nfc1 프리징 후 학습 가능 파라미터: {sum(p.numel() for p in model.parameters() if p.requires_grad):,}")