Neural Network

# PyTorch로 구현하는 기본 신경망
# pip install torch

import torch
import torch.nn as nn
import torch.optim as optim

# 간단한 신경망 정의
class SimpleNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(SimpleNN, self).__init__()
        # 입력층 -> 은닉층 1
        self.layer1 = nn.Linear(input_size, hidden_size)
        self.relu1 = nn.ReLU()
        # 은닉층 1 -> 은닉층 2
        self.layer2 = nn.Linear(hidden_size, hidden_size // 2)
        self.relu2 = nn.ReLU()
        # 은닉층 2 -> 출력층
        self.output = nn.Linear(hidden_size // 2, output_size)

    def forward(self, x):
        x = self.relu1(self.layer1(x))  # 첫 번째 은닉층
        x = self.relu2(self.layer2(x))  # 두 번째 은닉층
        x = self.output(x)              # 출력층
        return x

# 모델 생성
model = SimpleNN(input_size=784, hidden_size=256, output_size=10)
print(f"모델 구조:\n{model}")

# 손실 함수와 옵티마이저 정의
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 학습 루프 예시
def train_step(model, data, target):
    model.train()
    optimizer.zero_grad()           # 기울기 초기화
    output = model(data)            # 순전파
    loss = criterion(output, target) # 손실 계산
    loss.backward()                 # 역전파 (기울기 계산)
    optimizer.step()                # 가중치 업데이트
    return loss.item()

# 파라미터 수 확인
total_params = sum(p.numel() for p in model.parameters())
print(f"총 파라미터 수: {total_params:,}")
# 총 파라미터 수: 235,146