Parameter

# 모델 파라미터 확인 및 분석
import torch
import torch.nn as nn
from transformers import AutoModel

# 1. 간단한 신경망 파라미터 예제
class SimpleNN(nn.Module):
    def __init__(self, input_dim=784, hidden_dim=256, output_dim=10):
        super().__init__()
        self.fc1 = nn.Linear(input_dim, hidden_dim)  # 가중치 + 편향
        self.fc2 = nn.Linear(hidden_dim, output_dim)

    def forward(self, x):
        return self.fc2(torch.relu(self.fc1(x)))

model = SimpleNN()

# 파라미터 수 계산
def count_parameters(model):
    total = sum(p.numel() for p in model.parameters())
    trainable = sum(p.numel() for p in model.parameters() if p.requires_grad)
    return total, trainable

total, trainable = count_parameters(model)
print(f"Total: {total:,}, Trainable: {trainable:,}")
# 출력: Total: 203,530, Trainable: 203,530
# fc1: 784*256 + 256 = 200,960
# fc2: 256*10 + 10 = 2,570

# 2. LLM 파라미터 확인
llm = AutoModel.from_pretrained("bert-base-uncased")
total_llm, _ = count_parameters(llm)
print(f"BERT-base parameters: {total_llm / 1e6:.1f}M")
# 출력: BERT-base parameters: 109.5M

# 3. 레이어별 파라미터 분포
print("\n레이어별 파라미터:")
for name, param in model.named_parameters():
    print(f"  {name}: {param.shape} = {param.numel():,}")

# 4. 학습 가능 여부 제어 (파인튜닝 시)
for param in llm.encoder.layer[:10].parameters():
    param.requires_grad = False  # 하위 10개 레이어 동결

_, trainable_after = count_parameters(llm)
print(f"동결 후 학습 가능: {trainable_after/1e6:.1f}M")