import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
import numpy as np
import matplotlib.pyplot as plt

class ResNetBlock(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super(ResNetBlock, self).__init__()
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels)
        
        self.shortcut = nn.Sequential()
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(out_channels)
            )
 
    def forward(self, x):
        residual = self.shortcut(x)
        out = self.conv1(x)
        out = self.bn1(out)
        out = self.relu(out)
        out = self.conv2(out)
        out = self.bn2(out)
        out += residual
        out = self.relu(out)
        return out

class ResNet18(nn.Module):
    def __init__(self, num_classes=10):
        super(ResNet18, self).__init__()
        self.in_channels = 64
        self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3, bias=False)
        self.bn1 = nn.BatchNorm2d(64)
        self.relu = nn.ReLU(inplace=True)
        self.maxpool = nn.MaxPool2d(kernel_size=3, stride=2, padding=1)
 
        self.layer1 = self._make_layer(64, 64, 2, stride=1)
        self.layer2 = self._make_layer(64, 128, 2, stride=2)
        self.layer3 = self._make_layer(128, 256, 2, stride=2)
        self.layer4 = self._make_layer(256, 512, 2, stride=2)
 
        self.avgpool = nn.AdaptiveAvgPool2d((1, 1))
        self.fc = nn.Linear(512, num_classes)
 
    def _make_layer(self, in_channels, out_channels, num_blocks, stride):
        layers = []
        layers.append(ResNetBlock(in_channels, out_channels, stride))
        self.in_channels = out_channels
        for i in range(1, num_blocks):
            layers.append(ResNetBlock(out_channels, out_channels))
        return nn.Sequential(*layers)
 
    def forward(self, x):
        x = self.conv1(x)
        x = self.bn1(x)
        x = self.relu(x)
        x = self.maxpool(x)
 
        x = self.layer1(x)
        x = self.layer2(x)
        x = self.layer3(x)
        x = self.layer4(x)
 
        x = self.avgpool(x)
        x = x.view(x.size(0), -1)
        x = self.fc(x)
        return x

model = ResNet18(num_classes=10)

from torchsummary import summary
summary(model, input_size=(3, 224, 224))

# CIFAR-10 데이터셋 다운로드 및 로드하기
train_dataset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transforms.ToTensor())
test_dataset = torchvision.datasets.CIFAR10(root='./data', train=False, download=True, transform=transforms.ToTensor())

# 데이터 전처리 정의하기
transform_train = transforms.Compose([
    transforms.RandomCrop(32, padding=4),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])
 
transform_test = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))
])
 
# 데이터 로더 생성하기
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=128, shuffle=True, num_workers=2)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=100, shuffle=False, num_workers=2)

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model = model.to(device)

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.1, momentum=0.9, weight_decay=5e-4)

num_epochs = 100
train_losses = []
train_accuracies = []
val_losses = []
val_accuracies = []
 
for epoch in range(num_epochs):
    # 훈련 단계
    model.train()
    running_loss = 0.0
    correct = 0
    total = 0
    for i, (inputs, labels) in enumerate(train_loader):
        inputs, labels = inputs.to(device), labels.to(device)
        
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
 
## 모델 최적화
 
### 정규화
 
정규화는 딥러닝 모델에서 오버피팅을 방지하기 위해 사용되는 기술입니다. 오버피팅은 모델이 훈련 데이터에서는 잘 작동하지만 새로운, 이전에 보지 못한 데이터에는 일반화할 수 없는 경우 발생합니다. 정규화 기법은 모델의 복잡성에 페널티를 부여하거나 훈련 과정에 노이즈를 추가함으로써 모델이 더 잘 일반화되도록 도와줍니다.
 
L2 정규화라고도 알려진 가장 인기 있는 정규화 기법 중 하나는 가중치의 제곱 크기에 비례하는 패널티 항을 손실 함수에 추가하는 것입니다. L2 정규화가 적용된 손실 함수는 다음과 같이 작성할 수 있습니다:
 

여기서 `lambda`는 정규화 강도를 나타내며, `w`는 모델의 가중치입니다.

또 다른 인기 있는 정규화 기법은 Dropout입니다. Dropout은 훈련 중에 레이어의 일부 활성화를 무작위로 0으로 설정하여 모델의 용량을 줄이고 보다 견고한 특성을 배우도록 만듭니다. 이를 통해 오버피팅을 방지하고 모델의 일반화 성능을 향상시킬 수 있습니다.

다음은 PyTorch 모델에 Dropout을 구현하는 예시입니다:

```python
import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = nn.Linear(64, 128)
        self.dropout = nn.Dropout(p=0.5)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = self.fc1(x)
        x = self.dropout(x)
        x = self.fc2(x)
        return x

import torch.optim as optim
 
model = MyModel()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

optimizer = optim.Adam(model.parameters(), lr=0.001)

optimizer = optim.Adagrad(model.parameters(), lr=0.01)

optimizer = optim.RMSprop(model.parameters(), lr=0.001, alpha=0.99)

import torchvision.models as models
import torch.nn as nn
 
# 사전 훈련된 ResNet 모델 불러오기
resnet = models.resnet18(pretrained=True)
 
# 사전 훈련된 모델의 파라미터 동결하기
for param in resnet.parameters():
    param.requires_grad = False
 
# 마지막 레이어를 새로운 완전 연결 레이어로 대체하기
num_features = resnet.fc.in_features
resnet.fc = nn.Linear(num_features, 10)  # 10개 클래스 가정
 
# 새로운 데이터셋으로 모델 훈련하기
optimizer = optim.Adam(resnet.fc.parameters(), lr=0.001)

import torch.nn as nn
import torch.nn.functional as F
 
class AttentionModel(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim):
        super(AttentionModel, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.lstm = nn.LSTM(embedding_dim, hidden_dim, bidirectional=True, batch_first=True)
        self.attention = nn.Linear(hidden_dim * 2, 1)
 
    def forward(self, input_ids):
        # 입력 임베딩
        embedded = self.embedding(input_ids)
 
        # 임베딩된 입력을 LSTM에 통과
        lstm_output, _ = self.lstm(embedded)
 
        # 어텐션 가중치 계산
        attention_weights = F.softmax(self.attention(lstm_output), dim=1)
 
        # LSTM 출력에 가중치의 합 계산
        context = torch.sum(attention_weights * lstm_output, dim=1)
 
        return context