기존 신경망의 문제점1. 공간 정보 손실 문제이전 신경망에서는 이미지를 다룰 때 큰 문제가 있었어요:[56 231] → [56, 231, 24, 2] → 일렬로 펴기[24 2]이렇게 2차원 이미지를 1차원 벡터로 변환하면:이미지를 그냥 숫자 줄로 펴서 계산.이렇게 하면 눈, 코, 입이 어디 있는지 같은 공간 정보가 사라짐.2. 모든 픽셀 연결의 비효율성완전 연결 신경망(Fully-Connected Networks)에서는:모든, 입력 픽셀이 모든 뉴런과 연결됩니다.32×32×3 이미지를 처리할 때 3,072개의 입력이 생성됩니다.100개 뉴런이 있는 첫 번째 은닉층에만 307,200개의 가중치가 필요합니다.이는 엄청난 계산량과 메모리를 요구합니다.3. 패턴 인식의 어려움일반 신경망은:이미지의..

Gradient Descent?배치 경사 하강법(Full-batch GD) vs 확률적 경사 하강법(SGD)1. 배치 경사 하강법(Full-batch GD) 해석:𝑊 : 우리가 바꾸고 싶은 값 (예: 가중치)𝜂 : 얼만큼 바꿀지 정하는 값 (학습률)𝐿 : 손실(loss), 즉 얼마나 틀렸는지$ \frac{\partial L_i}{\partial W} $ : i번째 데이터에 대한 기울기 (얼마나 잘못됐는지)예를 들어,어떤 문제를 풀었더니 𝐿=100이 나왔어 (즉, 많이 틀렸다는 뜻)그런데 기울기 $ \frac{\partial L}{\partial W} $ = 20이라면?👉 지금의 W에서 Loss가 빠르게 올라가고 있다는 뜻→ 반대로, 그 방향의 마이너스(-) 방향으로 가야 Loss를 줄일 수 있다..

기울기(Gradient)를 계산하는 두 가지 방법:수치적 방법(Numerical Gradient)과 해석적 방법(Analytical Gradient)수치적 기울기 (Numerical Gradient)수치적 기울기는 함수의 입력을 아주 조금 변화시켜서 출력이 얼마나 변하는지 직접 계산하는 방법입니다.여기서 $ h $는 아주 작은 수, 보통 0.00001 같은 값을 씁니다.장점:구현이 단순하고 직관적입니다코드가 간결합니다디버깅이 쉽습니다단점:계산이 매우 느립니다 (가중치 개수만큼 반복 계산 필요)근사값이므로 정확도가 떨어질 수 있습니다실제 모델 학습에 사용하기에는 비효율적입니다해석적 방법 (Analytical Gradient)수학적으로 미분 공식을 직접 이용해서 정확한 기울기를 계산하는 방법입니다.장점:매우..

최적화(Optimization)란?최적화는 "고양이 사진이면 고양이 점수가 높게, 다른 점수는 낮게" 나오도록 가중치(W)를 조정하는 과정입니다최적화 과정에서는 '손실 함수(Loss Function)'라는 것을 사용합니다.이 함수는 모델이 얼마나 잘못 예측하는지를 숫자로 나타냅니다.손실 값이 크면 예측이 많이 틀렸다는 뜻이고, 작으면 예측이 정확하다는 뜻입니다.최적화의 목표는 이 손실 값을 최소화하는 가중치(W)를 찾는 것입니다.손실함수 = 얼마나 틀렸는지 계산하기최적화 = 어떻게 고칠지 방향을 정하는 것. W를 조금씩 수정하는 작업.나쁜 방법 vs 좋은 방법 - 나쁜 방법: 랜덤 서치(Random Search)  말 그대로 무작위로 가중치 값을 시도해보는 방법입니다.  운 좋으면 괜찮지만… 대부분은 시..

$$ f(x,W)=Wx + b $$선형분류기에서 중요한 것은 가중치(W)가 학습을 통해 바뀐다는 점입니다. 처음에는 임의의 값으로 시작하지만, 많은 이미지를 보면서 점점 더 좋은 가중치 값을 찾아가게 됩니다. 이것이 바로 '학습'입니다.가중치(W)의 학습 과정1. 처음 상태: 임의의 가중치로 시작 - 분류기의 가중치(W)는 처음에 무작위로 설정2. 예측과 오차 계산 - 학습 데이터(이미지와 정답 레이블)를 사용손실 함수(Loss Function)는 현재 분류기가 얼마나 잘 작동하는지 알려주는 지표입니다.낮은 손실 = 좋은 분류기, 높은 손실 = 나쁜 분류기$$ L(W)= \frac{1}{N} \sum_{i=1}^{N} \ L_i (f(x_i, W),\ y_i) + \lambda \cdot R(W) $$손..

선형 분류기란?그림이나 숫자 데이터를 직선 하나로 나눠서 어떤 그룹인지 알아내는 도구예: 시험 점수를 보고 합격/불합격 나누는 것$$ f(x,W)=Wx + b $$W와 b는 뭘까?W는 '가중치'. 이미지의 각 부분이 얼마나 중요한지 알려주는 숫자.b는 '편향'. 특정 답을 더 선호하게 만드는 값.1단계. 이미지를 숫자로 바꾸고 → 이미지는 픽셀이라는 작은 점들의 모음_(ex) 2x2크기 → 픽셀은 빨강(R), 초록(G), 파랑(B) 값_3가지 → 2x2x3 = 12개 숫자로 표현 가능 → 이 숫자들을 일렬로 늘어놓으면 하나의 긴 숫자 배열(벡터)2단계. 가중치를 곱하고 편향을 더해서가중치(W)분류하려는 클래스 수에 따라 크기가 정해짐예: 3개의 클래스(고양이, 개, 배)를 구분한다면, W는 3×12 크기..

k-NN은 어떠한 패턴도 학습할 수 있을까?k-NN 알고리즘의 놀라운 특성 중 하나는 보편 근사 능력(Universal Approximation)입니다. 쉽게 말해, 충분한 예시 데이터만 있다면 k-NN은 이론적으로 어떤 복잡한 패턴도 학습할 수 있습니다.이것은 마치 여러분이 지도에서 모든 장소의 날씨를 알고 있다면, 새로운 장소의 날씨도 주변 장소들의 날씨를 보고 꽤 정확하게 예측할 수 있는 것과 비슷합니다.하지만 여기서 중요한 문제가 생깁니다. 지구 표면의 모든 장소에 대한 날씨 정보를 수집하는 것은 불가능하죠. 마찬가지로 고차원 데이터(예: 이미지)에서는 가능한 모든 경우를 커버하는 데이터를 모으는 것이 현실적으로 불가능합니다.이것이 바로 차원의 저주(Curse of Dimensionality)라고..

k-NN이란?k-최근접 이웃(k-Nearest Neighbors)의 줄임말가장 간단한 인공지능 알고리즘 중 하나핵심 아이디어: "비슷한 것들은 비슷하게 분류한다"작동 방식'훈련 데이터'를 저장 - 훈련 데이터란 정답이 이미 정해진 예시들 - 예: 사과, 오렌지, 바나나 등의 색상, 무게, 맛새로운 문제가 생겼을 때, 그 사진을 '훈련 데이터'들과 비교 - 새로운 것이 나타나면, 기억하고 있는 모든 예시와 얼마나 다른지 계산 - 색깔 차이, 무게 차이 등을 모두 고려해서 '거리'로 표현가장 가까운 k개 이웃 찾기 - 계산한 거리가 가장 가까운(가장 비슷한) k개의 예시를 선택 - k=3이면 가장 비슷한 3개, k=5면 가장 비슷한 5개의 예시를 탐색다수결로 결정 - 찾은 k개 중에서 가장 많은 종류가 새로..

데이터셋은 쉽게 말해, 공부할 자료 모음을 뜻합니다.예를 들어,사람이 영어 공부할 때 → 단어장, 문장 모음AI가 이미지 공부할 때 → 고양이, 개, 자동차 사진 모음즉, AI가 뭔가를 배우기 위해 보는 예제들의 모음집이 데이터셋입니다.대표적인 이미지 데이터셋1. MNIST흑백 손글씨 숫자 이미지 (0~9)28×28 크기의 간단한 이미지초보자용 분류 모델 학습에 자주 사용2. CIFAR-10 / CIFAR-10032×32 크기의 컬러 이미지CIFAR-10: 자동차, 개, 고양이 등 10가지 클래스CIFAR-100: 더 세분화된 100가지 클래스3. ImageNet수백만 장의 고해상도 이미지1000개 이상의 카테고리딥러닝 대회(ILSVRC)와 논문에서 자주 사용AlexNet(2012) 모델이 이 데이터로 ..

1. 의료 영상 분석- X선, CT, MRI로 질병 자동 진단 (예: 폐렴, 종양) - 진단 시간 단축, 정확도 향상, 의사 보조2. 천문학 - 은하 분류- 수많은 은하를 자동 분류 (나선형, 타원형 등) - 우주 구조 분석에 도움, Galaxy Zoo 프로젝트 활용3. 야생 동물 인식- 고래 지느러미 사진으로 개체 추적 - 태깅 없이 멸종위기종 모니터링 가능4. 기타 컴퓨터 비전 기술의 기반- 객체 탐지: 한 이미지 내 여러 물체 인식 + 위치 확인 - 이미지 캡셔닝: 사진을 자연어로 설명하는 기술 (컴퓨터 비전 + 자연어 처리) - 시각적 게임 플레이: 이미지로 게임 상황 파악, AI 전략 수립 (예: 알파고)영상 분류의 중요성독립적인 응용의료, 천문학, 생물학 등 다양한 분야의 전문가 작업 보조대규..