개발시작

1.  오토인코더 1) 오토 인코더 - 입력데이터를 인코딩 후, 본래의 데이터형태로 디코딩하는 비지도학습 형태의 신경망 (부호화,복호화)- 입력층과 출력층 수가 동일 ( 이외에는 다층 퍼셉트론과 유사 )- 매니폴드를 찾는 것이 핵심 기능 (매니폴드 학습 : 고차원 데이터의 특징과 구조 투사하는 학습과정)  (1) 오토인코더 구조 ① 구성 요소   인코더 : 입력데이터를 저차원의 잠재 벡터로 압축    잠재 벡터 ( latency vector ) : 차원 압축의 결과물, z=h(x)   디코더 : 저차원의 잠재벡터를 입력데이터와 유사하게 복원, y=g(z)=g(h(x)) ② 학습   - 손실값 (MSELoss) 최소화 학습 ( 입력데이터 x와 재구성 예측값 y의 오차제곱합을 평균 ) (2) 오토인코더의 특..

1. AlexNet (ReLU, 데이터증강, 드롭아웃)ILSVRC(ImageNet LargeScale VisualRecognition Challenge, 2010 ~ 2017) 2012 Winner - 2010,2011년 (전통적 비전, 정확도 70~75%), 2012~2015년 (딥러닝, 정확도 85~95%)- AlexNet을 토대로 Deep Learning시작 (16.4%에러율,  압도적인 성능으로 1위)- 256 x 256의 이미지,  1000개의 레이블 - 데이터 증강으로 120만 학습, 5만 검증, 15만개 테스트 1) AlexNet의 구조(1) 기본 구성- 5개의 합성곱과 3개의 완전연결층, 풀링층 3개 - 2개의 GPU로 연산을 처리할수 있는 병렬적인 구조로 설계 - ReLU, LRN, O..

1. CNN  CNN - 이미지를 기반으로 한 영상처리에서 우수한 성능을 보이는 신경망영상처리  : 디지털 이미지의 조작, 분석, 인식, 생성등의 목적을 달성하기 위한 기술   1) 합성곱 연산(1) 영상의 표현 : RGB(그레이의 경우 값이 같음)와 투명도 값으로 표현  (2) 합성곱 연산(필터링 연산) - 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱하고 구간에 대해 적분하여 새로운 함수를 구한 연산자  가중합 ( Σ 𝝎ᵢ𝒙ᵢ + 𝑏 )의 기본식, 𝝎ᵢ의 값(합성곱 필터의 픽셀값)곱하여 더하여 구간의 값을 구함   (합성곱의 경우 필터를 적용하는 것이 가중치 적용, 더하는 것이 적분)- 합성곱 신경망은 학습을 통해 가중치를 결정 (학습 완료전까지 필터 가중치 파악할수 없음)예) 포토샵, ..

1. Deep Learing Frame Work 딥러닝 프레임워크- 딥러닝을 위해 설계된 라이브러리, 데이터집합, 미리구성된 네트워크 및 기타 도구를 제공하는 소프트웨어- 텐서플로(TensorFlow) , 파이토치(PyTorch), 카페(Caffe) , MXNet- 자동 미분, 기본적인 신경망 구성요소, 손실함수 및 최적화도구, 계산자원 활용, 모델의 저장 및 로드 1) Tensorflow- 2015년 Google Brain Team에서 만든 심층신경망을 위한 오픈소스 딥러닝 프레임워크  (2019년 Tensorflow 2.0발표), 아파치 라이선스 2.0- 파이썬 언어를 위한 API제공 ( C++, Java를 위한 API제공 )- Keras (고수준 신경망 API)통합 , 2.0버전 이후  (1) 실행..

1. Multi Layer Perceptron- 여러개의 결정경계를 학습할수 있는 퍼셉트론  1) Multi-Layer의 구성 (1)다층 퍼셉트론 - 입력층과 출력층 사이에 1개이상의 층이 있는 FeedForward 신경망 - 여러개의 경계를 구성하여 적절한 분류가능   ① Hidden Layer- 은닉층을 이용한 다양한 경계의 표현이 가능- 내부층의 레이블이 제공되지 않음 ( 관련 학습 알고리즘 필요 ) (2) Back Propagation(역전파)- 1974년 Paul Werbos, 1986년 Rumelhart등이 발표한 Feedforward신경망의 학습 알고리즘- Rumelhart의 논문에서는 활성함수로 시그모이드 함수 (모든 u값에 대해 미분값 계산가능) ① Gradient Descent- 함수의..

1. 인공지능 구현 1)인공 신경망 두뇌를 구성하는 생물학적 신경 시스템의 원리를 바탕으로 설계된 계산 시스템  (1) 인공 신경망초기의 신경망 연구1943, Warren McCulloch등 : 임계치 논리(threshold logic)알고리즘 바탕의 신경망계산모델 제안1949, Donald Hebb : 헵의 학습(Hebbian learning)이론제시, 연결의 가중치 조정을 통한 학습1957, Fank Rosenblatt : Perceptron학습 모델, Mark1 Perceptron구현 (이진 분류기 학습모델)1969, Marvin Minsky : 퍼셉트론의 한계지적 (XOR문제), 신경망 연구침체1974, Paul Werbos, 1986, David Rumelhart, 다층 퍼셉트론 학습방법, 역전..