개발시작

1.  오토인코더 1) 오토 인코더 - 입력데이터를 인코딩 후, 본래의 데이터형태로 디코딩하는 비지도학습 형태의 신경망 (부호화,복호화)- 입력층과 출력층 수가 동일 ( 이외에는 다층 퍼셉트론과 유사 )- 매니폴드를 찾는 것이 핵심 기능 (매니폴드 학습 : 고차원 데이터의 특징과 구조 투사하는 학습과정)  (1) 오토인코더 구조 ① 구성 요소   인코더 : 입력데이터를 저차원의 잠재 벡터로 압축    잠재 벡터 ( latency vector ) : 차원 압축의 결과물, z=h(x)   디코더 : 저차원의 잠재벡터를 입력데이터와 유사하게 복원, y=g(z)=g(h(x)) ② 학습   - 손실값 (MSELoss) 최소화 학습 ( 입력데이터 x와 재구성 예측값 y의 오차제곱합을 평균 ) (2) 오토인코더의 특..

1. AlexNet (ReLU, 데이터증강, 드롭아웃)ILSVRC(ImageNet LargeScale VisualRecognition Challenge, 2010 ~ 2017) 2012 Winner - 2010,2011년 (전통적 비전, 정확도 70~75%), 2012~2015년 (딥러닝, 정확도 85~95%)- AlexNet을 토대로 Deep Learning시작 (16.4%에러율,  압도적인 성능으로 1위)- 256 x 256의 이미지,  1000개의 레이블 - 데이터 증강으로 120만 학습, 5만 검증, 15만개 테스트 1) AlexNet의 구조(1) 기본 구성- 5개의 합성곱과 3개의 완전연결층, 풀링층 3개 - 2개의 GPU로 연산을 처리할수 있는 병렬적인 구조로 설계 - ReLU, LRN, O..

1. CNN  CNN - 이미지를 기반으로 한 영상처리에서 우수한 성능을 보이는 신경망영상처리  : 디지털 이미지의 조작, 분석, 인식, 생성등의 목적을 달성하기 위한 기술   1) 합성곱 연산(1) 영상의 표현 : RGB(그레이의 경우 값이 같음)와 투명도 값으로 표현  (2) 합성곱 연산(필터링 연산) - 하나의 함수와 또 다른 함수를 반전 이동한 값을 곱하고 구간에 대해 적분하여 새로운 함수를 구한 연산자  가중합 ( Σ 𝝎ᵢ𝒙ᵢ + 𝑏 )의 기본식, 𝝎ᵢ의 값(합성곱 필터의 픽셀값)곱하여 더하여 구간의 값을 구함   (합성곱의 경우 필터를 적용하는 것이 가중치 적용, 더하는 것이 적분)- 합성곱 신경망은 학습을 통해 가중치를 결정 (학습 완료전까지 필터 가중치 파악할수 없음)예) 포토샵, ..

1. Deep Learing Frame Work 딥러닝 프레임워크- 딥러닝을 위해 설계된 라이브러리, 데이터집합, 미리구성된 네트워크 및 기타 도구를 제공하는 소프트웨어- 텐서플로(TensorFlow) , 파이토치(PyTorch), 카페(Caffe) , MXNet- 자동 미분, 기본적인 신경망 구성요소, 손실함수 및 최적화도구, 계산자원 활용, 모델의 저장 및 로드 1) Tensorflow- 2015년 Google Brain Team에서 만든 심층신경망을 위한 오픈소스 딥러닝 프레임워크  (2019년 Tensorflow 2.0발표), 아파치 라이선스 2.0- 파이썬 언어를 위한 API제공 ( C++, Java를 위한 API제공 )- Keras (고수준 신경망 API)통합 , 2.0버전 이후  (1) 실행..

1. Multi Layer Perceptron- 여러개의 결정경계를 학습할수 있는 퍼셉트론  1) Multi-Layer의 구성 (1)다층 퍼셉트론 - 입력층과 출력층 사이에 1개이상의 층이 있는 FeedForward 신경망 - 여러개의 경계를 구성하여 적절한 분류가능   ① Hidden Layer- 은닉층을 이용한 다양한 경계의 표현이 가능- 내부층의 레이블이 제공되지 않음 ( 관련 학습 알고리즘 필요 ) (2) Back Propagation(역전파)- 1974년 Paul Werbos, 1986년 Rumelhart등이 발표한 Feedforward신경망의 학습 알고리즘- Rumelhart의 논문에서는 활성함수로 시그모이드 함수 (모든 u값에 대해 미분값 계산가능) ① Gradient Descent- 함수의..

1. 인공지능 구현 1)인공 신경망 두뇌를 구성하는 생물학적 신경 시스템의 원리를 바탕으로 설계된 계산 시스템  (1) 인공 신경망초기의 신경망 연구1943, Warren McCulloch등 : 임계치 논리(threshold logic)알고리즘 바탕의 신경망계산모델 제안1949, Donald Hebb : 헵의 학습(Hebbian learning)이론제시, 연결의 가중치 조정을 통한 학습1957, Fank Rosenblatt : Perceptron학습 모델, Mark1 Perceptron구현 (이진 분류기 학습모델)1969, Marvin Minsky : 퍼셉트론의 한계지적 (XOR문제), 신경망 연구침체1974, Paul Werbos, 1986, David Rumelhart, 다층 퍼셉트론 학습방법, 역전..

1. 강화학습강화학습 : 출력값에 대한 교사신호가 '보상'형태로 제공, 정확한 값이 아니며 즉시 주어지지 않음- 제어 문제를 표현하고 해결하는 방법으로 주로 사용     주어진 상황이나 조건에서 어떤 동작을 취해야 할지 결정하는 문제   시간에 따른 순차적인 개념존재, 이전 상황이 현재시점에서의 결정에 영향을 미침 - 주어진 상황에서 최적의 제어신호에 대한 정확한 목표값을 모름- 제어 동작후 결과에 대한 성공여부 평가는 가능  예) Google DeepMind , AlphaGo ( 몬테카를로 트리탐색, 딥러닝, 강화학습 기술의 결합 )       AlphaGo Zero ( 바둑규칙만 입력, 스스로 대국을 통해 터득 ),       AlphaZero ( 모든 보드게임을 위한 알파고 제로의 범용 버전 )  ..

1. Deep Learning1) Deep Learning- 심층 신경망 기반의 머신러닝 분야 ( ↔ shallow(얕은) 신경망 )-  많은 수의 은닉층을 가진 MLP, 더 효율적인 표현이 가능 - 느린 수렴 속도와 낮은 일반화 속도로 학습의 어려움 (1) 학습의 어려움을 극복 : GPU, 학습기법, 정교한 모델 - 충분히 큰 데이터베이스(자료)와 높은 컴퓨팅 파워(GPU활용기술)-  다양한 학습기법의 개발, 정교한 모델 (CNN, LSTM등 영상/음성 데이터처리 가능한 모델의 등장)  (2) 종단간 학습 (end-to end) : 신경망을 통한 처리과정의 패러다임 변화발생- shallow 신경망 :  특징추출(PCA등) + 분류(MLP, SVM) 별도 진행 - deep 신경망 : 특징추출부터 분류까지..

1. 신경망 개요1) 신경망과 기계학습 ① AISymbolic AI (classic AI) : 명제/규칙기반지식 (부울논리) - PROLOG (AI언어) - Deep Blue (체스)                                           문제를 처리하는 과정을 잘 아는 경우 (명시적인 일반화된 규칙을 찾을수 있음)Connectionist AI (Artificial Neural Networks) : 인간의 신경망 정보처리 모델링, 명시적인 일반화된                                                                               규칙을 찾을수 없는 경우에 적용 )신경망 - 생물학적 신경회로망을 모델링한 수학적 함수, 원하는 입출..

1.  앙상블 (emsemble learning)선형 분류기와 같은 간단한 학습기로 학습을 수행하지만, 복수의 학습기를 결합함으로써더 좋은 성능을 가진 학습기를 만드는 방법 (학습기 결합) 1) 앙상블 학습의 개념 (1) 학습기의 선택과 결합 ① 학습 알고리즘 차별화 : 접근 방법이 다른 모델을 결합      -  베이즈 분류기 & K-NN, 신경명 & SVM② 모델선택과 관련된 파라미터 차별화 : 한 종류의 모델에서 파라미터를 달리 하여 결합      - K-NN분류 알고리즘 적용시 K값이 서로 다른 복수의 K-NN 사용     - 은닉층 뉴런수가 다른 복수의 MLP③ 학습데이터 차별화 : 같은 모델을 사용하되, 학습 데이터 집합을 달리하여 복수개의 학습기를 생성  (2) 학습기 결합방법① 병렬적 결합..