A.I

딥러닝¶ 1. 신경망 구성¶MNIST 모델¶ In [2]: import tensorflow as tf from tensorflow import keras import numpy as np import matplotlib.pyplot as plt # MNIST 데이터를 로드 mnist = keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() # 모델에 맞게 데이터 가공 x_train_norm, x_test_norm = x_train / 255.0, x_test / 255.0 x_train_reshaped = x_train_norm.reshape(-1, x_train_norm.shape[1]*x_train_norm.shap..

이상치 탐색¶ 주가 데이터 분석¶ pip install requests mkdir -p ~/aiffel/anomaly_detection/kospi In [4]: import requests import os # 아래 url은 yahoo finance 서버에 우리나라 코스피 데이터를 요청하는 주소입니다. url = "https://query1.finance.yahoo.com/v7/finance/download/%5EKS11?period1=867715200&period2=1597276800&interval=1d&events=history" # 데이터를 요청하고 그 결과를 response로 받습니다. response = requests.get(url) csv_file = os.getenv('HOME&#..

데이터 가져오기¶ 소켓통신¶ In [1]: import socket with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as s: # 소켓 s를 하나 열어서 s.connect(('www.google.com', 80)) # www.google.com 이라는 호스트의 80번 포트에 접속합니다. cmd = 'GET http://www.google.com HTTP/1.0\r\n\r\n'.encode() s.send(cmd) # 접속이 되면 GET xxxxx 형식의 HTTP 프로토콜로 된 명령을 전송합니다. data = s.recv(1024) # 그리고 1024바이트만큼의 HTTP 응답을 수신합니다. print('Received:&..

구글넷은 매개 변수 감소 개수, 메모리 사용량 개선 및 계산능력 향상을 시키기 위해 많은 혁신을 했다고 합니다. 그 중 첫번째 특징으로 stem network를 사용한 것인데 input을 다운 샘플링하는 Conv로 시작해 이미지의 공간 해상도를 다운 샘플링하기 위해 conv - pool - conv - pool layer의 행태로 만들어졌다고합니다. 그림에서 볼 수 있다시피 VGG-16과 비교해보면 전체 공간 해상도를 기준으로 224개에서 28개까지 다운 샘플링합니다. 그에 따른 메모리, 파라미터 개수, flop 비용등을 보면 VGG-16에 비해 눈에 띄게 줄어든 것을 확인할 수 있습니다. 두번째 특징으로 Inception Module을 들 수 있는데 모듈의 끝에 다시 모듈을 쌓아 올리는 방식으로 인공신..

컨볼루션 연산을 수행하는 또 다른 유용한 방법으로 리셉티브 필드가 있는데 예시는 input의 3X3 region이 receptive field가 된다는 것입니다. 위 예시는 3-conv layers일때의 receptive field 예시입니다. output tensor부터 점점 확장해 나가며 3x3 regin이 5x5 region이 되고 7x7 region이 최종 receptive fild size가 됩니다. 이러한 receptive field size를 1+L*(K-1)으로 계산할 수 있습니다. 하지만 input image의 해상도가 커질수록 그만큼 conv layer가 많아지며 (kernel size가 위와같이 3일경우엔 500개 가량의 convlayer가 필요) output에서 각 spatial p..

회귀(Regression)¶ 1. 선형 회귀 분석(Linear Regression)¶ 종속변수 Y와 한 개 이상의 독립변수 X와의 선형 상관관계를 모델링하는 회귀분석 기법 주어진 데이터에 우리의 선형 식이 잘 맞도록 회귀계수 및 오차를 구하는 것 머신러닝에서의 선형회귀모델 H = Wx + b 가정(Hypothesis), 가중치(Weight), 편향(bias) 손실함수 중 최소제곱법이란 n 개의 점 데이터에 대하여 잔차의 제곱의 합을 최소로 하는 W, b를 구하는 방법 잔차란 회귀모델을 이용해 추정한 값과 실제 데이터의 차이를 뜻함. 회귀모델이 잘 결정되었는지 R2-Score를 통해 알 수 있음(1에 가까울수록 회귀모델이 데이터를 잘 표현하고 있음) 1-1. 최소제곱법¶ In [2]: # boston ho..

인물사진 모드¶ mkdir -p ~/aiffel/human_segmentation/models mkdir -p ~/aiffel/human_segmentation/images pip install opencv-python 1. 사진준비하기¶ In [2]: import cv2 import numpy as np import os from glob import glob from os.path import join import tarfile import urllib # 웹에서 데이터를 다운로드 받을 때 사용 from matplotlib import pyplot as plt import tensorflow as tf In [3]: import os img_path = os.getenv('HOME')+..

데이터 전처리¶ mkdir -p ~/aiffel/data_preprocess/data wget https://aiffelstaticprd.blob.core.windows.net/media/documents/trade.csv mv trade.csv ~/aiffel/data_preprocess/data trade.csv는 관세청 수출입 무역통계 데이터 In [1]: import pandas as pd import numpy as np import matplotlib.pyplot as plt print("👽 Hello.") 👽 Hello. In [10]: import os csv_file_path = os.getenv('HOME')+'/aiffel/data_preprocess/data/t..