목록AIFFEL (20)
A.I
GAN 과 cGAN¶ Generator 노이즈 z(파란색)이 입력되고 특정 representation(검정색)으로 변환된 후 가짜 데이터 G(z)(빨간색)을 생성해 냅니다. Discriminator 실제 데이터 x와 Generator가 생성한 가짜 데이터 G(z)를 각각 입력받아 D(x) 및 D(G(z))(보라색)을 계산하여 진짜와 가짜를 식별해 냅니다. Generator 노이즈 z(파란색)와 추가 정보 y(녹색)을 함께 입력받아 Generator 내부에서 결합되어 representation(검정색)으로 변환되며 가짜 데이터 G(zㅣy)를 생성합니다. MNIST나 CIFAR-10 등의 데이터셋에 대해 학습시키는 경우 y는 레이블 정보이며, 일반적으로 one-hot 벡터를 입력으로 넣습니다. Discrim..
사람보다 퀴즈를 잘 푸는 인공지능¶ mkdir -p ~/aiffel/bert_qna/data mkdir -p ~/aiffel/bert_qna/models 한국어 시각화 패키지 sudo apt update -qq sudo apt install fonts-nanum* -qq pydot 모델 시각화 sudo apt-get install graphviz 설치 라이브러리 pip install tensorflow_addons==0.11.2 pip install sentencepiece pip install wordcloud pip install ipywidgets --user pip install tqdm pip install pydot pip install pydotplus pip install graphviz ..
예측 추천 시스템¶ mkdir -p ~/aiffel/yoochoose-data cd ~/aiffel wget https://aiffelstaticprd.blob.core.windows.net/media/documents/yoochoose-data.7z sudo apt install p7zip-full 7z x yoochoose-data.7z -oyoochoose-data 1. Session-Based Recommendation¶ In [1]: # 데이터 설명(README)를 읽어 봅니다. import os f = open(os.getenv('HOME')+'/aiffel/yoochoose-data/dataset-README.txt', 'r') while True:..
OCR¶ mkdir -p ~/aiffel/ocr_python 구글 OCR API¶ pip install --upgrade google-api-python-client pip install google-cloud-vision 구글 API 사용법 인증키 경로 등록 후 커널 재기동 / export GOOGLE_APPLICATION_CREDENTIALS=$HOME/aiffel/ocr_python/my_google_api_key.json 환경변수 설정 echo "export GOOGLE_APPLICATION_CREDENTIALS=$HOME/aiffel/ocr_python/my_google_api_key.json" >> ~/.bashrc In [1]: def detect_text(path): """Detects t..
대화형 챗봇 만들기¶ 챗봇의 종류 mkdir -p ~/aiffel/songys_chatbot 1. 트랜스포머¶ 트랜스포머 모델은 다른 RNN 모델과 달리 포지셔널 인코딩이라는 과정이 더 있습니다. 문장에 있는 단어들을 1개씩 순차적으로 받는 것이 아니라, 문장에 있는 모든 단어를 한꺼번에 입력으로 받기 때문에 어순을 알려주기 위해 단어의 임베딩 벡터에다가 위치 정보를 가진 벡터(Positional Encoding) 값을 더해서 모델의 입력으로 만드는 것입니다. In [2]: import tensorflow as tf import tensorflow_datasets as tfds import os import re import numpy as np import matplotlib.pyplot as plt ..
의료영상 진단¶ 캐글 X-ray 데이터 mkdir -p ~/aiffel/chest_xray cd ~/Downloads && unzip archive.zip -d ~/aiffel 폐렴 구별¶ 1. 데이터 준비¶ In [1]: import re # 정규표현식 관련된 작업에 필요한 패키지 import os # I/O 관련된 작업에 필요한 패키지 import pandas as pd # 데이터 전처리 관련된 작업에 필요한 패키지 import numpy as np # 데이터 array 작업에 필요한 패키지 import tensorflow as tf # 딥러닝 관련된 작업에 필요한 패키지 import matplotlib.pyplot as plt # 데이터 시각화에 관련된 작업에 필요한 패키지 from sklearn...
텍스트 요약¶ 1. 추출적 요약(Extractive Summarization)¶ 단어 그대로 원문에서 문장들을 추출해서 요약하는 방식으로 문장 분류(Text Classification)라고 할 수 있음 전통적인 머신 러닝 방식에 속하는 텍스트랭크(TextRank)와 같은 알고리즘 2. 추상적 요약(Abstractive Summarization)¶ 원문으로부터 내용이 요약된 새로운 문장을 생성해내는 방식 자연어 처리 분야 중 자연어 생성(Natural Language Generation, NLG)의 영역 1. Seq2Seq 모델을 이용한 텍스트 추상적 요약¶seq2seq란?¶ 원문을 첫번째 RNN인 인코더로 입력하면, 인코더는 이를 하나의 고정된 벡터로 변환하고 이 벡터를 문맥 정보를 가지고 있는 벡터라고..
주식 차트를 통한 시계열 예측¶ 시계열 데이터에 대한 수학적 설명 시계열의 3가지 요건 공분산(Covariance)과 상관계수(Correlation) Autocovariance & Autocorrelation Function 시계열 데이터 사례분석¶ mkdir -p ~/aiffel/stock_prediction/data wget https://raw.githubusercontent.com/jbrownlee/Datasets/master/daily-min-temperatures.csv wget https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv mv daily-min-temperatures.csv airline-..