A.I

대화형 챗봇 만들기¶ 챗봇의 종류 mkdir -p ~/aiffel/songys_chatbot 1. 트랜스포머¶ 트랜스포머 모델은 다른 RNN 모델과 달리 포지셔널 인코딩이라는 과정이 더 있습니다. 문장에 있는 단어들을 1개씩 순차적으로 받는 것이 아니라, 문장에 있는 모든 단어를 한꺼번에 입력으로 받기 때문에 어순을 알려주기 위해 단어의 임베딩 벡터에다가 위치 정보를 가진 벡터(Positional Encoding) 값을 더해서 모델의 입력으로 만드는 것입니다. In [2]: import tensorflow as tf import tensorflow_datasets as tfds import os import re import numpy as np import matplotlib.pyplot as plt ..

Training loss를 보면 노이즈가 많이 생성 되는 것을 볼 수 있기때문에 분산을 보여주는 플롯과 이동평균치를 구해서 트랜드를 좀더 눈에 띄게 보는 플롯을 만들 것을 권유하고있습니다. 이 Learning Curve를 보면 처음엔 평평하다가 시간이 지나는 어느 시점에 급격한 하락을 볼 수 있는데 이유는 처음에 initialization을 제대로 하지 않아서라고 합니다. 다시 처음으로 가서 initialization을 해주는 것이 해결 방법이라고 합니다. 두번째로 이와 같이 처음에는 좋은 progress를 보이다가 떨어져서 평평해지는 loss curve의 형태에서 learning rate를 시작한 순간 조금의 손실이 있었고 그 이후 일정한 형상을 보이게 되는데 loss가 여전히 줄어들고 있는 상태에서 ..

Tensorflow V2¶ 텐서플로우 2.0 기초 1. TensorFlow 종류¶ 1. TensorFlow2 Sequential Model¶ import tensorflow as tf from tensorflow import keras model = keras.Sequential() model.add(__넣고싶은 레이어__) model.add(__넣고싶은 레이어__) model.add(__넣고싶은 레이어__) model.fit(x, y, epochs=10, batch_size=32) Sequential 모델은 입출력이 1개씩이다. 2. TensorFlow2 Functional API¶ import tensorflow as tf from tensorflow import keras inputs = keras..

의료영상 진단¶ 캐글 X-ray 데이터 mkdir -p ~/aiffel/chest_xray cd ~/Downloads && unzip archive.zip -d ~/aiffel 폐렴 구별¶ 1. 데이터 준비¶ In [1]: import re # 정규표현식 관련된 작업에 필요한 패키지 import os # I/O 관련된 작업에 필요한 패키지 import pandas as pd # 데이터 전처리 관련된 작업에 필요한 패키지 import numpy as np # 데이터 array 작업에 필요한 패키지 import tensorflow as tf # 딥러닝 관련된 작업에 필요한 패키지 import matplotlib.pyplot as plt # 데이터 시각화에 관련된 작업에 필요한 패키지 from sklearn...

파이썬으로 DB 다루기¶ Python DB API¶ mkdir -p ~/aiffel/sql_to_db/sqlite In [1]: import sqlite3 print("뿅💛") 뿅💛 In [2]: import os db_path = os.getenv('HOME')+'/aiffel/sql_to_db/sqlite/mydb.db' conn = sqlite3.connect(db_path) # mydb.db에 연결 print(conn) In [3]: # 결과를 조회하는 SELECT에서는 거의 필수 cursor c = conn.cursor() print(c) In [4]: # stocks이라는 이름의 테이블을 하나 생성합니다. 혹시 이미 생성되었다면 생략합니다. c.execute("CR..

텍스트 요약¶ 1. 추출적 요약(Extractive Summarization)¶ 단어 그대로 원문에서 문장들을 추출해서 요약하는 방식으로 문장 분류(Text Classification)라고 할 수 있음 전통적인 머신 러닝 방식에 속하는 텍스트랭크(TextRank)와 같은 알고리즘 2. 추상적 요약(Abstractive Summarization)¶ 원문으로부터 내용이 요약된 새로운 문장을 생성해내는 방식 자연어 처리 분야 중 자연어 생성(Natural Language Generation, NLG)의 영역 1. Seq2Seq 모델을 이용한 텍스트 추상적 요약¶seq2seq란?¶ 원문을 첫번째 RNN인 인코더로 입력하면, 인코더는 이를 하나의 고정된 벡터로 변환하고 이 벡터를 문맥 정보를 가지고 있는 벡터라고..

주식 차트를 통한 시계열 예측¶ 시계열 데이터에 대한 수학적 설명 시계열의 3가지 요건 공분산(Covariance)과 상관계수(Correlation) Autocovariance & Autocorrelation Function 시계열 데이터 사례분석¶ mkdir -p ~/aiffel/stock_prediction/data wget https://raw.githubusercontent.com/jbrownlee/Datasets/master/daily-min-temperatures.csv wget https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv mv daily-min-temperatures.csv airline-..

생성 모델링¶ 1. Pix2Pix¶ 간단한 이미지를 입력 시 실제 사진처럼 보이도록 바꿔줄 때 많이 사용되는 모델 원리 단순화된 이미지(Input Image)와 실제 이미지(Ground Truth)를 쌍을 이루는 데이터셋으로 학습을 진행 왼쪽의 Input Image를 입력받으면, 내부 연산을 통해 실제 사진같은 형상으로 변환된 Predicted Image를 출력 2. CycleGAN¶ 양방향으로의 이미지 변환 3. Neural Style Transfer¶ 전체 이미지의 구성을 유지하고 싶은 Base Image와 입히고 싶은 스타일이 담긴 Style Image 두 장을 활용해 새로운 이미지를 만들어 내는 것 Fashion MNIST¶ pip install imageio pip install Pillow m..