Ai14

• 

  [AI] Wgan-GP (Keras, TensorFlow) 1. WGan-GP란 gan은 ai의 발전과정 중 가장 혁신적이라고 할 수 있다. 간단히 gan을 소개하자면 두 개의 모델의 경쟁 과정이라고 할 수 있다. 사람도 좋은 라이벌이 있다면 잘 성장하듯이 하나는 가짜 이미지를 만들어내는 generator 모델 , 다른 하나는 가짜 이미지를 구별해내는 discriminator모델을 생성하여 서로를 경쟁 시키면서 가짜 이미지를 만들어내는 모델을 더욱 정교화하는 모델이다. 요즘들어 GPT-3, GPT-4등 open AI의 거대 ai들이 핫하다. 이 거대 ai들은 데이터셋으로 부터 배우는 supervised learning도 수행하지만 텍스트로 부터 이미지를 만들어내고 그림의 화풍을 변화시키는 등 창작의 영역이 가능한 ai들이다. 이 모든 기술은 gan울 기반으로 하.. 파이썬/ai 2022. 11. 20.

• 

  [Ai, Python] Streamlit을 이용한 모델 시각화-7 (인천광역시 집 값 예측) 1. Streamlit이란? 파이썬 라이브러리 중 하나로 딥러닝 모델이나 데이터 시각화를 쉽게 구현하고 웹서비스로 만들고 싶을 때 이용하면 좋다. 다음은 공식 사이트이다. https://streamlit.io/ Streamlit • The fastest way to build and share data apps Streamlit is an open-source app framework for Machine Learning and Data Science teams. Create beautiful web apps in minutes. streamlit.io 우선 프로젝트 파일을 만들고 pip을 통해 streamlit을 설치해준다. 터미널 프로젝트 폴더 경로에 다음과 같이 입력해주면 된다. pip instal.. 파이썬/ai 2022. 6. 26.

• 

  [Ai, Python] XGBOOST 회귀 모델 만들기 6 #데이터를 텐셔 형태로 변환해주는 클래스 class TensorData(Dataset): def __init__(self, x_data, y_data): self.x_data = torch.FloatTensor(x_data)# Double Tensor는 Float64로 변환 Float Tensor는 Float32로 변환 self.y_data = torch.FloatTensor(y_data) self.len = self.y_data.shape[0] def __getitem__(self, index) : return self.x_data[index], self.y_data[index] def __len__(self): return self.len 1. 모델 선정 이유 XGBOOST는 요즘 Kaggle과 같은.. 파이썬/ai 2022. 6. 26.

• 

  [Ai, Python] 인천광역시 집 값 예측 프로젝트 - Feature Engineering Feature Engineering 1. 변수 선정 집 값이라는 것은 매우 많은 요소들이 복합적으로 뒤 섞여 정해지는 수치이다. 하지만 우리가 고려할 수 있는 변수의 수는 물리적으로 제한되어져 있다. 나는 집 값을 결정하는 수 많은 요소 중 그나마 연관이 깊을 것이라고 생각되는 변수 11개를 뽑아 학습 데이터를 만드려고 한다. 우리 팀이 선정한 11개의 변수는 다음과 같다. 전용면적 계약녀월 층 건축년도 대규모 점포 근린 공원 반려동물 등록 수 병원 학교 주변 지하철 역 개수 스타벅스 수 2. 데이터 형태 변환 나는 xlsx 파일에 데이터를 모았으므로 pandas의 read_excel함수가 필요했다. 따라서 작성한 코드는 다음과 같다. file_name = 'AllData.xlsx' df = pd.rea.. 파이썬/ai 2022. 6. 25.

• 

  [ai, python] IMDB데이터베이스의 리뷰 데이터와 RNN을 이용한 리뷰 감성 분류하기 1.IMDB 리뷰 데이터 셋 IMDB에는 영화나 드라마에 대한 리뷰 데이터가 들어있는데 이 리뷰가 긍정적인 리뷰인지 부정적인 리뷰인지 분별하는 라벨또한 제공하고 있다. 만약 긍정적인 리뷰라면 1 부정적인 리뷰라면 0의 라벨을 가지고 있습니다. from tensorflow.keras.datasets import imdb (train_input, train_target), (test_input, test_target) = imdb.load_data( num_words=500) print(train_input.shape, test_input.shape) keras에서 imdb데이터를 로드한 후 train 데이터와 test데이터의 shape을 출력해보면 다음과 같습니다. print(len(train_input[.. 파이썬/ai 2022. 5. 29.

• 

  [ai, python] - Image분류 by CNN 1. Fashion MNIST데이터 이용 저번 neural network를 학습시킬 때 이용했던 MNIST데이터를 이용하겠다. from tensorflow import keras from sklearn.model_selection import train_test_split (train_input, train_target), (test_input, test_target) = \ keras.datasets.fashion_mnist.load_data() # 채널 차원 추가 train_scaled = train_input.reshape(-1, 28, 28, 1) / 255.0 train_scaled, val_scaled, train_target, val_target = train_test_split( train.. 파이썬/ai 2022. 5. 29.

• 

  [ai, python]인천광역시 집 값 예측 machine Learning - 데이터 전처리 3 in Colab 1. 데이터 전처리 import pandas as pd # 데이터프레임 형태를 다룰 수 있는 라이브러리 import numpy as np from sklearn.model_selection import train_test_split # 전체 데이터를 학습 데이터와 평가 데이터로 나눈다. from sklearn.preprocessing import MinMaxScaler # ANN import torch from torch import nn, optim # torch 내의 세부적인 기능을 불러온다. (신경망 기술, 손실함수, 최적화 방법 등) from torch.utils.data import DataLoader, Dataset # 데이터를 모델에 사용할 수 있도록 정리해 주는 라이브러리 import to.. 파이썬/ai 2022. 5. 21.

• 

  [ai, python] 인천광역시 집값 예측 프로젝트- 데이터 전처리 2 1. 공원 데이터 앞선 포스팅에서 우리는 주택 특성 외 집 값에 영향을 미치는 변수들로 스타벅스, 대규모 점포, 병원, 학교, 근린공원, 반려동물 등록 수, 주변 지하철 역 개수 등을 선정했다. 그 중 공원데이터를 얻기 위해서 나는 인천광역시 오픈데이터 사이트를 이용했다. 대략 256개 정도 되는 데이터들을 일일이 다 분류한 후 같은 동끼리 개수를 count하는 작업을 수작업으로 진행하면 나는 오늘 하루를 버리고 말 것이다. 따라서 앞으로 처리해야할 데이터도 많기 때문에 파이썬의 openpyxl라이브러리를 사용해서 데이터를 전처리하고 새로운 엑셀 파일에 내가 원하는 (읍/면/동)별 공원의 도수 분포표를 만들기로 했다. 2. 구현 이번에 받은 공원 데이터는 저번 대규모 점포 때와는 달리 .xlsx파일이 아.. 파이썬/ai 2022. 5. 18.

• 

  [ai, Python] 인천시 집 값 예측 프로그램-1(데이터 수집 및 전처리1) 1. 인천시 집 값 예측 프로그램 1. 데이터 수집 학교 인공지능 응용 시스템의 파이널 프로젝트로 인천시 집 값 예측 프로그램을 만드는 프로젝트를 실시하기로 했다. 머신러닝을 시키려면 우선 학습을 시킬 데이터가 있어야한다. 따라서 나는 인천광역시 주택 매매 실거래가 데이터를 엑셀 파일로 얻기 위해서 국토교통부 실거래가 공개시스템을 이용했다. 또한 우리는 2022년 05월 13일 회의에서 집 값에 영향을 미치는 변수로 주변 스타벅스 개수, 학교 및 어린이집 개수, 대규모 점포 개수, 병원 개수, 주변 지하철 역 개수, 공원 개수로 특정하고 공공데이터 포탈 등을 이용해 데이터를 수집하기 시작했다. 2. 데이터 수집의 어려움 국토 교통부 실거래가 공개시스템을 이용해 다운로드 받는 .xlsx 파일에는 다음과 같.. 파이썬/ai 2022. 5. 17.

• 

  [Ai, Python] 다중 분류 KNN을 이용한 multi class classification 1. multi-class-classification 앞선 포스팅에서 분류 모델의 경우 모두 2개의 집합 중 하나의 집합으로 새로운 데이터를 예측하는 작업을 했다면 이번에는 KNN을 사용하여 여러 개의 집합 중 하나로 예측하는 작업을 해볼 것이다. 예를 들면 이 동물이 개냐 고양이냐 만을 분류하는 것이 아니라 이 동물이 개냐 고양이냐 개구리냐 너구리냐 등과 같이 다양한 집합이 존재하는 것이다. 2. multi-class-classification의 구현 1. 데이터 전처리 다중 분류를 수행하기 위해서 python의 데이터 분석 라이브러리의 바이블 pandas라이브러리를 사용하겠다. pip install pandas import pandas as pd fish = pd.read_csv('https://bi.. 파이썬/ai 2022. 4. 11.

• 

  [Ai, Python] Linear Regression- 4 1. 선형 회귀 앞서도 계속 학교의 ai수업 중간고사를 준비하기 위해 수업의 내용을 정리하고 첨언하는 식으로 포스팅을 계속해가고 있다. 이번에 살펴볼 것은 Linear Regression학습 모델인데 여태까지 KNN이나 KNR처럼 자신의 주변의 사례들을 기반으로 새로운 데이터의 값을 예측하는 것은 사례기반 학습 LinearRegression처럼 기존의 데이터로 부터 함수를 만들어낸 뒤 그 함수를 통해 새로운 데이터의 값을 예측하는 것을 모델 학습이라고 한다. 앞선 포스팅에서 설명했듯이 LinearRegression은 그 모델 중 하나의 변수만을 고려하기 때문에 일차 함수의 형태를 띄고 우리는 여기서 y = ax + b에서 적절한 a와 b를 찾아내는 것이 목적이다. 이 a와 b를 모델 파라미터라고 한다. .. 파이썬/ai 2022. 4. 11.

• 

  [Ai, python]KNN - Linear Regression3 1. Linear Regression 앞선 포스팅까지 행했던 것은 classification 즉 분류였다. 미리 몇 개의 집합을 설정해두고 데이터들에 대한 집합 정답지를 알려준 뒤 새로 들어온 데이터가 어떤 집합과 가까운 지 거리를 파악하고 가장 거리가 가까운 집합으로 분류를 하는 작업이었다. 하지만 이제 할 것은 Regression 즉 회귀이다. Regression이란 어떠한 데이터들을 학습시켜 새로운 데이터가 들어왔을 데이터에 대한 어떠한 값을 예측하는 문제를 말한다. 예를 들어 최근 10년간의 서울의 집 값 데이터를 모델에게 학습시킨 후 앞으로 1년 뒤의 서울의 집 값은 어떻게 되겠는가?라는 질문을 던졌을 때 예측치를 내놓는 것이 Regression이다. Regression 문제를 수행함에 있어 서.. 파이썬/ai 2022. 4. 11.