파이썬21

• 

  [AI] Wgan-GP (Keras, TensorFlow) 1. WGan-GP란 gan은 ai의 발전과정 중 가장 혁신적이라고 할 수 있다. 간단히 gan을 소개하자면 두 개의 모델의 경쟁 과정이라고 할 수 있다. 사람도 좋은 라이벌이 있다면 잘 성장하듯이 하나는 가짜 이미지를 만들어내는 generator 모델 , 다른 하나는 가짜 이미지를 구별해내는 discriminator모델을 생성하여 서로를 경쟁 시키면서 가짜 이미지를 만들어내는 모델을 더욱 정교화하는 모델이다. 요즘들어 GPT-3, GPT-4등 open AI의 거대 ai들이 핫하다. 이 거대 ai들은 데이터셋으로 부터 배우는 supervised learning도 수행하지만 텍스트로 부터 이미지를 만들어내고 그림의 화풍을 변화시키는 등 창작의 영역이 가능한 ai들이다. 이 모든 기술은 gan울 기반으로 하.. 파이썬/ai 2022. 11. 20.

• 

  [Ai, Python] Streamlit을 이용한 모델 시각화-7 (인천광역시 집 값 예측) 1. Streamlit이란? 파이썬 라이브러리 중 하나로 딥러닝 모델이나 데이터 시각화를 쉽게 구현하고 웹서비스로 만들고 싶을 때 이용하면 좋다. 다음은 공식 사이트이다. https://streamlit.io/ Streamlit • The fastest way to build and share data apps Streamlit is an open-source app framework for Machine Learning and Data Science teams. Create beautiful web apps in minutes. streamlit.io 우선 프로젝트 파일을 만들고 pip을 통해 streamlit을 설치해준다. 터미널 프로젝트 폴더 경로에 다음과 같이 입력해주면 된다. pip instal.. 파이썬/ai 2022. 6. 26.

• 

  [Ai, Python] XGBOOST 회귀 모델 만들기 6 #데이터를 텐셔 형태로 변환해주는 클래스 class TensorData(Dataset): def __init__(self, x_data, y_data): self.x_data = torch.FloatTensor(x_data)# Double Tensor는 Float64로 변환 Float Tensor는 Float32로 변환 self.y_data = torch.FloatTensor(y_data) self.len = self.y_data.shape[0] def __getitem__(self, index) : return self.x_data[index], self.y_data[index] def __len__(self): return self.len 1. 모델 선정 이유 XGBOOST는 요즘 Kaggle과 같은.. 파이썬/ai 2022. 6. 26.

• 

  [Ai, Python] 인천광역시 집 값 예측 프로젝트 - Feature Engineering Feature Engineering 1. 변수 선정 집 값이라는 것은 매우 많은 요소들이 복합적으로 뒤 섞여 정해지는 수치이다. 하지만 우리가 고려할 수 있는 변수의 수는 물리적으로 제한되어져 있다. 나는 집 값을 결정하는 수 많은 요소 중 그나마 연관이 깊을 것이라고 생각되는 변수 11개를 뽑아 학습 데이터를 만드려고 한다. 우리 팀이 선정한 11개의 변수는 다음과 같다. 전용면적 계약녀월 층 건축년도 대규모 점포 근린 공원 반려동물 등록 수 병원 학교 주변 지하철 역 개수 스타벅스 수 2. 데이터 형태 변환 나는 xlsx 파일에 데이터를 모았으므로 pandas의 read_excel함수가 필요했다. 따라서 작성한 코드는 다음과 같다. file_name = 'AllData.xlsx' df = pd.rea.. 파이썬/ai 2022. 6. 25.

• 

  [ai, python] IMDB데이터베이스의 리뷰 데이터와 RNN을 이용한 리뷰 감성 분류하기 1.IMDB 리뷰 데이터 셋 IMDB에는 영화나 드라마에 대한 리뷰 데이터가 들어있는데 이 리뷰가 긍정적인 리뷰인지 부정적인 리뷰인지 분별하는 라벨또한 제공하고 있다. 만약 긍정적인 리뷰라면 1 부정적인 리뷰라면 0의 라벨을 가지고 있습니다. from tensorflow.keras.datasets import imdb (train_input, train_target), (test_input, test_target) = imdb.load_data( num_words=500) print(train_input.shape, test_input.shape) keras에서 imdb데이터를 로드한 후 train 데이터와 test데이터의 shape을 출력해보면 다음과 같습니다. print(len(train_input[.. 파이썬/ai 2022. 5. 29.

• 

  [ai, python] - Image분류 by CNN 1. Fashion MNIST데이터 이용 저번 neural network를 학습시킬 때 이용했던 MNIST데이터를 이용하겠다. from tensorflow import keras from sklearn.model_selection import train_test_split (train_input, train_target), (test_input, test_target) = \ keras.datasets.fashion_mnist.load_data() # 채널 차원 추가 train_scaled = train_input.reshape(-1, 28, 28, 1) / 255.0 train_scaled, val_scaled, train_target, val_target = train_test_split( train.. 파이썬/ai 2022. 5. 29.

• 

  [ai, python] Neural Network 1. Fashion MNIST data Mnist데이터베이스는 대형 데이터 베이스이며 다양한 화상 처리 시스템을 트레이닝하기 위해 사용된다. 나는 이번에 MNIST의 Fashion 데이터를 이용해서 neural network를 작성해 볼 것이다. from tensorflow import keras (train_input, train_target), (test_input, test_target) = keras.datasets.fashion_mnist.load_data() keras에서 fashion MNIST 데이터를 import해준다. print(train_input.shape, train_target.shape) 데이터의 양과 형태를 살펴보면 다음과 같은 결과가 나오게 된다. MNIST data에 있는.. 파이썬/ai 2022. 5. 29.

• 

  [ai, python] 인천광역시 집 값 예측 - 모델 구축 (MLP) 1. 모델 구축 앞 선 포스팅까지 데이터를 수집하여 모델이 학습시키기 좋은 형태로 데이터의 형태를 바꿔주는 작업을 진행했다. 지금 부터 할 것은 모델을 구축하는 일이다. 나는 모델을 MLP(multi Layer Perceptron) 다층 신경망 모델을 선택했다. MLP란 입력층과 중간에 숨겨진 은닉층 그리고 결과를 출력하는 출력층으로 구분되고 나는 은닉층의 개수를 2개로 진행했다. class Regressor(nn.Module): def __init__(self): super().__init__() # 모델 연산 정의 self.fc1 = nn.Linear(11, 50, bias=True) # 입력층(11) -> 은닉층1(50)으로 가는 연산 self.fc2 = nn.Linear(50, 30, bias=T.. 파이썬/ai 2022. 5. 21.

• 

  [ai, python]인천광역시 집 값 예측 machine Learning - 데이터 전처리 3 in Colab 1. 데이터 전처리 import pandas as pd # 데이터프레임 형태를 다룰 수 있는 라이브러리 import numpy as np from sklearn.model_selection import train_test_split # 전체 데이터를 학습 데이터와 평가 데이터로 나눈다. from sklearn.preprocessing import MinMaxScaler # ANN import torch from torch import nn, optim # torch 내의 세부적인 기능을 불러온다. (신경망 기술, 손실함수, 최적화 방법 등) from torch.utils.data import DataLoader, Dataset # 데이터를 모델에 사용할 수 있도록 정리해 주는 라이브러리 import to.. 파이썬/ai 2022. 5. 21.

• 

  [ai, python] 인천광역시 집값 예측 프로젝트- 데이터 전처리 2 1. 공원 데이터 앞선 포스팅에서 우리는 주택 특성 외 집 값에 영향을 미치는 변수들로 스타벅스, 대규모 점포, 병원, 학교, 근린공원, 반려동물 등록 수, 주변 지하철 역 개수 등을 선정했다. 그 중 공원데이터를 얻기 위해서 나는 인천광역시 오픈데이터 사이트를 이용했다. 대략 256개 정도 되는 데이터들을 일일이 다 분류한 후 같은 동끼리 개수를 count하는 작업을 수작업으로 진행하면 나는 오늘 하루를 버리고 말 것이다. 따라서 앞으로 처리해야할 데이터도 많기 때문에 파이썬의 openpyxl라이브러리를 사용해서 데이터를 전처리하고 새로운 엑셀 파일에 내가 원하는 (읍/면/동)별 공원의 도수 분포표를 만들기로 했다. 2. 구현 이번에 받은 공원 데이터는 저번 대규모 점포 때와는 달리 .xlsx파일이 아.. 파이썬/ai 2022. 5. 18.

• 

  [ai, Python] 인천시 집 값 예측 프로그램-1(데이터 수집 및 전처리1) 1. 인천시 집 값 예측 프로그램 1. 데이터 수집 학교 인공지능 응용 시스템의 파이널 프로젝트로 인천시 집 값 예측 프로그램을 만드는 프로젝트를 실시하기로 했다. 머신러닝을 시키려면 우선 학습을 시킬 데이터가 있어야한다. 따라서 나는 인천광역시 주택 매매 실거래가 데이터를 엑셀 파일로 얻기 위해서 국토교통부 실거래가 공개시스템을 이용했다. 또한 우리는 2022년 05월 13일 회의에서 집 값에 영향을 미치는 변수로 주변 스타벅스 개수, 학교 및 어린이집 개수, 대규모 점포 개수, 병원 개수, 주변 지하철 역 개수, 공원 개수로 특정하고 공공데이터 포탈 등을 이용해 데이터를 수집하기 시작했다. 2. 데이터 수집의 어려움 국토 교통부 실거래가 공개시스템을 이용해 다운로드 받는 .xlsx 파일에는 다음과 같.. 파이썬/ai 2022. 5. 17.

• 

  [Ai, Python] 다중 분류 KNN을 이용한 multi class classification 1. multi-class-classification 앞선 포스팅에서 분류 모델의 경우 모두 2개의 집합 중 하나의 집합으로 새로운 데이터를 예측하는 작업을 했다면 이번에는 KNN을 사용하여 여러 개의 집합 중 하나로 예측하는 작업을 해볼 것이다. 예를 들면 이 동물이 개냐 고양이냐 만을 분류하는 것이 아니라 이 동물이 개냐 고양이냐 개구리냐 너구리냐 등과 같이 다양한 집합이 존재하는 것이다. 2. multi-class-classification의 구현 1. 데이터 전처리 다중 분류를 수행하기 위해서 python의 데이터 분석 라이브러리의 바이블 pandas라이브러리를 사용하겠다. pip install pandas import pandas as pd fish = pd.read_csv('https://bi.. 파이썬/ai 2022. 4. 11.