Python12

• 

  [Ai, Python] Streamlit을 이용한 모델 시각화-7 (인천광역시 집 값 예측) 1. Streamlit이란? 파이썬 라이브러리 중 하나로 딥러닝 모델이나 데이터 시각화를 쉽게 구현하고 웹서비스로 만들고 싶을 때 이용하면 좋다. 다음은 공식 사이트이다. https://streamlit.io/ Streamlit • The fastest way to build and share data apps Streamlit is an open-source app framework for Machine Learning and Data Science teams. Create beautiful web apps in minutes. streamlit.io 우선 프로젝트 파일을 만들고 pip을 통해 streamlit을 설치해준다. 터미널 프로젝트 폴더 경로에 다음과 같이 입력해주면 된다. pip instal.. 파이썬/ai 2022. 6. 26.

• 

  [Ai, Python] XGBOOST 회귀 모델 만들기 6 #데이터를 텐셔 형태로 변환해주는 클래스 class TensorData(Dataset): def __init__(self, x_data, y_data): self.x_data = torch.FloatTensor(x_data)# Double Tensor는 Float64로 변환 Float Tensor는 Float32로 변환 self.y_data = torch.FloatTensor(y_data) self.len = self.y_data.shape[0] def __getitem__(self, index) : return self.x_data[index], self.y_data[index] def __len__(self): return self.len 1. 모델 선정 이유 XGBOOST는 요즘 Kaggle과 같은.. 파이썬/ai 2022. 6. 26.

• 

  [Ai, Python] 인천광역시 집 값 예측 프로젝트 - Feature Engineering Feature Engineering 1. 변수 선정 집 값이라는 것은 매우 많은 요소들이 복합적으로 뒤 섞여 정해지는 수치이다. 하지만 우리가 고려할 수 있는 변수의 수는 물리적으로 제한되어져 있다. 나는 집 값을 결정하는 수 많은 요소 중 그나마 연관이 깊을 것이라고 생각되는 변수 11개를 뽑아 학습 데이터를 만드려고 한다. 우리 팀이 선정한 11개의 변수는 다음과 같다. 전용면적 계약녀월 층 건축년도 대규모 점포 근린 공원 반려동물 등록 수 병원 학교 주변 지하철 역 개수 스타벅스 수 2. 데이터 형태 변환 나는 xlsx 파일에 데이터를 모았으므로 pandas의 read_excel함수가 필요했다. 따라서 작성한 코드는 다음과 같다. file_name = 'AllData.xlsx' df = pd.rea.. 파이썬/ai 2022. 6. 25.

• 

  [ai, python] IMDB데이터베이스의 리뷰 데이터와 RNN을 이용한 리뷰 감성 분류하기 1.IMDB 리뷰 데이터 셋 IMDB에는 영화나 드라마에 대한 리뷰 데이터가 들어있는데 이 리뷰가 긍정적인 리뷰인지 부정적인 리뷰인지 분별하는 라벨또한 제공하고 있다. 만약 긍정적인 리뷰라면 1 부정적인 리뷰라면 0의 라벨을 가지고 있습니다. from tensorflow.keras.datasets import imdb (train_input, train_target), (test_input, test_target) = imdb.load_data( num_words=500) print(train_input.shape, test_input.shape) keras에서 imdb데이터를 로드한 후 train 데이터와 test데이터의 shape을 출력해보면 다음과 같습니다. print(len(train_input[.. 파이썬/ai 2022. 5. 29.

• 

  [ai, python] - Image분류 by CNN 1. Fashion MNIST데이터 이용 저번 neural network를 학습시킬 때 이용했던 MNIST데이터를 이용하겠다. from tensorflow import keras from sklearn.model_selection import train_test_split (train_input, train_target), (test_input, test_target) = \ keras.datasets.fashion_mnist.load_data() # 채널 차원 추가 train_scaled = train_input.reshape(-1, 28, 28, 1) / 255.0 train_scaled, val_scaled, train_target, val_target = train_test_split( train.. 파이썬/ai 2022. 5. 29.

• 

  [ai, python] 인천광역시 집값 예측 프로젝트- 데이터 전처리 2 1. 공원 데이터 앞선 포스팅에서 우리는 주택 특성 외 집 값에 영향을 미치는 변수들로 스타벅스, 대규모 점포, 병원, 학교, 근린공원, 반려동물 등록 수, 주변 지하철 역 개수 등을 선정했다. 그 중 공원데이터를 얻기 위해서 나는 인천광역시 오픈데이터 사이트를 이용했다. 대략 256개 정도 되는 데이터들을 일일이 다 분류한 후 같은 동끼리 개수를 count하는 작업을 수작업으로 진행하면 나는 오늘 하루를 버리고 말 것이다. 따라서 앞으로 처리해야할 데이터도 많기 때문에 파이썬의 openpyxl라이브러리를 사용해서 데이터를 전처리하고 새로운 엑셀 파일에 내가 원하는 (읍/면/동)별 공원의 도수 분포표를 만들기로 했다. 2. 구현 이번에 받은 공원 데이터는 저번 대규모 점포 때와는 달리 .xlsx파일이 아.. 파이썬/ai 2022. 5. 18.

• 

  [ai, Python] 인천시 집 값 예측 프로그램-1(데이터 수집 및 전처리1) 1. 인천시 집 값 예측 프로그램 1. 데이터 수집 학교 인공지능 응용 시스템의 파이널 프로젝트로 인천시 집 값 예측 프로그램을 만드는 프로젝트를 실시하기로 했다. 머신러닝을 시키려면 우선 학습을 시킬 데이터가 있어야한다. 따라서 나는 인천광역시 주택 매매 실거래가 데이터를 엑셀 파일로 얻기 위해서 국토교통부 실거래가 공개시스템을 이용했다. 또한 우리는 2022년 05월 13일 회의에서 집 값에 영향을 미치는 변수로 주변 스타벅스 개수, 학교 및 어린이집 개수, 대규모 점포 개수, 병원 개수, 주변 지하철 역 개수, 공원 개수로 특정하고 공공데이터 포탈 등을 이용해 데이터를 수집하기 시작했다. 2. 데이터 수집의 어려움 국토 교통부 실거래가 공개시스템을 이용해 다운로드 받는 .xlsx 파일에는 다음과 같.. 파이썬/ai 2022. 5. 17.

• 

  [Ai, Python] 다중 분류 KNN을 이용한 multi class classification 1. multi-class-classification 앞선 포스팅에서 분류 모델의 경우 모두 2개의 집합 중 하나의 집합으로 새로운 데이터를 예측하는 작업을 했다면 이번에는 KNN을 사용하여 여러 개의 집합 중 하나로 예측하는 작업을 해볼 것이다. 예를 들면 이 동물이 개냐 고양이냐 만을 분류하는 것이 아니라 이 동물이 개냐 고양이냐 개구리냐 너구리냐 등과 같이 다양한 집합이 존재하는 것이다. 2. multi-class-classification의 구현 1. 데이터 전처리 다중 분류를 수행하기 위해서 python의 데이터 분석 라이브러리의 바이블 pandas라이브러리를 사용하겠다. pip install pandas import pandas as pd fish = pd.read_csv('https://bi.. 파이썬/ai 2022. 4. 11.

• 

  [Ai, Python] Linear Regression- 4 1. 선형 회귀 앞서도 계속 학교의 ai수업 중간고사를 준비하기 위해 수업의 내용을 정리하고 첨언하는 식으로 포스팅을 계속해가고 있다. 이번에 살펴볼 것은 Linear Regression학습 모델인데 여태까지 KNN이나 KNR처럼 자신의 주변의 사례들을 기반으로 새로운 데이터의 값을 예측하는 것은 사례기반 학습 LinearRegression처럼 기존의 데이터로 부터 함수를 만들어낸 뒤 그 함수를 통해 새로운 데이터의 값을 예측하는 것을 모델 학습이라고 한다. 앞선 포스팅에서 설명했듯이 LinearRegression은 그 모델 중 하나의 변수만을 고려하기 때문에 일차 함수의 형태를 띄고 우리는 여기서 y = ax + b에서 적절한 a와 b를 찾아내는 것이 목적이다. 이 a와 b를 모델 파라미터라고 한다. .. 파이썬/ai 2022. 4. 11.

• 

  [Ai, python]KNN - Linear Regression3 1. Linear Regression 앞선 포스팅까지 행했던 것은 classification 즉 분류였다. 미리 몇 개의 집합을 설정해두고 데이터들에 대한 집합 정답지를 알려준 뒤 새로 들어온 데이터가 어떤 집합과 가까운 지 거리를 파악하고 가장 거리가 가까운 집합으로 분류를 하는 작업이었다. 하지만 이제 할 것은 Regression 즉 회귀이다. Regression이란 어떠한 데이터들을 학습시켜 새로운 데이터가 들어왔을 데이터에 대한 어떠한 값을 예측하는 문제를 말한다. 예를 들어 최근 10년간의 서울의 집 값 데이터를 모델에게 학습시킨 후 앞으로 1년 뒤의 서울의 집 값은 어떻게 되겠는가?라는 질문을 던졌을 때 예측치를 내놓는 것이 Regression이다. Regression 문제를 수행함에 있어 서.. 파이썬/ai 2022. 4. 11.

• 

  [ai, python]KNN에서의 overFitting UnderFitting 1. KNN에 대한 overview 나는 지난번과 동일하게 kneighbors nearest라는 모델을 사용해서 학습을 시키고 있다. 사실 ai모델이라는 것은 거창한 것이 아니라 그저 수학적 모델을 기반으로 더 많은 데이터와 더 많은 예외 사항을 컴퓨터에게 알려주어 컴퓨터에게 다음부터는 이것도 고려해서 결과를 내! 라고 알려주는 일련의 과정이다. 그 중 내가 지금 사용하는 KNN이라는 모델은 아주 간단한 모델인데 쉽게 말해 모든 데이터들을 그래프 평면 상에 그렸을 때 나와 가장 가까운 점들에 의해 나의 집합이 결정된다는 것이다. 예시를 들면 다음과 같은 그래프에서 주황색 세모와 가장 가까운 점들은 초록 마름모 점들이다. 이 때 가장 가까운 점들의 개수, 즉 몇 개의 이웃을 우리는 고려할 것인가는 우리가 .. 파이썬/ai 2022. 4. 11.

• 

  [Ai,Python] K-nearest neighbor-1(데이터 전처리 및 모델 학습) 우리가 흔히 아는 딥러닝이라고 하는 것은 많은 데이터를 컴퓨터에게 집어 넣어 미래의 예측 값을 보다 정확하게 추론해내는 일종의 통계학이다. 그러러면 우리는 일단 컴퓨터를 학습시킬 많은 데이터들을 필요로 하는데 우리의 생활 속에서 발생하는 데이터들은 일정한 형식의 format을 가지고 있지도 않고 매우 불규칙하게 생기고 발생한다. 그래서 우리는 엑셀, DBMS와 같이 데이터들을 관리하는 툴에서 데이터들을 추출해 컴퓨터에게 학습시키기 쉬운 형태의 데이터 형태로 바꿔주는 파이썬의 라이브러리들을 이용할 것이다. 다음과 같은 데이터 셋이 존재한다고 하자 우리는 두 가지 물고기의 길이와 무게 정보를 이용해서 새로운 물고기의 길이와 무게 정보가 들어왔을 때 이 물고기가 두 물고기 중 어떤 물고기인지 판별하는 프로그램.. 파이썬/ai 2022. 4. 5.