본문 바로가기

분류 전체보기

 (110)
2021-07-13 네이버 블로그 크롤링하기 #Step 1. 필요한 모듈을 로딩합니다 from selenium import webdriver import time #Step 2. 사용자에게 검색 관련 정보들을 입력 받습니다. print("=" *100) print(" 연습문제 6-5: 블로그 크롤러 : 여러건의 네이버 블로그 정보 추출하여 저장하기") print("=" *100) query_txt = input('1.크롤링할 키워드는 무엇입니까?(예: 여행): ') include = input('2. 결과에서 반드시 포함하는 단어를 입력하세요(예: 국내, 바닷가)\n(여러개일 경우 , 로 구분해서 입력하고 없으면 엔터 입력하세요): ') in_li =include.split(',') exclude = input('3. 결과..
2021-07-12 Crawler 데이터의 종류 정형데이터 : 표 형태의 데이터 비정형데이터 : 표 형태가 아닌 데이터(ex. 사진, 동영상) 데이터를 어떻게 모을 것인가? 가설을 설정한 후 데이터를 수집한다 회사 내에 있는 자료는 대부분 정형 데이터인데 정형 데이터로만 해결할 수 있는 문제는 드물다 웹 크롤링은 인터넷에 있는 자료를 가져오는 것임 Selenium : 웹 페이지의 모든 데이터를 가져옴 Beautiful Soup : 셀레늄 전체 데이터에서 원하는 데이터만 추출 설치 %pip install chromedriver_autoinstaller import chromedriver_autoinstaller chromedriver_autoinstaller.install( ) from selenium import webdr..
2021-07-12 크롤러 cmd창에서 pip install selenium pip install chrome-autoinstaller 파이썬 IDLE창에서 import chromedriver_autoinstaller chromedriver_autoinstaller.installer() 주피터에서 %pip install chromedriver_autoinstaller import chromedriver_autoinstaller chromedriver_autoinstaller.install( ) from selenium import webdriver driver= webdriver.Chrome() 멜론차트 크롤링하기 # 멜론에서 멜론차트 크롤링하기 #Step 1. 필요한 모듈을 로딩합니다 from selenium import..
2021-07-09 프로젝트 설명 한국연구재단 식수예측프로젝트 정보통신기획평가원? 월요일이 가장 많고 금요일이 가장 적음 겨울 인원이 많고 덥고 습한 날은 중간 봄 가을은 적음 식사인원 = 출근인원+월+요일+날씨+오차 데이터 누적량이 적음, 프로그램의 정확도 떨어짐, 원가절감 구내식당 식사인원 예측 성공 = 식사인원 데이터 분석 + 행사정보 + 직원 입맛 파악 통계분석 요일별, 월별 추이 상관계수가 높은 것을 사용 알고리즘 : linear regression / SVM / Lightgbm 목표? ****데이터를 가지고 프로그램을 업그레이드 하는 것**** 연휴때의 식사인원 결측치는 어떻게 처리? 이벤트(창립기념일) 출근인원 >>>일반 함수에 넣으면 틀어짐 예측함수 :출근 식사인원 등 과거 3년 값..
2021 - 07 - 07 판다스 책 공부하기 정규화부터~ import pandas as pd import numpy as np df = pd.read_csv('auto-mpg.csv',header= None) df.columns = ['mpg','cylinders','displacement','horsepower','weight', 'acceleration','model year','origin','name'] df['horsepower'].replace('?',np.nan, inplace = True) df.dropna(subset=['horsepower'],axis=0,inplace=True) df['horsepower'] = df['horsepower'].astype('float') print(df.horsepower.de..
2021-07-06 컴퓨터 비전 두 번째 과제 8개의 점들 중에 6개의 점을 랜덤으로 선택해서 최소제곱선? 그리기 import numpy as np import pandas as pd import random import matplotlib.pyplot as plt 랜덤으로 점을 선택하기 위한 랜덤 import list = [[-2.9,35.4], [-2.1,19.7],[-0.9,5.7],[0.1,1.2],[1.1,2.1], [1.9,8.7],[3.1,25.7],[4.0,41.5]] 점들의 리스트 생성 #random.randint(0,7) number = [] a=random.randint(0,7) for i in range(6): while a in number: a=random.randint(0,7) number.app..
2021-07-05 컴퓨터 비전 첫 시간 과제로 HSV space equalization 하기 제일 먼저 아나콘다 프롬프트창에서 pip install opencv-python 설치 import cv2 import numpy as np import matplotlib.pyplot as plt 필요한 모듈 불러오기 HSV equalization하기 전에 이미지 불러오는 방법? img_basic = cv2.imread('cat.jpg', cv2.IMREAD_COLOR) plt.imshow(cv2.cvtColor(img_basic, cv2.COLOR_BGR2RGB)) plt.show() 다음은 흑백 이미지 불러오는 방법 img_basic = cv2.cvtColor(img_basic, cv2.COLOR_BGR2GRAY) plt.im..
2021 - 07 - 02 오늘은 특강 4차 산업혁명이 무엇인가? 일단 혁명과 혁신의 차이점이대해서 간단하게 혁명은 바꾸는거 혁신은 있는 것에서 발전시키는 것 지금까지 산업혁명은 1. 농업혁명 - 정착생활로 문화 발생 2. 산업혁명 - 증기기관의 사용, 대량생산 시작(단가가 낮아짐) 3. 정보혁명 - 인터넷 4. 인공지능(AI) 혁명 정보혁명과 인공지능 혁명의 차이점은? 판단과 결정의 차이! 시대가 흘러가면서 변하는 것과 변하지 않는 것이 있는데 변하는 것 : 기술과 지식, 관점과 문화, 자원의 밀도 변하지 않는 것 : 자연의 본성, 인간이 편리함을 추구하는 것 시민들이 원하는 것은 1. 기술이 아니라 생활의 변화를 원함 2. 내가 직접 체감할 수 있는 변화를 원함 4차 산업혁명의 핵심은 인공지능 혁명이다! 인공지능의 3요소는 알..

티스토리툴바