본문 바로가기
TOP

데이터 스킬업27

[파이썬:웹크롤링] #13 인스타그램 로그인하기 with Selenium 왕초보 웹크롤링 따라하기] 웹 제어, 브라우저 크기 설정, 셀레니움, Selenium, 로그인, 텍스트 입력, 클릭, 요소 찾기, 경로 찾기. #13 인스타그램 로그인하기 ▼ 전체코드 미리보기 더보기 #작업에 필요한 라이브러리 from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.common.keys import Keys import time #01. 웹 열기 dr = webdriver.Chrome("C:/windows/chromedriver.exe") #웹드라이버로 크롬 웹 켜기 dr.set_window_size(414, 800) #브라우저 크기 414*800으로 고정 dr.get.. 2022. 6. 12.
[파이썬:웹크롤링] #12 동적 웹페이지 크롤링 with Selenium [왕초보 웹크롤링 따라하기] 웹크롤링, 파이썬, 웹자동화, 셀레니움, Selenium #12 동적 웹페이지 크롤링 정적/동적 사이트의 이해 (바로가기 Click) 동작 자동화, 셀레니움(selenum) (바로가기 Click) 웹 상의 텍스트를 불러와 표로 뽑아내는 스킬은 충분히 익혔다. 방대한 데이터를 코드 몇개로 뽑아낼 수 있으니 나름의 자동화인가...? 뭔가.. 자동화라고 하기엔 많이 부족한 느낌이다. 지금까지는 기초! 본격적인 자동화에 앞서 기본을 닦은 것이다. 이제 본격적으로 웹크롤링의 동작 자동화를 익힐 시간이다. 동작 자동화를 익히기 전, 알고가야할 배경 지식이 있다. 바로 정적 페이지와 동적 페이지다. 정적/동적 사이트의 이해 정적 페이지는 인터넷에 접속하면 페이지의 모든 정보가 업로드 된다.. 2022. 6. 12.
[파이썬:웹크롤링] #11 쇼핑몰 제품정보/평점/리뷰수 리스트업 [왕초보 웹크롤링 따라하기] 웹크롤링, 파이썬, 데이터 추출, 엑셀표만들기, 리스트업, 예제 #11 쇼핑몰 주문수/별점/댓글 리스트업(예제) 도전과제(예제) 바로가기 Click 해결과정(풀이) 바로가기 Click 심화과정 바로가기 Click 이제 웹사이트의 텍스트 정도는 쉽게 뽑아내서 정리할 수 있을 것만 같다. 익힌 것들을 어디에 써볼 수 있을까? 도전과제 온라인에서 판매되는 LG전자 스타일러 제품 중 리뷰수가 가장 많은 제품의 제품정보(제품명, 등록일, 최저/최고 가격), 평점, 평점 별 리뷰 수를 엑셀 표로 정리하시오. (네이버쇼핑 LG전자 페이지 : https://brand.naver.com/lge) - 가이드 - 1. 데이터가 있는 페이지 url 확인 2. 필요한 데이터 선정 및 html 확인 .. 2022. 6. 12.
[파이썬:웹크롤링] #10 쥬피터노트북 dataframe 만들기 with Pandas [왕초보 웹크롤링 따라하기] 데이터 시각화, 파이썬 도표 만들기, 판다스(pandas), 데이터프레임(Dataframe), 쥬피터노트북, 쥬피터 #10 쥬피터노트북 dataframe 만들기 이번에는 지금껏 사용하던 파이참이 아닌 쥬피터노트를 사용한다. 쥬피터노트는 파이참보다 가벼운 프로그램으로 보다 데이터 시각화에 특화되어 있다. 코드 전체가 한 번에 실행되는 파이참과 달리 코드 한개한개 개별로 실행할 수 있기 때문에 바로바로 코드의 결과와 정상작동 유무를 확인할 수 있다. 처리해야할 데이터가 다양할 경우 중간중간 데이터프레임과 결과를 봐야할 필요가 생긴다. 파이참의 경우 전체 코드를 실행시켜야 결과값을 볼 수있기 매우 불편하다. 반면, 쥬피터노트는 코드 하나하나 실행해 볼 수 있기 때문에 실시간으로 표.. 2022. 6. 12.
[파이썬: 웹크롤링] #09 리스트로 데이터프레임(DataFrame) 만들기 with Pandas [왕초보 웹크롤링 따라하기] 데이터 시각화, 파이썬 도표 만들기, 판다스(pandas), 데이터프레임(Dataframe), 리스트 #09 리스트로 표(DataFrame) 만들기 엑셀로 데이터를 보는 것이 익숙하긴 하지만, 크롤링한 데이터를 엑셀로 보는 것은 추가로 작성해야하는 코드도 많고 엑셀을 켜야하는 등 상당히 번거로울 수 있다. 이번에는 코딩창에서 표를 바로 볼 수 있는 방법을 알아보자. 판다스(pandas) 모듈 사용하기 pandas 모듈은 리스트 데이터를 데이터프레임(표)을 만들어 주는 모듈이다. Terminal 창에 pip install pandas를 적어 설치하고 코드창에 import 해주자. 이제 이전에 작성한 엑셀 관련 코드를 모두 지우고 [리스트]를 데이터프레임(df)으로 바꿔줘야한다... 2022. 6. 12.
[파이썬: 웹크롤링] #08 데이터의 시각화, 엑셀 만들기! with openpyxl [왕초보 웹크롤링 따라하기] 데이터 시각화, exel 변환, 파이썬 도표 만들기, openpyxl, Workbook #08 데이터의 시각화, 엑셀 만들기! with 파이썬 이번에는 웹에서 추출한 데이터를 시각화해보려고 한다. 파이썬으로 시각화 하는 방법은 3가지가 있다. 첫째, 데이터를 엑셀 파일로 출력하기.둘째, 파이참에서 바로 도표화 시키기. 셋째, 쥬피터노트에서 도표화 시키기다. 데이터, 엑셀로 변환하기 파이참에서 추출한 데이터를 엑셀 표로 변하기 위해서는 openpyxl 모듈의 활성화가 필요하다. openpyxl 모듈은 파이참으로 엑셀 프로그램을 제어할 수 있게 해준다. 설치해 주자. pip install openpyxl 설치를 마친 후 from openpyxl improt Workbook을 적어.. 2022. 6. 12.

티스토리툴바