TOP 데이터 스킬업/웹크롤링22 [ep01:웹크롤링] #17 셀레니움 로딩될 때까지 시간/조건 설정하기 with 파이썬 a[왕초보 웹크롤링 무작정 따라하기] 웹크롤링, 셀레니움, 시간 조절, 대기시간, 동작 조건, implicitly_wait, WebDriverWait 업무지옥을 탈출한 건에 대하여(feat.업무자동화) #17 셀레니움 동작시간/조건 설정하기 implicitily_wait와expected_conditions (바로가기 Click) 인스타그램 크롤링 코드에 적용해보기 (바로가기 Click) 요소와 좌표를 사용하여 동작을 실행하고, 스크롤을 자유자제로 조종할 수 있게 되었다. 하지만 여기서 한 가지만 더 익힌다면 크롤링의 효율을 극대화 할 수 있다. 극대화의 기준 '시간'이다. time_sleep()으로 고정적인 시간을 대기하는 것은 매우 비효율적이다. 페이지가 로딩되어도 지정된 시간을 채워야 하고, 지정된 .. 2021. 8. 5. [ep01:웹크롤링] #16 셀레니움 스크롤 조절하기 with 파이썬 [왕초보 웹크롤링 따라하기] 웹 제어, 브라우저 크기 설정, 셀레니움, Selenium, 스크롤 내리기, 스크롤 끝까지 내리기, 스크롤 위치 확인, 스크롤 단계별 내리기 업무지옥을 탈출한 건에 대하여(feat.업무자동화) #16 인스타그램 로그인하기(브라우저 크기 설정/셀레니움) 스크롤 내리기 반복문 (바로가기 Click) 인스타그램 피드 전체 마우스 오버하기 (바로가기 Click) 이제 스크롤을 제어할 차례다. 이 것만 익힌다면 브라우저에서 할 수 있는 동작은 대부분 익힌 것이나 다름없다. 이전 스크롤을 지정 위치까지 내리는 것은 해봤으니 단계적으로 내리거나 끝까지 내리는 방법을 알아보자. 스크롤을 움직이는데 필요한 자바스크립 코드는 특별할 게 없다. 단지 반복문을 사용할 뿐이다. # 현재 스크롤 전체.. 2021. 8. 3. [ep01:웹크롤링] #15 셀레니움 절대좌표/상대좌표 활용하기 with 파이썬 [왕초보 웹크롤링 무작정 따라하기] 웹크롤링, 셀레니움, 절대좌표, 상대좌표, 요소위치 확인, 자바스크립트 사용 업무지옥을 탈출한 건에 대하여(feat.업무자동화) #15 셀레니움 절대좌표/상대좌표 활용하기 요소의 절대 좌표 확인하기 (바로가기 Click) 상대 좌표 활용하기 (바로가기 Click) 대표적인 동적페이지라고 할 수 있는 인스타그램 크롤링에 성공했다! 하지만 아직 나는 목마르다. 최근 게시물 뿐만 아니라 전체 피드의 데이터를 크롤링하고 싶다. 하지만 그러기 위해서는 몇가지 문제를 해결해야 한다. 바로 스크롤에 따른 데이터의 변화다. 인스타그램의 html을 확인해보면 스크롤을 내리는 것에 따라 경로가 갱신되며 경로가 늘었다 줄었다 한다. 동일한 경로임에도 데이터가 달라지기도 한다. 이 문제를 .. 2021. 8. 2. [ep01: 웹크롤링 (번외3) ] 디버깅과 콘솔 기초(같은 브라우저에서 셀레니움 실행하기) with 파이썬출처 [왕초보 웹크롤링 무작정 따라하기] 파이참 디버깅, Debber, 파이참 콘솔 활용, 웹 개발자도구 콘솔 활용, concole. 업무지옥을 탈출한 건에 대하여(feat.업무자동화) 디버깅&콘솔(같은 브라우저에서 셀레니움 실행하기) 파이참 디버깅과 콘솔 (바로가기 Clcik) 웹 개발자도구 콘솔 (바로가기 Click) 파이참으로 코드를 짜다보면 코드 중간에 실행결과를 확인하고 싶을 때가 있다. 특히 셀레니움 코드를 재실행하면 때마다 새로 창이 켜지고, 동작이 수행되는데 시간이 오래 걸린다. 로그인이 필요한 사이트의 경우 반복적인 로그인으로 웹에서 로그인을 블락 먹일 수도 있다. 이러한 불편함을 사전에 해결하는 방법이 있다. 바로 디버깅이다. 디버깅으로 코드를 실행하면 지정한 곳까지 코드가 실행되고 일시정지.. 2021. 7. 21. 이전 1 2 3 4 다음
