[ep01: 웹크롤링 (번외3) ] 디버깅과 콘솔 기초(같은 브라우저에서 셀레니움 실행하기) with 파이썬출처

[왕초보 웹크롤링 무작정 따라하기] 파이참 디버깅, Debber, 파이참 콘솔 활용, 웹 개발자도구 콘솔 활용, concole.

---

업무지옥을 탈출한 건에 대하여(feat.업무자동화) 

디버깅&콘솔(같은 브라우저에서 셀레니움 실행하기)

---

파이참 디버깅과 콘솔 (바로가기 Clcik)

웹 개발자도구 콘솔 (바로가기 Click)

---

파이참으로 코드를 짜다보면 코드 중간에 실행결과를 확인하고 싶을 때가 있다.

 

특히 셀레니움 코드를 재실행하면 때마다 새로 창이 켜지고, 동작이 수행되는데 시간이 오래 걸린다.

로그인이 필요한 사이트의 경우 반복적인 로그인으로 웹에서 로그인을 블락 먹일 수도 있다.

 

이러한 불편함을 사전에 해결하는 방법이 있다. 바로 디버깅이다.

디버깅으로 코드를 실행하면 지정한 곳까지 코드가 실행되고 일시정지 된다.

이후 콘솔창에서 코드를 입력하면 일시정지된 시점에서 코드를 실행한다.

 

브라우저의 크기와 동작에 따라 html이 변하는 동적 페이지를 크롤링할 때

불필요한 시간낭비를 줄일 수 있는 필수적인 기능이다.

 

 

---

파이참 디버깅과 콘솔

---

 

코드창 오른 쪽을 보면 코드마다 숫자가 있다.

디버깅을 하기 전, 숫자 옆 공간을 클릭하면 빨간 마킹이 생긴다.

디버깅을 실행하면 마킹된 코드 전까지 코드가 실행되고 일시정지된다.

 

 

마킹한 곳 전까지의 코드 실행이 끝날 때까지 기다렸다가

실행이 끝나면 concole을 눌러 주자.

 

코드창과 비슷한 창이 나오는데 여기에 코드를 복붙하고 엔터로 실행시키면

일시정지 된 시점에 이어서 코드가 실행된다.

 

 

---

 

셀레니움으로 웹제어를 실행중일 경우

새로운 브라우저에서 실행되는 것이 아니라 사용중이던 브라우저에서 실행되고,

데이터 크롤링을 실행중일 경우 원본 코드 옆에 결과값이 출력된다.

 

디버깅 콘솔창에 53~55번 코드를 복붙하고 실항하면, 코드창의 원본 코드 옆에 결과값이 출력.

 

디버깅과 콘솔은 파이참을 실행하며 오류가 발생할 때,

오류 코드를 마킹하고, 코드를 수정-실행을 반복하는데 사용된다.

 

코드를 전체 실행할 필요가 없으니 시간을 절약할 수 있고

코드의 결과값도 바로 출력되니 오류 확인에 유용하다.

 

 

 

---

웹 개발자도구 콘솔

---

 

웹 개발자도구 콘솔창은 웹을 제어하거나 각 요소가 가진 데이터를 확인할 수 있다.

 

파이참으로 크롤링 중 경로오류가 발생 했을 때, 

웹 개발자도구 콘솔창을 이용하면 해당 경로에 어떤 데이터가 들어 있는지 확인 할 수 있다.

 

 

콘솔창을 열고 document.querySelectorAll('')에 복사한 선택자를 넣고 엔터를 쳐주면

복사한 경로에 위치한 태그값이 나타는다. 

 

 

생겨난 태그를 누르면 하위 데이터들이 보여지는데, 원래 찾으려고 했던 데이터를 찾아보자.

찾으려 했던 데이터가 문자 값이라면 'inner text'라는 항목에 표시된다.

 찾고자 했던 text값을 발견하면 해당 경로는 정상적인 경로인 것이다.

 

경로가 맞는지 확인 햇다면, 파이참 코드오류의 원인은 다른 곳에서 찾아보자.

 

 

---

[ 크롤링 입문서 : 디버깅과 콘솔 기초 ]

효과: 데이터 추출 성공률 + 40%

---