반응형

url scrap 2

게시글url scrap 파이썬 tqdm으로 크롤링 진행도 게이지바 표시 crawling process gauge bar visualization

정적 html 블로그의 게시글 url all scrapping작업은 기능적으로는 완료되었는데요. 블로그에 게시글이 많으면 많을수록코드가 돌아가는 동안 아무 결과도 안뜨니 크롤링이 진행되고 있는건지 렉이 걸린건지답답함을 참을 수가 없었습니다.돌아가는 중에 진행도를 게이지바로표시하면 좋을텐데요..  그래서 이번 시간엔 모듈 tqdm을 써서진행도를 체크할 수 있도록 고쳐보겠습니다.process gauge bar visualization ** taqaddum (تقدُّم) : 아랍어로 '진행' 타카-둠!  정적 html 블로그 게시글 url python scrapping, for문 attrs 속성 메타데이터 추출오늘은 정적 html 블로그의 게시물 url 싹 긁어오기진짜 마지막 naver blog post u..

네이버블로그 모든 게시글 url 추출해 사이트맵 만들기 정적,동적 html 확인 방법

파이썬을 이용한 html을 공부 중입니다.역시 필요한게 생겼을때 목표를 세우고실무로 바로 들어가며 배우는게 재밌습니다. 목표는 지금까지 네이버 블로그에 작성한모든 게시글의 url을 전부 추출하기!! 이걸 굳이 왜 하냐??라고 물으신다면 네이버블로그 에스도비의 사이트맵파이썬으로 네이버블로그의 html을 분석해,지금까지 썼던 url을 모두 뽑은 사이트맵을 작성했습니다.일상글과 같이 겸사겸사 작성했으니 아래 글 참고~ https://blog.naver.com/kjskumal/223705073392https://m.bs-dobby.tistory.com 위 게시글 '사이트맵'을 만들기 위함입니다.자세한건 링크 참조하시고 간단히 말해네이버 블로그 글에 구글 검색 path를뚫어주기 위한 것입니다. 근데....리디렉션..