목록자바 크롤링 (1)

Small Asteroid Blog

[spring] chromedriver 사용 시 Checking your browser before accessing URL

셀레니움으로 크롤링을 진행하는데 다음과 같은 에러가 나오면서 페이지 이동과 크롤링이 진행되지 않고 있었다. 사이트에 접속하기 전에 나의 브라우저를 확인하는 것이다. 크롤링을 하려면 반복적으로 사이트에 접속해서 사용해야하는데 이 현상은 해당 사이트의 서버를 보호하기 위한 목적으로 나타나는 메세지이기 때문이다. 보통 클라우드플레어 기업의 서버를 이용중인 사이트에서 나타난다. 나의 경우 아래에 보이는 argument 부분을 작성하니깐 되었다. ChromeOptions options = new ChromeOptions(); options.addArguments("--disable-popup-blocking"); options.addArguments("--disable-default-apps"); options...
백엔드/Spring 2022. 1. 12. 15:22
이전 Prev 1 Next 다음