[CentOS7] 자바로 셀레니움(Selenium)을 구현해보자!(크롤링)

윈도우편 : 자바 셀레니움 동작 윈도우편!

 

지난 윈도우편 작성 이후 서버가 리눅스 이기 때문에 이번엔 센토스에서 셀레니움을 동작시키는 과정을 포스팅하였다.

centos7, GUI 환경 X

 

1. 크롬 설치

• wget 또는 yum, rpm 편한 명령어로 다운로드
• yum -y install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
• google-chrome --version
  • 버전 확인

2. 크롬 드라이버 설치

• wget https://chromedriver.storage.googleapis.com/[버전]/chromedriver_linux64.zip
• unzip chromedriver_linux64.zip
• mv 본인 환경
• 드라이버 버전 확인이 필요하다면 해당 사이트 이용
  • https://googlechromelabs.github.io/chrome-for-testing/ -> 여기서 찾으세요!!
  • https://sites.google.com/a/chromium.org/chromedriver/ -> 최신 버전을 못찾았습니다..

내가 설치했던 chrome는 이상하게 버전이 높았다.. 왜 그럴까..

심지어 작성일 기준 stable 버전이 93.0대이다.. 나참.. 아몰랑 설치 ~

 

3. 이슈 체크

• 크롬 버전 118, 셀레니움 4.14.x부터는 파라미터 값이 변경됐다
  • 레퍼런스 문서!

2023-10-31 23:13:56.079 DEBUG 1159 --- [nio-8080-exec-1] o.s.web.servlet.DispatcherServlet        : Failed to complete request: org.openqa.selenium.SessionNotCreatedException: Could not start a new session. Response code 500. Message: unknown error: Chrome failed to start: exited abnormally.
  (unknown error: DevToolsActivePort file doesn't exist)
  (The process started from chrome location /usr/bin/google-chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)

크롬 옵션 추가 ( headless, no-sandbox  필수)
// options.addArguments("--headless");
// options.addArguments("--no-sandbox");
options.addArguments("--headless=new");
options.addArguments("--no-sandbox=new");
        
org.openqa.selenium.remote.http.ConnectionFailedException : Unable to establish websocket connection to
options.addArguments("--remote-allow-origins=*");

 

4. 삭제

rpm -qa | grep chrome
sudo yum remove google-chrome-stable
rpm -qa | grep chrome