본문 바로가기

백엔드/Spring131

[spring] Json 데이터 Object, Array 값 key, value 가져오기 Json 데이터 Object, Array 값 key, value 가져오기 오픈 API 결과를 스트링 버퍼에 저장을 시켰다. StringBuffer response = new StringBuffer(); while ((inputLine = br.readLine()) != null) { response.append(inputLine); } 다음과 같은 JSON 데이터를 키 값으로 나누어서 사용하고자 한다. { "result":[ { "searchView":{ "divFlag":"ARTICLE", "lodID":"4740152", "title":"기후변화 시나리오에 의한 외래식물 실망초(Conyza bonariensis)의 서식지 분포 예측", "author":[ "이**", "오**", "홍**", "나**.. 2021. 12. 14.
[spring] Jsoup HTTP error fetching URL. Status=405 Jsoup 을 이용해 크롤링을 하던 중 다음과 같은 에러가 발생했다. Jsoup HTTP error fetching URL. Status=405 해결방법으로는 Jsoup connect 에서 POST를 사용중이였다면 GET으로 변경해준다. 기존코드 Connection.Response response = Jsoup.connect(link).method(Connection.Method.POST).execute(); 변경코드 Connection.Response response = Jsoup.connect(link).method(Connection.Method.GET).execute(); 2021. 12. 10.
StringBuilder & System.out.println() StringBuilder 출력할 데이터를 모아서 한번에 출력 String 보다 쉽게 문자열 처리 가능 StringBuilder output = new StringBuilder(); BufferedReader reader = new BufferedReader( new InputStreamReader(process.getInputStream())); String line; while ((line = reader.readLine()) != null) { output.append(line); System.out.println(">>> " + line); } System.out.println("output >> " + output.toString()); 2021. 11. 24.
자바에서 파이썬 파일 실행하기 - processbuilder 자바에서 외부에 있는 파이썬 파일을 실행시키고자 한다. 자바에서 processbuilder를 사용한다. 자바 프로젝트 내부에서 파이썬 모듈을 설치해주어야 한다. @RequestMapping(value="pythonbuilder") @ResponseBody public String pythonProcessbuilder() throws IOException, InterruptedException { System.out.println("pythonbuilder "); String arg1; ProcessBuilder builder; BufferedReader br; arg1 = "D:/Users/Pycharm/Intellijpy/kor_v01.py"; builder = new ProcessBuilder("py.. 2021. 11. 10.
[Java] 구글 뉴스 날짜별로 크롤링하기 구글에서 날짜별로 크롤링을 하고자 한다. duration에 적혀있는 날짜는 원하는 날짜로 변경해서 사용하면된다. 구글에서 날짜기준을 적을 때 1/1/2020 이러한 포맷으로 사용해야한다. 아래에 굵은 글씨 부분의 숫자를 원하는 날짜로 변경해서 사용하면 된다. "%2Ccd_min%3A1%2F1%2F2020%2Ccd_max%3A1%2F31%2F2020" //google @RequestMapping("googlejsoup") public String googlejsoup(Model model, @RequestParam String keyword){ String apiUrl; Document doc = null; ArrayList al1 = new ArrayList(); ArrayList al2 = new Ar.. 2021. 11. 8.
element is not attached to the page document org.openqa.selenium.StaleElementReferenceException: stale element reference: element is not attached to the page document 자바에서 셀레니움으로 크롤링을 하다 생긴 에러로 타임슬립을 주면 된다. 2021. 11. 4.

티스토리툴바