R + Crawling (크롤링)
-
R 네이버 뉴스(Naver News) Selenium (셀레니움) + 기사 댓글R + Crawling (크롤링) 2020. 5. 8. 20:56
크롤링에 필요한 패키지(package)와 라이브러리(library)는 아래와 같습니다 install.packages(c("dplyr", "httr", "jsonlite", "rJava", "RSelenium", "stringr") library(dplyr) library(httr) library(jsonlite) library(rJava) library(RSelenium) library(stringr) 셀레니움(Selenium)을 실행해봅시다 https://r-pyomega.tistory.com/7?category=873554 R 크롤링 RSelenium (셀레니움) 을 크롬에서 구동하기 R에서 Selenium을 구동하려면 Java를 설치해야 합니다. Java설치는 https://r-pyomega.tis..
-
R 네이버 뉴스(Naver News) Selenium (셀레니움) + 기사 본문R + Crawling (크롤링) 2020. 5. 7. 21:26
크롤링에 필요한 패키지(package)와 라이브러리(library)는 아래와 같습니다 install.packages(c("dplyr", "httr", "jsonlite", "rJava", "RSelenium", "stringr") library(dplyr) library(httr) library(jsonlite) library(rJava) library(RSelenium) library(stringr) 셀레니움(Selenium)을 실행해봅시다 https://r-pyomega.tistory.com/7?category=873554 R 크롤링 RSelenium (셀레니움) 을 크롬에서 구동하기 R에서 Selenium을 구동하려면 Java를 설치해야 합니다. Java설치는 https://r-pyomega.tis..
-
R 크롤링 뽐뿌 (ppomppu) GET / POST + Selenium (셀레니움)R + Crawling (크롤링) 2020. 2. 23. 14:39
크롤링에 필요한 패키지(package)와 라이브러리(library)는 아래와 같습니다 install.packages(c("dplyr", "httr", "jsonlite", "rJava", "RSelenium", "stringr") library(dplyr) library(httr) library(jsonlite) library(rJava) library(RSelenium) library(stringr) 뽐뿌 사이트를 크롤링 하도록 하겠습니다 검색 키워드는 "갤럭시 폴드"로 하겠습니다 http://www.ppomppu.co.kr/index.php 뽐뿌 사람이 좋아 함께하는 곳... 뽐뿌! 쇼핑특가, 휴대폰 정보의 중심지 www.ppomppu.co.kr "갤럭시 폴드"를 검색합시다 아래와 같은 검색 결과가 ..
-
R 크롤링 클리앙(Clien) GET / POST + Selenium (셀레니움)R + Crawling (크롤링) 2020. 2. 11. 17:01
클리앙에서 "갤럭시 폴드" 통합검색 결과를 크롤링 해보겠습니다 크롤링에 필요한 패키지(package)와 라이브러리(library)는 아래와 같습니다 install.packages(c("dplyr", "httr", "jsonlite", "rJava", "RSelenium", "stringr") library(dplyr) library(httr) library(jsonlite) library(rJava) library(RSelenium) library(stringr) 클리앙에 접속하여 통합검색 창에 "갤럭시 폴드"를 검색합니다 https://www.clien.net/service/search?q=갤럭시%20폴드 클리앙 : 검색 통합검색결과 ※ 검색결과 목록의 게시판명을 클릭하면 해당 게시판의 상세검색을 할 ..
-
R 크롤링 디시인사이드 (DC Inside) GET / POST 방식R + Crawling (크롤링) 2020. 2. 10. 13:25
#### 각키갤 GET/POST방식 링크_각키 % html_nodes("span.title_subject") %>% html_text() if (length(제목.각키.tmp) == 0) { 제목_각키 % html_nodes("span.nickname") %>% html_nodes("em") %>% html_text() if (length(제목.각키.tmp) == 0) { 작성자_각키 % html_text() if (length(날짜.각키.tmp) == 0) { 날짜_각키 % html_text() if (length(본문.각키.tmp) == 0) { 본문_각키
-
R 크롤링 디시인사이드 (DC Inside) GET / POST + Selenium (셀레니움)R + Crawling (크롤링) 2020. 2. 10. 10:49
크롤링에 필요한 패키지(package)와 라이브러리(library)는 아래와 같습니다 install.packages(c("dplyr", "httr", "jsonlite", "rJava", "RSelenium", "stringr") library(dplyr) library(httr) library(jsonlite) library(rJava) library(RSelenium) library(stringr) 이외에도 더 필요한 패키지 및 라이브러리는 그때 그때 언급하겠습니다. 사실 R로 다양한 작업을 하다보면 필요한 라이브러리는 구분하지 않고 Rstudio를 실행할때 한꺼번에 불어오는 편입니다.(시간도 많이 걸리지 않아 굳이 구분하는 것보다는 편리하기 때문이죠. 저 같은 경우는 50개 가까운 라이브러리를 불러..
-
R 크롤링 RSelenium (셀레니움) 을 크롬에서 구동하기R + Crawling (크롤링) 2020. 2. 9. 15:42
R에서 Selenium을 구동하려면 Java를 설치해야 합니다. Java설치는 https://r-pyomega.tistory.com/6 를 참고해주시길 바랍니다 Java설치 이후에 C드라이브에 r-selenium폴더를 만들어 아래 3파일을 다운 받습니다 (폴더 이름을 r-selenium로 지정하였습니다. 이름은 상관없지만 가능하면 C드라이브에 지정하는것 편리합니다) Selenium standalone server gecko driver chrome driver 1. Selenium이란? Selenium의 정의는 구글링으로 찾아보실 수 있을겁니다. 해당 분야 전문가가 아니라면 단순하게 셀레니움은 "브라우저(browser) 자동화"를 가능하게 하는 프로그램이라 생각하시면 됩니다. 굉장히 흉악한 성능을 발휘합..
-
R 크롤링 rjava 설치하기R + Crawling (크롤링) 2020. 2. 9. 14:32
1. Java 설치 R language를 사용하기 위해서 종종 Java가 필요할 때가 있습니다 Selenium이나 한글 자연어 분석 package인 KoNLP을 사용할 때도 필수입니다 (package는 R의 특정 기능을 활용하기 위한 "도구모음"이라고 생각하시면 됩니다) 그럼 Java를 다운 받습니다 1) Java 다운받기 https://www.java.com/ko/download/manual.jsp 에 접속하여 Java를 다운받습니다 모든 운영 체제용 Java 다운로드 모든 운영 체제용 Java 다운로드 권장 사항 Version 8 Update 241 릴리스 날짜: 2020년 1월 14일 Oracle Java 중요 라이센스 업데이트 Oracle Java 라이센스는 2019년 4월 16일 릴리스부터 변경..