본문 바로가기

데이터수집

(2)
[Go언어] GoLang을 활용하여 웹페이지 크롤링 이번 포스팅은 Go언어를 사용하여 웹 페이지를 크롤링하는 튜토리얼 입니다. 아래 포스팅은 노마드코더의 golang강의를 기반으로 작성되었습니다. 크롤링 할 페이지 선택 취업검색 | Indeed (인디드) kr.indeed.com >> 취업에 대한 정보가 나와있는 웹사이트 >> 검색어 쿼리를 던졌을 때 출력되는 결과를 크롤링 크롤링 코드 작성 (Go Lang) 사용 할 라이브러리 설치 - Go언어에서 크롤링을 하기 위해 필요한 라이브러리 설치 $ go get github.com/PuerkitoBio/goquery - 아래는 Goquery 깃허브 링크 PuerkitoBio/goquery A little like that j-thing, only in Go. Contribute to PuerkitoBio/go..
[네이버플레이스] 데이터 크롤링하기(셀레니움, ajax 활용) 셀레니움, Ajax를 활용한 네이버 플레이스 정보 크롤링 학습용으로 만든 자료. Introduction 기본 url을 네이버 맵으로 주고, 다양한 검색어를 검색하여 상세보기로 들어간 뒤, 해당하는 플레이스의 정보와, 예약자 리뷰, 블로그 리뷰를 가져오는 코드. Install_Library # 셀레니움 설치 pip install selenium - 라이브러리를 사용하려면 해당 라이브러리의 설치가 먼저 선행되어야함 # 크롬 드라이버 설치 https://sites.google.com/a/chromium.org/chromedriver/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google.com - 크롬..