파이썬 : MK부동산 데이터 : 크롤링하는 방법

코드

import requests
import bs4

year = "2021"
month = "01"
si = "1100000000"  

area = [] 
address = [] 
name = [] 
contractor = [] 
households = []   

url = 'http://estate.mk.co.kr/newapt/danji_list.php?enter_year={}&enter_month={}&si_name={}' 
real_url = url.format(year, month, si) 
data = requests.get(real_url) 
data_bs = bs4.BeautifulSoup(data.content, 'lxml')

data_list = data_bs.find_all('tr') 
data_list.pop(0) 

for val in data_list:    
    realVal = val.find_all('td')    
    area.append(realVal[0].text)   
    address.append(realVal[1].text)    
    name.append(realVal[2].text) 
    contractor.append(realVal[3].text)   
    households.append(realVal[4].text)  

for i in range(len(area)):   
    print(area[i])   
    print(address[i])   
    print(name[i])    
    print(contractor[i])   
    print(households[i])    
    print('*' * 60)

 

 

출력 결과

서울 
강남구 역삼동 
강남헤븐리치더써밋761 
 / (주)태건종합건설 
361세대 
************************************************************ 
서울 
강남구 일원동 
디에이치포레센트 
일원대우아파트주택재건축정비사업조합 / 현대건설(주) 
172세대 
************************************************************ 
서울 
양천구 신정동 
래미안목동아델리체 
신정2재정비촉진구역1지구 주택재개발정비사업조합 / ㈜삼성물산 
1,231세대 
************************************************************ 
서울 
성동구 성수동1가 
아크로서울포레스트 
대림산업(주) / 대림산업(주) 
280세대 
************************************************************

 

 

총평

mk부동산 입주캘린더

MK부동산 입주캘린더 화면은 다음과 같습니다. 해당하는 입주기간에 년, 월, 지역을 입력하여 데이터를 파싱하는 소스입니다. 파싱해오고 싶은 항목값을 소스에 수정 변경하면 해당 내용을 출력 결과 처럼 출력합니다. 이러한 방식을 통해, 원하는 입주데이터를 얻어 올 수 있습니다. 앞으로 좀 더 다양한 방식에 웹크롤러를 만들어 볼 생각입니다.