엑셀 파워쿼리로 빅데이터 open api 분석하기

엑셀 파워쿼리로 빅데이터 open api 분석하기

 

 

과거에는 수기로 정리되던 data들이 전산화되고, 체계적으로 정리가 됨에따라 최근 기업뿐만 아니라 일반인들에게도 Big data 분석이 중요해지고 있습니다.

 

국가에서 데이터정보포탈 등 API들을 공유함으로써 일반 사용자들도 더욱 더 정보를 접근하고, 분석하기 편리해지고 있습니다. 다만, 그 정보를 공유하는 방법들이 엑셀 파일을 통해 rawdata를 공유해주기도 하지만, 다량의 데이터이다 보니 API 형식으로 공유하다보니 일반 사용자가 접근하기 어려운 부분이 있습니다.

 

[참고] API란? Application Programming Interface의 약자로 응용 프로그램 프로그래밍 인터페이스를 말합니다. 다양한 응용 프로그램에 사용할 수 있는 운영 체제, 혹은 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스입니다.

 

 

저 또한 이런 데이터를 분석해보기 위해 파이썬이나 R 등을 배워보려 했지만, 알수 없는 외계어들을 코딩한다는게 참 재미없고, 지루해서 중간에 포기하게 되었는데, 우연하게도 엑셀의 파워쿼리 기능을 통하면 별도의 코딩 없이 직관적으로 데이터들을 눈으로 보면서 수정할 수 있는 방법을 발견하였습니다.

 

파워쿼리 api 불러오기

 

 

빅데이터의 특성상 아주 방대한 자료는 엑셀의 파워쿼리도 가능은 하지만, 속도처리 문제로 애로사항이 있지만

그래도 이런 API라는 장벽 때문에 아에 접근 조차도 하지 못했던 분들에게는 분명 많은 도움이 되리라 생각됩니다.

 

앞으로 공공데이터 포탈 및 기타 API를 제공하는 사이트를 통해 제공받은 API를 엑셀로 직접 가져와서 분석 및 분석파일들을 공유해보도록 하겠습니다.

 

 

데이터 분석에 앞서 먼저 준비해야될 사항이

 

 

1. 엑셀 2016버전 이상 파워쿼리 기능 활성화 (2013은 MS에서 다운로드 필요)

 

엑셀 2016버전 이상에서는 파워쿼리 기능이 모두 탑재되어 있지만 2013버전 이하에서는 MS에서 별도로 다운로드 해야지만 해당 기능을 사용할 수 있습니다. 먼저 2013버전 이하의 경우 아래링크틀 통해 다운로드 후 설치하여 주세요

 

설치링크 https://www.microsoft.com/ko-KR/download/details.aspx?id=39379

 

 

2. 공공데이터 포탈에서 필요한 API 활용 신청

 

이제 네이버, 다음 등 포탈별로 API를 제공하는 사이트들이 늘어가고 있지만, 국가에서 제공하는 대표적인 API 포탈사이트인 공공데이터 포탈에서 몇가지 샘플파일로 데이터를 분석해보겠습니다.

 

데이터 1번가

 

우선 공공데이터 포탈(https://www.data.go.kr/index.do)을 접속해 회원가입 후,

데이터 찾기에서 원하는 데이터를 검색을 선택하면 각 데이터 분류별로 자료가 출력되는데 이 중 우리는 오픈 API를 선택한 후 활용신청을 선택하여야만 오픈 API 인증키를 발급받고 그 데이터를 황룡 할 수 있습니다.

 

 

위 2가지 사항이 사전에 준비하여야 다음 단계로 준비할 수 있으므로 반드시 미리 준비하셔야 다음 실제 활용법 소개시에 따라하실 수 있습니다.

 

우선 많이 활용하고 계시는 아파트 매매 실거래 자료를 엑셀 파워쿼리를 통해 가져와보도록 하겠습니다.

 

아파트 매매 실거래가 데이터는 API를 통하지 않더라도, 국토교통부 실거래가정보에서 제공하는 엑셀 파일을 다운로드 받을 수 있지만, 엑셀 파워쿼리는 새로고침 버튼 하나만 클릭하면 데이터가 최신화되는 마법을 보실 수 있을 것입니다.

 

아파트 매매 실거래가 엑셀 파일 다운로드 방법이 궁금하신 분은 아래 링크에서 확인해주시고,

오픈 API를 통한 데이터 분석방법은 다음 글에서 소개해 보겠습니다.

 

https://ttomine.tistory.com/1132?category=975548 

엑셀로 아파트 실거래가 분석하기 (피벗 샘플파일 제공)