#B1. 모임 프로젝트로 웹크롤러를 만들기 시작했다.
1. 팀 프로젝트를 활용하기로 하다.
지난 6월 업무 중에 데이터 노가다 작업을 하다가 그로스로그 모임에 도움을 요청했었다. 웹 크롤링을 쉽게 하는 법이나 프로그램을 만드는 법에 대해서 문의를 했고, 여러 멤버가 이에 대해서 대답을 해줬지만 초보인 내가 직접 시작할 수 있는 것은 사실상 없었다. 업무를 수월하게 진행하기 위해서는 네이버 지도에 등록된 업체들의 연락처를 수집하는 것이나, 네이버 부동산에 등록된 매물을 소개하는 중개사의 연락처를 수집하는 것이나 그게 어느 사이트의 어떤 항목이 되든 필요한 것들을 대규모로 빠르게 모으는 방법이 절실하게 필요했다.
그러다 때마침 7월 한달간은 모임 차원에서 프로젝트를 진행하기에 이때다 싶어서 해당 웹 크롤러 만드는 프로젝트의 기획안을 꼬물꼬물 준비했다. 그로스로그 모임에 오신 멤버분들 앞에서 혹시 같이 하실 개발 역량을 가진 분을 모집했다. 과연 내가 관심있어하는 이 프로젝트에 함께 해 주실 분이 있을까 하는 궁금함과 우려반 기대반의 심정으로 발표를 했다. 업무에 치인 한 달을 보내서 이 기획안을 보다 그럴싸하게 준비할 여력이 없었던 것이 발표를 하는 내내 아쉬웠다.
2. 웹 프롤러 프로그램 기획안 소개
- 이름 : Baro Data
- 요약 : 자동 데이터 수집 및 분석 프로젝트
- 설명 :
- 네이버 맵(카카오맵, 구글맵), 네이버 부동산 등에 등록된 업체나 매물 정보 크롤링 후 원하는 기능에 맞게 데이터를 수집하여 자동으로 분석된 자료를 제공하는 프로그램
- 예상되는 주요 기능
- 엑셀 (구글 스프레드 시트)와 연동하여 자동으로 특정 시간마다 업데이트
- 수집된 자료를 미리 설정된 공식에 맞게 수치적으로 계산하여 적절성 및 수익성 분석
- 분석된 자료를 미리 설정된 포맷에 맞게 출력
- 기대 효과 및 활용 방안
- 1) 마케팅 최적화
현재 영업 중인 업체들의 특정 자료가 대규모로 필요한 마케터 및 영업담당자들에게 필수
영업 효율을 효율적으로 높일 수 있음
- 2) R&D 효율 극대화
해당 자료를 일정 시간에 따라 반복적으로 수집하여 비교 및 분석이 가능 - 연구 개발 담당자들에게 매우 의미있는 자료
- 3)CRM 기능
해당 프로그램을 각 기능별로 구체화하여 마케팅 부서와 운영 부서에서 활용 가능
자료를 바탕으로 고객이 원하는 지역, 업종, 연락처, 담당자, 매물, 가격 확인 가능
- 웹 크롤링 적용 범위 확장웹 크롤링 적용 범위 확장
- 네이버 지도 : 등록 업체 영업 정보(상호명, 주소, 등록번호, 연락처, SNS) 확인
- 네이버 부동산 : 현재 거래되는 매물 정보(금액, 기타) 확인, 담당 중개사 개인연락처 확인
- 법원 경매 (데이터에서 클릭 한 번 해야 함) : 경매 매물 정보 및 기일 예정 확인 가능
- 디스코/밸류맵 : 매물별 실거래가 확인 가능(국토부 실거래가 공개시스템), 담당 중개사 확인 가능 등
- 선호하는 기술 스택
- 아직 제가 개발을 몰라서 특정 기술을 선호하지는 않습니다.
- 다만 대규모의 데이터를 수집하고 분석하기 위해서 웹 개발이 우선적으로 진행되어야 할 거 같습니다.
3. 개발자들의 질문을 통해 IT 기획자의 맛을 보다.
일단 내가 무엇을 만들고 싶어하는지를 간단한 글로 보여주면서 발표하자 개떡같이 얘기해도 찰떡같이 알아들어준 우리 멤버 분들이 각종 개발과 관련된 질문을 하기 시작했다. 내가 정확히 필요로하는 정보의 항목이 무엇인지, 서비스에서 크롤링을 통해서 구하는 자료가 그 서비스에서만 구할 수 있는 것인지, 다른 데이터를 끌어다 오는 것인지, API를 통해서는 확인할 수 없는 정보인지, 자동으로 웹크롤링을 하면 얼마나 자주 하고 싶은건지, 웹크롤링의 데이터 규모는 어느 정도를 필요로 하는 건지 등의 질문이 그것이었다.
와.. 기획자가 간단한 아이디어와 프로젝트에 대한 이야기를 꺼내자 개발자들은 자동적으로 개발의 단계 하나하나를 머리속에서 거치며 각 과정에서 필요한 구체적인 정보들에 대한 질문을 쏟아내는 것이 정말 재미있었다. 이런 경험을 세 네 차례 하게 되면 개발자들과 커뮤니케이션을 할 때 어떤 내용들을 미리 준비해서 빠르고 확실하게 소통할지 알 수 있을 것 같았고, 질문 안에서 해당 프로그램이 구체화되는 느낌이 들어 나 역시도 이 프로그램 개발을 위해서 어떤 정보들이 중요하고 더 필요할지 알아볼 수 있는 계기가 되었다.
4. 팀이 생기다!!
이 엉성한 기획에도 불구하고 한 달 동안 이 프로젝트에 합류하겠다는 개발자 멤버가 있었다. 단 한 명이라도 함께 해주겠다는 사람이 나타난 것만으로도 놀라운데, 우리 모임 가운데서 역량이 상당하신 분이 합류 의사를 밝혀주셔서 너무나 기뻤다. 두 개의 기획을 발표했지만 나머지 하나는 내가 아무리 하고 싶어도 개발자들이 함께 하지 않으면 진행을 할 수가 없었기에 결과적으로는 웹크롤러 프로젝트를 본격적으로 진행하기로 했고, 나는 이 프로젝트로 어떻게든 8월 학교 경진대회에 참여할 욕심을 내고 있다.
사실 내가 필요로하는 데이터 수집이 프로그램의 형식으로 구현되는 것만으로도 나에게는 엄청난 소득지만, 이걸로 앞으로 어떻게든 잘 활용할 생각을 하기 시작하니 저절로 콧노래가 나올 정도로 기분이 좋았다. 이런 프로젝트에 참여해서 원하는 프로그램을 만들고 이 모든 과정을 배우고 즐길 요량으로 모임을 만들긴 했지만 실제로 하나씩 현실화가 되니까 사업을 할 때 만큼이나 짜릿짜릿하고 도파민이 터지는 것 같았다. 두근두근거리고 반갑고 감사한 심정이다. 이제 한 달간 어떻게 진행되고 무엇이 탄생할지 정말 기대된다.