인스타그램, 트위터, 네이버블로그 각각 크롤링 후 감정분석을 해봤습니다.
작업과정
파이썬 데이터를 담을 DB생성 -> 각각 미디어에 맞는 크롤러 생성 -> 형태소분석 -> DB에 적재 -> 감정분석 -> POWER BI와 DB 연동 -> POWER BI로 시각화 및 웹 공유
네이버블로그 크롤링 영상 (api 사용)
인스타그램 크롤링 영상(api 미사용)
트위터 크롤링 영상(api 미사용)
시각화 기능의 경우 R이나 python을 활용해서 진행 할 수도 있었지만
INTERACTIVE기능을 추가하기가 용이해 BI Tool을 사용해봤습니다.
인스타그램의 경우에는 해시태그 검색 시 해당 해시태그가 모두 검색되는 것이 아니라 일부 기간에 한정되어 검색되고
네이버블로그의 경우에는 html구조가 한가지로 통일되어있는 것이 아니라 꽤 다양하게 되어있어서 api를 사용하는 쪽으로 방향을 잡았는데
api를 사용할 경우 크롤링 할 수 있는 포스팅이 1000건 밖에 되지 않는다는 단점이 있었습니다.