[기업협업] VENENO 광고 타겟팅 최적화를 위한 인사이트 대시보드

📌 프로젝트 개요

📑 프로젝트 내용

❓주제 선정 배경

1. 네이버 Analytics 데이터를 통한 인사이트

2. 주력 상품 리뷰 분석을 통한 인사이트

🔗 데이터 수집

🙋🏻‍♀️ 본인이 맡은 역할

⓵ 리뷰 크롤링할 상품 선정 및 키워드 분석 아이디어 제시

• 정의 : 주력 상품이란, 가장 판매에 공을 들이고 있어 많은 고객을 모을 수 있는 상품

• 선택 : veneno의 모든 상품에 대한 리뷰를 크롤링 하기에는 프로젝트 진행 기간 상 한계가 있었기에, 누적판매순 & 리뷰많은순을 기준으로하여 5개씩 총 10개를 선정

⓶ 정해진 상품 리뷰 크롤링

1. 라이브러리 불러오기

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
import pandas as pd
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import re
from selenium.webdriver import ActionChains
from konlpy.tag import Okt
from collections import Counter
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity, pairwise_distances_argmin_min
from sklearn.metrics.pairwise import cosine_similarity
from sklearn.cluster import KMeans
import numpy as np
import math

2. 크롬 드라이버 실행

chrome_options = Options()
driver = webdriver.Chrome()

URL = 'https://smartstore.naver.com/veneno/products/()' # 괄호 지우고, 페이지 고유 번호 작성
driver.get(URL)

# 리뷰, 별점 크롤링
while count < stop:
    for pagenum in next_btn:
        driver.find_element(By.CSS_SELECTOR, '#REVIEW > div > div._180GG7_7yx > div.cv6id6JEkg > div > div >'+str(pagenum)+'').click()
        
        html = driver.page_source 
        soup = BeautifulSoup(html, "html.parser") 
        
        reviews = soup.find_all('div', class_='_19SE1Dnqkf')
        ratings = soup.find_all('em', class_='_15NU42F3kT')
        
        for review, rating in zip(reviews, ratings):
            review_text = re.sub('[^#0-9a-zA-Zㄱ-ㅣ가-힣 ]', "", review.text)
            rating_text = rating.text
            
            review_list.append([review_text, rating_text])

        count += 1  # 카운트 증가

# 텍스트 전처리 및 별점 4, 5점만 남기기
df = pd.DataFrame(review_list, columns=['리뷰', '별점'])
df = df.drop_duplicates()
df = df[(df['별점'] == '5') | (df['별점'] == '4')]

3. 리뷰 수 입력 상품 총 리뷰 수 확인 후, 그대로 입력해 줍니다.

from selenium import webdriver 
count = 0 
stop = int(input("전체 리뷰 수를 입력해주세요 "))
next_btn = ['a:nth-child(2)', 'a:nth-child(3)', 'a:nth-child(4)', 'a:nth-child(5)', 'a:nth-child(6)', 'a:nth-child(7)', 'a:nth-child(8)', 'a:nth-child(9)', 'a:nth-child(10)', 'a:nth-child(11)', 'a.fAUKm1ewwo._2Ar8-aEUTq'] 
review_list = []
star_list = []

4. 리뷰, 별점 크롤링

while count < stop:
    for pagenum in next_btn:
        driver.find_element(By.CSS_SELECTOR, '#REVIEW > div > div._180GG7_7yx > div.cv6id6JEkg > div > div >'+str(pagenum)+'').click()
        
        html = driver.page_source 
        soup = BeautifulSoup(html, "html.parser") 
        
        reviews = soup.find_all('div', class_='_19SE1Dnqkf')
        ratings = soup.find_all('em', class_='_15NU42F3kT')
        
        for review, rating in zip(reviews, ratings):
            review_text = re.sub('[^#0-9a-zA-Zㄱ-ㅣ가-힣 ]', "", review.text)
            rating_text = rating.text
            
            review_list.append([review_text, rating_text])

        count += 1  # 카운트 증가

5. 텍스트 전처리 및 별점 4/5점만 남기기 3점 이하의 별점은 긍정적인 리뷰가 아니라고 생각하여 추천 키워드를 뽑아낼 수 없다고 판단하였습니다.

df = pd.DataFrame(review_list, columns=['리뷰', '별점'])
df = df.drop_duplicates()
df = df[(df['별점'] == '5') | (df['별점'] == '4')]

def remove_special_and_specific_text(text):
    text = re.sub(r"[^\uAC00-\uD7A30-9a-zA-Z\s]", "", text)  # 특수 문자 제거
    text = text.replace('한달사용기', '')  # '한달사용기' 문자열 제거
    return text

df['리뷰'] = df['리뷰'].apply(remove_special_and_specific_text)
df = df.sort_values(by='별점', ascending=False).reset_index(drop=True)
df

6. 불용어 제거

stopwords = pd.read_csv("https://raw.githubusercontent.com/yoonkt200/FastCampusDataset/master/korean_stopwords.txt").values.tolist()
add_stopwords = [] # 아래 코드 돌려보고 추가해야하는 불용어 추가하기
for word in add_stopwords:
    stopwords.append(word)
stopwords

7. 리뷰별 형용사/명사 추출 형용사/명사가 키워드 추출에 적당하다고 판단하였습니다.

okt = Okt() # Okt 형태소 분석기 객체 생성

def extract_nouns_and_adjectives_from_review(text): 
    morphs = okt.pos(text)  # 형태소 분석하여 품사 태깅
    nouns = [word for word, pos in morphs if pos in ['Noun']and word not in stopwords]  # 명사 추출
    adjectives = [word for word, pos in morphs if pos in ['Adjective']and word not in stopwords]  # 형용사 추출
    return nouns, adjectives

df['명사_추출'], df['형용사_추출'] = zip(*df['리뷰'].apply(extract_nouns_and_adjectives_from_review))
df['명사_형용사_추출'] = df['명사_추출'] + df['형용사_추출']
df

8. 상품명 추가하기

review = df['리뷰']
review_df = pd.DataFrame(review)

review_df['상품명'] = ''  # 적절한 상품명으로 설정
new_order = ['상품명', '리뷰']
review_df = review_df[new_order]
review_df

1. 전체 리뷰 대상 빈도 수 상위 50개 단어 추출

word_counter = Counter()

for word_list in df['명사_형용사_추출']:
    word_counter.update(word_list)

top_50_words = word_counter.most_common(70)
top_50_df = pd.DataFrame(top_50_words, columns=['단어', '빈도수'])
top_50_df = top_50_df[top_50_df['단어'].apply(lambda x: len(str(x))) > 1]
top_50_df['상품명'] = ''  # 적절한 상품명으로 설정
new_order = ['상품명', '단어', '빈도수']
top_50_df = top_50_df[new_order]
top_50_df = top_50_df.head(50)
top_50_df

💡성과/의의

📍대시보드 인사이트

📍대시보드 의의

1. Naver Analytics 데이터를 기반으로 한 veneno 맞춤 대시보드
1. veneno에서 자주 확인하는 데이터들을 한 눈에 파악할 수 있는 대시보드가 필요하여, 이를 중점으로 두고 대시보드를 제작하였습니다.
2. Naver Analytics에서는 제공되지 않는 상세한 부연 설명을 대시보드에 함께 넣어 대시보드를 제작하였습니다.

2. 상품 리뷰 크롤링 및 주요 키워드 선정
1. 주력 상품의 주요 키워드를 선정하기 위해 동적 크롤링을 사용하여 리뷰 데이터를 수집하였습니다.
2. 주력 상품의 리뷰 데이터를 텍스트 분석을 활용하여, 홍보에 필요한 주요 키워드를 선정하였습니다.

💬 회고

➕ 보완할 점

• 브랜드 대표님께서, Naver Analytics에서 제공되는 데이터 위주로 유의미하게 자주 확인하시는 데이터로 대시보드를 구성했는데, 조금 더 다양한 데이터 혹은 지표를 구성하여 대시보드를 만든다면 더욱 풍부한 대시보드가 될 것이라 예상합니다.

• 주요 키워드를 선정하기 위한 분석 작업이 고도화되지 않아, 이를 고도화된 분석을 실시한다면 더욱 정확한 키워드 추천이 될 것이라 예상합니다.

🚶🏻‍♀️‍➡️ 성장한 점

• 지난 프로젝트 때 크롤링 관련 애로사항을 해결하여 진행한 프로젝트라서, 의미가 깊었던 시간이었습니다.

• 현업에서 사용되는 데이터를 직접 만지며 분석할 수 있어, 의미가 깊었던 시간이었습니다.