2. 모델 학습 결과 이해하기

STEP 1. 모델 학습 현황별 작업

분석 모델의 실행 결과에 따라 다음과 같이 결과를 해석하거나 분석 모델 조건을 수정합니다.

A. 학습 상태가 '학습 완료'인 경우

축하합니다! VIPer 분석 모델을 성공적으로 학습 완료하였습니다.

모델 학습 정보를 확인하여 분석 모델 세부 정보를 확인합니다. 분석 모델 내 KPI 별 모델 설명력, MAPE 수치를 확인합니다. 해당 수치는 KPI별로 분석 모델을 최적화했을 때 모델이 얼만큼 데이터를 반영했는지의 평가 지표로 해석합니다.

모델 학습 정보 파악은 어떻게 하나요? ▶ 모델 학습 정보 확인하기

지표	내용	해석 방향
모형 설명력	해당 분석 모델이 데이터를 얼마나 잘 설명하는지를 나타내는 지표 (회귀모델의 R스퀘어 값과 동일한 개념)	높을수록 좋음
MAPE (Mean Absolute Percentage Error)	MAPE 예측 모델의 정확도를 평가하는데 사용되는 지표	낮을수록 좋음

B. 학습 상태가 '학습 실패'인 경우

분석 데이터 및 분석 모델 설정에 따라 분석 모델의 학습이 실패할 수 있습니다. 이 경우 모델 정보와 결과는 확인할 수 없습니다. 분석에 활용된 데이터셋을 수정하거나 모델 조건을 조정하여 모델 학습을 재실행해보세요.

모델 학습 실패로 어떻게 재분석해야 할지 어렵다면 'VIPer 컨설팅'에 문의해보세요.

C. 학습 상태가 '일부 완료'인 경우

모델 학습 상태가 '일부 완료'인 경우는 여러 KPI를 투입했을 때 최소 1개 이상의 KPI 모델에서 학습 실패한 경우입니다. 해당 실패 케이스는 학습 실패, 예산 최적화 실패가 있습니다. 이는 세부 결과에 따라 다르므로 세부 모델 결과를 직접 확인해야 합니다.

• 최소 1개 이상의 KPI에서 학습실패한 경우

분석에 활용된 KPI 중 1개 이상의 KPI 모델이 학습실패했을 때 '일부완료' 상태가 나타납니다. 해당 KPI 모델을 다시 구축하고자 한다면 모델 조건을 재설정하거나 VIPer 컨설팅에 문의해보세요.

• 최소 1개 이상의 KPI에서 예산 최적화 실패한 경우

분석에 활용된 KPI 중 1개 이상의 KPI 모델이 예산 최적화에서만 실패한 경우에도 '일부완료' 상태가 나타납니다. 이 경우 결과 탭에서 최적 예산 배분안 분석을 제외한 결과는 확인할 수 있습니다.

최적 예산안 분석이 필요한 경우 모델 조건을 직접 수정하여 재실행하거나 아래 VIPer 컨설팅 받기를 클릭하여 분석 모델 조건을 수정해보세요.

---

STEP 3. 세부 결과 탭별 내용 이해하기

모델 상태가학습 완료이거나 일부 완료 상태인 경우 모델 결과를 확인할 수 있습니다. 세부 결과는 아래와 같이 확인하며 캠페인 성과 요약, 기여도 분석, 최적 예산 배분안 분석, 예산 시나리오 리포트로 결과 탭을 확인할 수 있습니다.

---

A. 캠페인 기본 분석

캠페인의 전체적인 성과를 요약하고 KPI와 마케팅 전략 사이의 관계성을 분석합니다. 상단의 KPI 필터를 바꾸면 각 KPI 별의 결과 요약을 확인할 수 있습니다.

1. 캠페인 기본 정보

캠페인 집행 기간과 총 광고비, 총 달성한 KPI 수치를 요약합니다.

2. 캠페인 총 성과 분석

캠페인 비집행기간과 집행기간의 KPI 수치, 일자별 KPI 추이를 비교할 수 있습니다.

해당 분석 결과는 아래 조건에만 분석이 가능합니다.

• 데이터에 캠페인 비집행 기간이 포함된 경우

• 캠페인 비집행 기간이 분석 기간 단위 4단위 이상인 경우

  (ex. 분석 기간 단위가 '주' 단위일 때 최소 4주 비집행데이터 필요)

• 캠페인 집행 기간이 분석 기간 단위 2단위 이상인 경우

  (ex. 분석 기간 단위가 '주' 단위일 때 최소 2주의 집행 데이터 필요)

캠페인 집행 기간에 따른 KPI 평균 비교

캠페인 비집행기의 KPI와 캠페인 집행기의 KPI 수치를 비교합니다.

캠페인 집행기간에 따른 KPI 추이 비교

캠페인 비집행기간 데이터를 기반으로 캠페인을 미집행했을 시의 KPI를 추정하여 해당 기간에 얼만큼의 추가 KPI를 얻었는지를 시각적으로 확인할 수 있습니다.

위 사례의 경우 캠페인 집행시 미집행시보다 KPI 88%를 추가 확보했음을 추정할 수 있습니다.

해당 분석은 실제 캠페인 집행 기간 동안 '캠페인 미집행'을 가정하여 가상의 캠페인 미집행시의 KPI를 추정해야 합니다. 현재 사이트 상에서는 미집행 기간의 평균치로 가상의 미집행 기간 KPI를 예상하지만, 커스텀 VIPer를 통해서는 시계열적 요소인 '트렌드', '계절성'을 반영할 수 있습니다. 비집행기에도 패턴적으로 상승하는 KPI 성과 수치를 배제하고 순수한 KPI 상승률을 추정할 수 있습니다.

커스텀 VIPer를 요청하고 싶으시다면 VIPer 컨설팅에 문의해보세요!

3. 분석기준별 성과 분석

분석기준별 상관관계

광고비와 KPI 간의 상관성을 분석합니다. 상관성은 -1 에서 1 사이의 값으로 나타나며 1에 가까운 숫자일 수록 양의 관계가 강한 것으로 해석합니다.

예를 들어 KPI가 '사이트 유입'인 경우 온라인 동영상, DA 광고에 노출되었을 때 광고를 통한 사이트 유입이 자유로워 상관성이 더 높게 나타날 수 있습니다.

이처럼 특정 KPI별로 관계성이 높은 매체가 무엇인지 탐색해보세요.

분석기준별 KPI Curve

광고비와 KPI 간의 반응함수를 살펴볼 수 있습니다. 기울기가 높을수록 적은 광고비로 높은 KPI를 달성할 수 있다고 해석할 수 있습니다. 추정 범위는 일자별 예산 중 최대 금액의 1.2배까지 가능합니다.

위 사례는 TVC, DA는 예산 대비 완만한 곡선으로, 동영상은 상대적으로 가파르게 KPI가 상승하고 있습니다. 적은 예산 차이로도 동영상이 타 매체 대비 높은 KPI를 달성할 수 있음을 의미합니다.

특정 매체의 함수를 더 자세히 보고 싶다면 보고 싶은 범위 영역을 드래그하여 확대할 수 있습니다. 원래 화면으로 돌아가고 싶다면 상단의 '초기화' 버튼을 누르세요.

---

B. 기여도 분석

분석기준별 기여도 차트

캠페인 총 기간의 분석 기준별 KPI 기여도와 효율 지표(CPA, ROAS)를 확인할 수 있습니다.

• 기여도 : '광고 전략이 KPI 성과에 얼만큼 기여했는가'를 나타내는 지표

예를 들어 DA 기여도가 0.04, IPTV 기여도가 0.07인 경우 어떻게 해석하면 될까요?

KPI를 얻을 때 DA 광고가 4%만큼, IPTV가 7%만큼 평균적으로 기여했다고 해석합니다. 또한 IPTV 광고가 DA 광고보다 KPI에 평균적으로 더 많이 기여했다고 볼 수 있습니다.

왼쪽 상단의 'Error bars'를 체크하면 추정된 기여도 비중의 오차 범위를 확인할 수 있습니다. 검은색 선 범위까지 기여도 오차가 발생할 수 있으니 해석에 참고해주세요.

• 효율 지표 선택

  • CPA (Cost Per Action) : 분석 기준별 예산 / 추정한 분석 기준별 KPI 기여도 (원)

  • ROAS (Return On Ad Spend) : 추정한 분석 기준별 KPI 기여도 /분석 기준별 예산 (원)

오른쪽 상단의 '효율 지표 선택' 필터를 통해 CPA, ROAS 수치를 확인합니다. CPA가 낮을수록 ROAS가 높을수록 KPI 기여 효율이 좋다고 해석할 수 있습니다. 집행된 예산 대비 KPI 달성이 얼만큼인지 효율을 직관적으로 확인해보세요.

일자별 기여도 추이

일자별로 광고 전략별 KPI 기여도를 살펴볼 수 있습니다. 전략 실행 시기가 상이한 경우 일자별 기여도 추이를 참고하시면 한 눈에 전략별 기여도 흐름을 살펴볼 수 있습니다.

앞서 살펴본 기여도에는 Baseline 값이 포함되지 않았으나 일자별 기여도 추이에서는 Baseline 값이 포함됩니다.

Baseline : 광고 전략 기여도를 제외한 패턴적으로 생길 수 있는 KPI 수치

Baseline은 어떤 마케팅 상황에 필요한걸까요?

예를 들어 화장품 중에 겨울철 구매가 늘어나는 보습 브랜드의 마케터라고 가정해봅시다. KPI가 제품 구매였다면 겨울철 증가한 KPI 수치에는 오로지 광고 전략 집행만이 기여하지 않았을 것입니다. 이처럼 데이터 안에서 패턴적으로 증가하는 KPI 흐름을 살펴 트렌드와 계절성 특성을 반영하여 볼 수 있습니다.

분석기준별 기여도 리스트

일자별 기여도 추이는 엑셀 데이터로도 다운로드 가능합니다. 특정 집행 기간의 기여도 비중을 더 자세히 보고 싶은 경우 '다운로드' 버튼을 클릭해보세요.

---

C. 최적 예산안 분석

해당 KPI 모델이 학습 완료한 경우에만 최적 예산 배분이 가능합니다.

1. 같은 예산으로 최대 KPI 달성하는 최적 예산안 산출하기

같은 예산 금액으로 최대 KPI를 달성할 수 있는 최적 예산 배분안을 확인할 수 있습니다.

이는 KPI 별로 선택하여 특정 KPI에 맞는 최적 예산안을 확인할 수 있습니다. 만일 분석에 활용된 KPI 중 '페이지 방문'이 가장 중요했다면 해당 KPI를 선택하여 최적 예산안을 확인 후 추후 마케팅 믹스 기획에 참고할 수 있습니다.

• 결과 확인

1. 분석기준별 최적 예산 배분안

해당 KPI를 최대 달성할 수 있는 최적 예산안과 기존 예산안을 비교한 차트입니다.

특정 KPI 별로 어떤 매체가 KPI 달성에 유리한지, 기존과 대비해서 얼만큼의 예산을 어떤 매체에 이동해야하는지를 확인할 수 있습니다.

2. 기존/최적 예산 배분 기준 KPI 예측값 비교

기존 예산안의 KPI 예측값과 최적 예산안 집행시 달성 가능한 KPI 예측값을 비교한 차트입니다.

기존 예산안 KPI 수치는 실제 KPI 수치가 아닌 모델 내에서 예측한 KPI 수치입니다.

이때 해석에 주의해야할 점은 기존 예산안의 KPI 수치 또한 예측값이라는 점입니다. KPI 상승률을 동등한 조건에서 비교하기 위해서 기존 예산안 또한 KPI 값을 예측하여 분석합니다.

2. 새로운 예산 금액, 조건으로 최적 예산안 산출하기

학습된 분석 모델을 토대로 새로운 예산 금액으로 최대 KPI 달성을 위한 광고 전략 예산안을 산출할 수 있습니다. 다음 마케팅 캠페인을 위해 새로운 최적 예산안을 도출해보세요.

1. 최적 예산안을 산출하고 싶은 KPI 선택하기

2. 새로운 예산 금액 입력하기

만일 기존 예산 금액에서 분석기준별 예산 배분만 조정하고 싶다면 '예산 배분 상세 옵션'만 설정해보세요.

1. (분석 기준별) 예산 배분 상세 옵션 설정하기

매체별 예산 배분에 상세 조건을 걸어서 분석할 수 있습니다.

A. 미적용

예산 배분 상세 옵션을 미적용하여 재분석을 실행합니다.

미적용했을 시 예산 변동 범위는 기본 변동 범위인 20%를 기준으로 최적 예산안을 탐색합니다.

예산 변동 범위란 분석 기준별(ex. 매체별) 예산의 변동 범위를 말합니다.

예를 들어 유튜브 1억 기존 집행시 예산 금액은 0.8 ~ 1.2억 범위에서 움직일 수 있습니다.

B. 예산 배분 조건 설정

분석 기준별 예산 배분 조건을 상세히 설정할 수 있습니다.

특정 광고 전략의 예산 고정, 범위 설정이 가능합니다. 만약 SNS 광고는 예산 범위의 20%로 꼭 고정하고 싶다면 예산 비중 조건을 20%, 조건을 '같다'로 설정하고 재분석을 실행해보세요.

C. 예산 변동 범위 설정

예산 변동 범위 설정이란, 분석 기준별 예산 최대 변동 범위를 설정하는 기능입니다.

예산 배분 상세 옵션을 '미적용'할 시 예산 변동 범위는 기본 조건인 20%로 고정됩니다.

예를 들어 아래와 같은 기존 마케팅 믹스에서 예산 변동 범위가 20%로 설정되었다면 아래와 같은 변동 범위 안에서 최적 예산안을 산출하게 됩니다.

매체	기존 예산	변동 범위 (20% 변동)
유튜브	1억	0.8억 ~ 1.2억
메타	2억	1.6억 ~ 2.4억
네이버	5억	4억 ~ 6억

최대 변동 범위는 99%까지 가능하나 예산 산출 목적에 따라 변동 범위 수치를 조정하시길 바랍니다.

• 기존 예산안과 유사한 예산안 : 20% ~ 30%

• 분석 적정 예산 변동 범위 : ~ 50%

• 최대 설정 범위 : ~ 99%

1. 설정 완료했다면 최적 예산안의 재분석 실행 클릭

설정한 총 예산과 상세 옵션은 기존 분석 데이터에 따라 오차 범위가 발생할 수 있습니다.

3. 최적 예산 재분석 실패

위 방법으로 추가로 설정한 예산 배분 조건에 따라 분석이 실패한 경우입니다. 다시 새로운 예산 금액, 조건을 설정하여 재분석하거나 이전 배분안으로 돌아갈 수 있습니다.

• 이전 배분안으로 가기 : 가장 최근에 실행했던 분석 배분안으로 다시 돌아갈 수 있습니다. 클릭시 예산 시나리오 리포트에도 해당 배분안이 화면에 로드됩니다.

• 예산 배분 재분석 실행 : 예산 금액 및 예산 상세 옵션을 다시 재설정하여 분석합니다.

---

D. 결과 분석 요약

가장 최근에 실행한 최적 예산 배분안을 KPI 별로 한데 모아볼 수 있습니다. 최적 예산 배분이 실패한 KPI는 표시되지 않으며 예산안을 엑셀 파일로 다운로드할 수 있습니다. 가장 효율적인 예산안을 분석하고 다운로드하여 마케팅 업무 효율을 높여보세요.