누구나 쉽게할 수 있는 MMM 분석

MMM 이란?

‘Marketing Mix Modeling(이하 MMM)’은 광고의 성과를 측정할 수 있는 오래된 분석기법입니다. 최근 들어 개인정보 보호가 디지털 광고계의 주요 이슈로 떠오르며’ MMM 분석’도 덩달아 주목을 받고 있습니다. 광고의 전환 데이터 없이 회귀분석으로 광고 성과를 어느 정도 예측할 수 있기 때문입니다.

‘BAT’는 2022년 부터 ‘Meta’와 제휴하여, 오픈 소스 라이브러리 ‘Robyn’을 활용한 ‘MMM 분석’을 수행해왔습니다. ‘Robyn’은 복잡한 머신러닝에 필요한 데이터를 미리 제공할 뿐만 아니라, 분석결과를 활용한 ‘예산 재분배’까지 제안할 수 있는 훌륭한 도구입니다.

특히 데이터에 자주 사용되는 프로그래밍 언어 ‘R’을 경험한 데이터 분석가들에게는 진입장벽이 낮은 편리한 도구입니다. 나아가 분석가가 아니고, ‘R’을 처음 접한다고 해도 하루 정도의 워크샵을 통해 어렵지 않게 사용할 수 있을만큼 잘 만들어져 있습니다. 하지만 “인간의 욕심은 끝이 없다”고… 어렵지 않은 것과 쉬운 것은 다릅니다. 1년 넘게 ‘MMM 분석’을 지원하면서 데이터 엔지니어링 팀과 실무자(AE)들은 몇 가지 불편함을 느꼈습니다. 이번 글에서는 우리가 어떤 불편함을 느꼈고, 이를 해결하기 위한 솔루션이 만들어지는 과정을 공유하고자 합니다.

문제인식

‘Robyn’은 쉽게 사용할 수 있도록 개발되었습니다. 아래의 이미지처럼 생긴 수백 행의 텍스트 뭉치를 처음 보는 사람이라면 말도 안 된다고 생각하겠지만… 정말 쉽게 사용할 수 있는 라이브러리임에는 틀림없습니다.

분석을 위해 사전에 정의된 파라메터를 조정하거나, 전처리된 데이터만 있으면 누구라도 ‘Robyn’으로 ‘MMM 분석’을 해볼 수 있을 정도니까요. ‘Robyn’이 이처럼 사용하기 쉽게 설계된 이유는 데이터 분석가가 아닌 실무자들이 어렵지 않게 ‘MMM 분석’을 할 수 있도록 하기 위함입니다. “왜 굳이 실무자가 ‘MMM 분석’을 해야 하는가?”에 대한 이유는 프로젝트를 1번만 수행해봐도 바로 깨닫게 됩니다.

"아, MMM분석은 실무자가 해야하는구나"

MMM은 우리에게 예산 재분배와 같은 인사이트를 한 번에 제공해주지 않습니다. 중간 단계에서 광고의 “현재 상황과 가장 유사한 결과물”을 골라줘야 하는데요. 이를 위해서는 실제 광고가 어떻게 돌아가고 있는지 정확하게 이해하고 있는 실무자의 도움이 필요합니다. 첫 번째 분석 후 Robyn은 5개 정도의 세트를 제공해줍니다. (원하는 만큼 제공할 수 있지만, 효율성을 고려한 적절한 개수입니다.) 이 결과세트는 채널의 영향력, 매력도 감쇠율, 정확도 등 여러 가지 정보로 구성되어 있습니다.

우리는 실무자들과 의논하며, 정확도도 높고 실제 현황과도 유사한 세트를 골라야 합니다. 그런데 이 과정이 쉽지 않습니다. 시간을 내어 함께 데이터를 들여다봐야 하고, 또 ‘MMM 분석'이 처음인 실무자라면 오랫동안 앉아서 설명을 해야 합니다. 이렇게 해서 적절한 세트가 얻어진다면 다행입니다만, 그렇지 않다면 다시 분석을 해야합니다.  이 과정에서 분석가는 실무자에게 매번 중간 결과물을 보여주면서 적합한 세트를 골라야 합니다. 최악의 경우 전처리할 데이터를 손봐야 할 수도 있습니다. 

그래서 어떤 프로젝트는 하루 이틀 만에 원하는 결과물을 제공할 수 있는 반면에 어떤 프로젝트는 길게는 2주씩이나 걸리기도 합니다. 이런 경험을 한 번 해보고 나면 깨닫는 것이죠. “아, MMM 분석은 실무자가 해야 하는구나” 그런데 역시 새로운 지식을 습득하는 일이 모두에게 쉬운 것은 아닙니다. 하지만 회사에는 이를 도와줄 사람들이 있습니다. ‘그로스 엔지니어링팀’ 처럼요.

분석할 데이터는 산더미

데이터 분석가들도 퍼포먼스 마케팅 경험이 있는지라, 분석을 몇 번 하다 보면, 전반적인 상황에 대해 이해하게 됩니다. 실무자들과 적극적으로 의견을 주고받다 보니 이해도가 높아지기도 하고요. 그래서 나중에는 의견 공유에 진땀 뺄 일 없이 어느 정도는 데이터 분석가의 주관대로 데이터 세트를 고를 수도 있게 되지만, 문제는 여기서 시작됩니다.

BAT에는 수많은 프로젝트들이 속도감 있게 운영되고 있습니다. 속도감이라는 표현이 적절할지 모르겠지만, 지원 부서의 입장에서 이들을 바라보고 있으면 험로에 깔린 철도를 따라 달리는 박력 넘치는 증기기관차 같은느낌이 들거든요. 본론으로 다시 돌아오자면, 이렇게 역동적으로 진행되는 다수의 프로젝트를 소수의 지원 부서가 감당하기에는 한계가 있다는 이야기를 하고 싶었습니다.

‘R-studio’를 활용한 분석은 여러 프로젝트를 동시에 분석하기에는 적합하지 않을뿐더러 로컬 환경에서 동작하기에 매번 담당자가 실행 결과를 파악하고 관리해야 한다는 불편함이 있기 때문입니다.

이 문제는 “여러 프로젝트에 대한 절차적 혹은 동시 분석 필요", “실무진 및 분석 담당자의 편의성 부족"으로 요약됩니다. 그리고 이를 해결하는 단 하나의 방법은 “솔루션”개발입니다.

‘BAT’에는 다행히 모든 광고 데이터를 적재할 수 있는 데이터 웨어하우스 ‘AEer’가 있습니다. 충분한 데이터와 이를 적재할 수 있는 공간 등 솔루션 개발에 필요한 여건은 갖춰져 있는 셈입니다. 하지만 프로그래머들이 ‘MMM 분석’에 대한 이해할 시간이 조금 필요했습니다. ‘Robyn’은 가이드 문서가 매우 잘 만들어져 있어서 분석가가 아니어도, 며칠만 공들여서 문서를 보고 분석을 해보면 쉽게 이해할 수 있어서 많은 도움이 되었습니다.

그로스 엔진이어링팀에서 개발한 ‘MMM 분석 서비스’는 실제 분석 방식과 동일한 프로세스로 동작합니다. 데이터 웨어하우스에 적재된 데이터는 언제든 ‘MMM 분석’을 위해 전처리될 준비가 되어 있습니다. 실무자들은 원하는 프로젝트를 골라서 분석 범위와  KPI만 선택해 주면 됩니다.

사실 분석에는 다양한 ‘Hyper parameter’를 조작하는 작업이 필요한데요. ‘Robyn’에서 제안하는 평균값은 있지만, 평균값이 모든 상황에서 좋은 분석 결과를 제공하지는 않습니다. 평균값을 포함해서 더 넓은 범위의 ‘Hyper parameter’를 적용해서 분석해 보면 어떨까요? 분석할 데이터 세트는 많아지지만, 이 중에 좀 더 정확한 분석 결과가 나타날 가능성도 높아질 것입니다. ‘MMM 분석 서비스'는 스케줄러에 의해 동작하기에 많은 양의 데이터 분석을 수행할 수 있습니다.

물론  실무진들이 이러한 설정까지 이해할 필요는 전혀 없습니다. KPI와 같이 기본적인 항목만 설정하면, 나머지는 분석 프로세스에서 알아서 처리하는 방식입니다. 대신 테스트를 위해 다양한 ‘Parameter’로 분석하므로, 많은 분석 결과가 출력됩니다. 골라내는 데에 시간이 걸리지만 모자란 것보다는 낫습니다.

분석가 입장에서도 많이 편해졌습니다. 아직 모든 실무진들이 익숙하게 사용할 만큼 안착하지 않았기에 여전히 분석가들의 지원이 필요한데요. 분석가들 입장에서는 많은 양의 분석을 한 번에 수행할 수 있고, 매번 분석 환경을 설정할 필요가 없다보니 작업의 불편함이 상당히 개선된 것입니다.

일할 맛 나는 환경이 맛있는 결과를 만듭니다. 작년 5월과 6월 각각 다른 광고주와 진행했던 대규모 프로모션의 예산 재분배에 ‘MMM 분석 서비스’가 사용되었는데, 정말 편하게 인사이트를 얻을 수 있었습니다. 결과도 매우 좋았고요. ‘BAT’는 이 사례를 바탕으로 ‘Meta Agency First Awards’에서 ‘퍼포먼스 히어로 부분’과 Advantage+ Expert 부문’에서 수상할 수 있었습니다.

‘MMM 분석 서비스’는  ‘MMM’ 분석 본연의 매력을 위해 맥락 변수나 외부의 데이터를 활용한 분석 기능을 준비하고있습니다. 앞으로 다양한 ‘MMM’분석 성공사례를 소개할 예정이니 많은 기대 부탁드릴게요.