view 뷰를 변경하는 데 단 5 분 .

A/B 테스트 대 다변량 테스트 : 언제 어떻게 어떻게 선택합니까?

2025 년 6 월 29 일

너무 오래 읽고 싶니?

당신은 해본 적이 있습니까? 웹 사이트를 변경하지만 실제로 개선되었는지 또는 "스스로 생각"하는지 모르겠습니다.

모든 시장, 마케팅 담당자 또는 비즈니스 소유자 가이 불편한 상황에 직면했을 것입니다. 귀하는 신체적, 정신적, 예산에 전념하고 있습니다. 사진 변경, 프로모션, 새로운 헤드 라인 작성, 매력적이거나 새로운 레이아웃 디자인 등 ... 결과는 "고용"입니다.

판매는 증가하지 않거나 클릭하지 않거나 최악의 상황이 "이전보다 더 나쁘다"는 것이지만 그것이 무엇인지 모릅니다. 어둠 속에서 걷는 것 같은 느낌은 계속할 방법을 찾을 수 없습니다. 내가 한 일이 "예"또는 "아니오"인지 모르겠습니다. 이것은 전환을 죽이고 불행히도 비즈니스 기회를 잃게하는 고전적인 문제입니다.

삽화를위한 프롬프트 : 마케팅 담당자 또는 비즈니스 소유자의 사진은 합의 된 판매 그래프를 보여주는 컴퓨터 앞 사원에 앉아 있습니다. 혼란과 불확실성을 전달하기 위해 물음표 (?)가 떠 다니고 있습니다.

왜 "추측"이 독창적 인 판매의 적으로서?

대부분의 문제의 근원은 "감정"또는 "본능"에 기초한 결정에서 비롯됩니다. 우리는 "이와 같은 헤드 라인은 더 좋아하는 고객이어야한다"또는 "이 색상 버튼은 더 뛰어나야한다"고 생각하지만, "우리가 생각하는"이 "고객이 생각하는 것"이 될 것이라는 것을 확인할 수있는 것은 없습니다.

데이터 (데이터 중심)에 의해 주도되는 디지털 마케팅의 세계에서 추측은 돈을 녹이는 것과 같습니다. 시험을 통과하지 못하는 모든 변화는 불필요한 "위험"이기 때문에 불필요합니다. A/B 테스트 및 다변량 테스트 중요한 역할을하는 시점입니다 그것은 "추측"을 "증거 진실"으로 바꾸는 과학적 과정으로, 우리가 실제로 비즈니스를 가진 변화의 변화를 정확히 알 수 있도록 도와줍니다. 생각만이 아닙니다

삽화를위한 프롬프트 : 왼쪽 뇌 사이의 비교 이미지 "Instinct/Feeling"이 오른쪽 뇌가있는 오른쪽 뇌가 "그래프/데이터"가있는 느낌에서 데이터 측 미디어로 가리키는 화살표가있는 기호가있는 기호로 데이터 측면 미디어로 변경해야합니다.

다음 추측으로 인해 웹 사이트 "DAE"를 보자? 결과는 당신이 생각하는 것보다 더 끔찍합니다.

테스트를 무시하고 감정에 따라 웹 사이트를 계속 변경합니다. "판매가 추가되지 않는다"보다 강렬한 부정적인 영향으로 이어질 수 있습니다. 상상해보십시오 :

낭비적인 마케팅 예산 : 당신은 사람들을 방문 페이지로 끌어 당기기 위해 엄청난 총격 사건을 던질 수 있지만, 그 얼굴이 효과적이지 않으면 충분한 사람들이 들어 와서 문을 닫습니다. 당신이 지불 한 돈은 0입니다.

경쟁 기회를 잃었습니다.

전환율이 떨어집니다. "약간의"생각이 일부 변경되면 사용자에게 전환율을 거의 알지 못하고 점차적으로 섭취하지 않고 사용자에게 혼란이나 "마찰"을 유발할 수 있습니다.

신뢰성 상실 :

변경된 웹 사이트는 방향이 변경되었습니다. 사용자가 브랜드가 전문적이지 않으며 경험에 대한 관심 부족을 느끼게합니다.

웹을 계속 유지하게하는 것은 보트가 누출을 생각하지 않고 누출되는 것과 다르지 않습니다. 기본 CRO (전환율 최적화)를 이러한 문제를 예방하는 갑옷이 가장 좋습니다.

삽화를위한 프롬프트 : "내 웹 사이트"라는 이름 태그가있는 종이 보트에는 작은 누출이 있습니다. "낭비 된 예산", "잃어버린 고객"이라는 많은 지점이 천천히 바다로 가라 앉습니다.

추측을 그만! A/B 테스트 및 다변량 테스트를 알아 보겠습니다.

불확실성을 실질적인 정보로 바꿔야 할 때입니다. 이 문제에 대한 해결책에는 매우 인기 있고 효과적인 두 가지 주요 유형이 있습니다. 즉, A/B 테스트 및 다변 바라이트 테스트 (MVT)는 분명히 다르고 사용되는 올바른 상황입니다.

A/B 테스트 (우승자 테스트)

A/B 테스트가 복싱 단계에서의 싸움이라고 상상해보십시오. 우리는 "챌린저"(새 버전 또는 변형)와 싸울 "오래된 챔피언"(현재 버전 또는 컨트롤)이 있습니다.

무엇 입니까? 어떤 버전이 더 나은지 확인하려면 (예 : 전환율)
사용될 때 : 모든 헤드 라인 변경, 새로운 레이아웃 디자인, 영웅 이미지 변경 또는 지불 프로세스 조정과 같은 "큰"및 "높은 충격"테스트에 적합합니다.
예 : 버전 B ( "Green"버튼) 버전 B ( "Orange"버튼)를 사용하여 버전 A ( "Green"버튼)를 테스트하여 더 많은 사람들이 클릭 할 수있는 색상을 확인하십시오.

다변량 테스트 (MVT- 최고의 믹싱 세트 테스트)

A/B 테스트가 MVT 복싱 인 경우 과학자 실험실입니다. 우리는 단지 승자를 찾고있는 것이 아닙니다. 그러나 우리는 동시에 같은 페이지에서 많은 작은 변경 사항을 테스트하여 가장 좋은 "성분"이 무엇을 구성하는지 알고 싶습니다.

무엇입니까? 여러 요소와 해당 구성 요소의 "다중 변형"은 동시에 함께 작동하는 "조합"(조합)을 찾아 최상의 결과를 제공합니다.
사용될 때 : "튜닝"또는 "최적화"에 적합한 경우, 작은 요소가 서로에 어떤 영향을 미치는지 이해하는 데 더 잘 익숙해지기 위해 높고 효과적인 입장을하는 웹 페이지입니다.
예 : 같은 페이지에서 헤드 라인 (2 유형) X 이미지 (2 유형) X 버튼 (2 유형)의 텍스트 (2 유형) 텍스트를 동시에 테스트하려고합니다. 이는 2x2x2 = 8 버전 세트를 생성하여 어떤 조합 세트가 가장 높은 전환인지를 찾습니다.

"우리는 변화 (혁명)를 바꾸거나 점차적으로 발전하고 싶습니까?" 첫 번째라면 웹 플로 또는 양식에서 A/B 테스트를 시작하십시오. 그러나 그것이 MVT와 같다면 그것은 대답입니다.

그림을위한 프롬프트 : 2- 부드러운 이미지, "A/B 테스트"가있는 2 쌍의 권투 장갑 (빨간색 대 파란색) 및 오른쪽은 과학적 시험 Bean입니다. 다른 액체를 가진 잎은 "다변량 테스트"라벨과 함께 혼합되고 있습니다.

예 : 일반적인 커피 숍에서 테스트가있는 전환 챔피언에 이르기까지

더 명확하게하기 위해 온라인 커피 원두를 판매하는 상점 인 "The Grind House"의 이야기를 살펴 보겠습니다. 그들은 아름다운 방문 페이지를 가지고 있지만 전환율은 어디에서나 움직이지 않습니다. 그래서 그들은 결정을 돕기 위해 데이터를 사용하기로 결정했습니다.

1 단계 : A/B 테스트를 통한 큰 구조 조정

문제 : 원본 페이지 (버전 A)에는 긴 정보가 있지만 "모든 커피 원두보기"버튼은 거의 페이지의 하단입니다.

가설:

CTA 버튼을 상단으로 이동하고 (주름 위) 헤드 라인을 더 흥미롭게 변경하면 더 흥미로워집니다. 클릭을 증가시켜야합니다. 테스트 :

그들은 새로운 버전의 새로운 버전 인 "독특한 커피 맛을 경험하십시오. 집으로 직접 배달"하고 "커피 콩 선택"의 버튼을 그 아래 큰 주황색 색상 - 결과:

2 주 동안 A/B 테스트를 실행 한 후 버전 B는 버전 A보다 클릭률이 높습니다. 최대 45%입니다!

2 단계 : 다변량 테스트로 하위 요소를 조정하십시오

다음 문제 : 이제 그들은 승리 한 레이아웃 (버전 B)을 가지고 있지만 더 나은 최적화를 원합니다.
- 헤드 라인 : (아마도 동일)
- 영웅 이미지 : A (커피 팜) 대 (바리 스타는 드립 커피)
버튼 텍스트 :

가설:

CTA 버튼에서 영웅 이미지와 텍스트를 변경하면 더 많은 변환을 추가하는 데 도움이 될 수 있습니다. 테스트 :

버전 B 레이아웃에서 MVT를 다음과 같이 테스트합니다. 결과:

MVT는 우승 조합 세트가 있음을 발견했습니다 "바리 스타 + 버튼 '지금 상점'" "

전환율을 높이는 데 도움이됩니다. 전반적으로, 원본에서 18%가 있습니다!

A/B 테스트를 사용하여 먼저 "큰 변화"를 찾은 다음 MVT를 사용하여 매우 강력한 전략 인 "세부 사항을 조정"한다는 것을 알 수 있습니다. CRO 전문가가 지침입니다 .

그림을위한 프롬프트 : 인포 그래픽 이미지는 1 단계 (A/B 테스트) 및 2 단계 (다변량 테스트)와 함께 Grind House의 이야기를 알려주고 결과를 명확하게 표시합니다.

테스트를 시작하고 싶습니까? 체크리스트 6 가지 간단한 단계를 즉시 따라갈 수 있습니다.

시작은 무섭게 보일지 모르지만 실제로는 명확한 과정이 있습니다. A/B 테스트 또는 MVT를 선택하든이 점검표를 따라갈 수 있습니다.

측정 할 수있는 목표 설정 (목표 정의) : 무엇을 개선하고 싶습니까? "판매를 늘리고 싶다"고 말하지 말고 "사람들의 수를 늘리기를 원한다면 제품 페이지의 자동차 추가를 눌러"또는 "방문 페이지의 바운스 속도를 10%줄이려는 것"과 같은 구체적으로 말하지 마십시오.
가설 형태 : 이 구조에서 명확한 문장을 만듭니다. "나는 (x)가 결과 (y)를 초래할 것이라고 믿습니다."예 : "색상 변화 버튼이 오렌지 (x)라고 생각합니다.
목표와 가정에서 테스트 도구 및 테스트 방법 (도구 및 방법 선택)을 선택하십시오 큰 변화 (A/B) 또는 MVT를 원하십니까? VWO 또는 Optimizly 와 같은 도구를 선택하십시오
생성 변형 생성 : 도구의 가정에 따라 새 버전 (변형)을 구성하십시오. 모든 것이 올바르게 작동하는지 확인하십시오.
테스트 및 대기 시작 (테스트 실행 및 참을성) : 시스템이 트래픽을 다른 버전으로 나누기 시작합니다. 중요한 것은 "인내"는 통계적 중요성을 얻기에 충분히 길어야하며, 이는 일반적으로 불일치를 줄이기 위해 최소 1-2 주가 걸립니다.
결과를 분석하고 수행 (분석 및 구현) : 테스트가 끝나면 어떤 버전이 우승자인지 확인하십시오. 명확한 승자가 있으면 해당 버전을 사용하여 결과가 다르지 않으면 실제로 100% 트래픽으로 사용하십시오. 변경 사항이 영향을 미치지 않음을 의미합니다. 그리고 테스트를 계속할 새로운 가정을 할 시간입니다.

새로운 전자 상거래에 대한 A/B 테스트 프로세스 에서 시작하는 것이 조직에서 테스트 문화를 만드는 가장 좋은 점입니다.

삽화를위한 프롬프트 : 6 각 항목에 아이콘이있는 6 개의 체크리스트 이미지 (제 1 조 : 양궁, 제 2 조 : Labox, 제 3 조 : 도구 상자, 제 4 조 : 서탄 세트/디자인 도구, 제 5 조 : 시계/캘린더, 제 6 조

사람들이 A/B 및 Multivarlate 테스트에 대해 궁금해하는 경향이 있습니다 (FAQ).

나는 종종 발생하는 인기있는 질문을 편집했습니다. 명확한 대답과 이해하기 쉬운

Q1 : 웹 사이트에 도달하려면 트래픽이 얼마나 있어야합니까?
A : 고정 번호가 없습니다. 그러나 현재 전환율과 기대 결과의 크기에 따라 다릅니다. 그러나 일반적인 원칙은 트래픽을 작은 부품으로 나누어야하기 때문에 A/B 테스트보다 훨씬 더 많은 트래픽이 필요하다는 것 충분한 정보를 수신하기 위해 각 버전마다 많은 버전이 있습니다. 웹 사이트에 트래픽이 매우 높은 경우 A/B 테스트부터 시작하는 것이 더 쉽습니다.

Q2 : 테스트를 얼마나 오래 실행해야합니까?
A : 중요한 것은 "일의 수"가 아니라 "통계적 유의성"이며, 결과는 95% 또는 수준에서 신뢰할 수 있음을 알려줄 것입니다.

Q3 : A/B 테스트와 MVT 사이는 무엇입니까? "더 나은"?
A : 더 나은 것이 없습니다. "어떤 스크루 드라이버와 스크루 드라이버가 더 낫습니까?"라고 묻는 것과 같습니다. 그것은 당신이하고 싶은 "일"에 달려 있습니다. 못을 박 으려면 (큰 변화에서 명확한 승자를 찾고 있다면) 망치 (A/B 테스트)를 사용해야하지만 나사를 조이려면 (작은 조합 세트를 찾기 위해 작은 요소를 조정) 드라이버 드라이버 (MVT)를 사용해야합니다.

Q4 : 그 결과가 "승자 없음"(불분명)이 나오면 어떻게해야합니까?
A : 이것은 귀중한 교훈입니다! 이런 종류의 결과는 "우리가 변화하는 것이 사용자의 행동에 전혀 영향을 미치지 않는다"고 말합니다. 이것은 새로운 버전으로 추측하고 전환하는 것보다 낫습니다. 해야 할 일은 이전과 "용감한"과 "다른"이라는 새로운 가정으로 돌아가서 다시 테스트를 시작하는 것입니다. 또는 원래 요소가 이미 좋다고 결론을 내리고 대신 테스트하기 위해 다른 지점으로 이동하십시오.

삽화를위한 프롬프트 : 사람들이 질문을하고 있습니다. Q1, Q2, Q3, Q4라는 단어가있는 텍스트 상자와 짧은 답변을 쉽게 이해하기 쉽습니다.