ABtest (김성구)

ABtest는 World App 미니앱으로 돌아가는 A/B 설문 마켓플레이스입니다. 두 시안 중 하나를 고르면 응답자는 USDC를 받고, 의뢰자는 봇 없는 데이터를 받습니다. 핵심은 응답자 전원이 World ID(홍채 생체인증)를 통과한 실제 인간이라는 점: 1인 1응답이 프로토콜 레벨에서 강제되므로 봇·중복·어뷰징 응답을 “필터링”하는 게 아니라 처음부터 불가능하게 만들었습니다. 온라인 패널 응답의 15~40%가 봇·사기로 추정되는 시장에서 사기 0% 표본을 구조적으로 보장한다는 겁니다.

출시 전 자기 앱 이름부터 자기 앱으로 검증했습니다. “스토어에서 어느 이름을 누르겠나”: ABtest 78% vs Which One 22% (검증된 인간 54명, 응답 시간 중앙값 5.4초). 리포트가 공개돼 있습니다. 출시 첫날 검증된 인간 52명이 252건을 답했습니다. 응답당 $0.50, 최소 100명, 시안 2개와 질문 하나면 24~48시간 내 리포트. 만든 사람은 김성구: 가상자산 세금 진단 TaxRay도 만들었습니다.

메이커로그가 이 항목의 진짜 내용입니다. 「제 해법이 틀렸다는 걸 댓글로 배웠습니다」. 너무 빠른 응답을 거르는 기준이 1.5초 고정이었는데, 이미지 라운드 중앙값이 4.5초, 텍스트 라운드가 11.7초라 같은 기준이 텍스트에선 헐거웠습니다. 해법으로 “백분위로 자르겠다”고 썼는데, 댓글을 받고 분포를 다시 뽑으니 하위 10% 지점이 두 라운드 모두 1.2~1.3초로 거의 같았습니다. 중앙값은 2.5배 차이인데 하단 꼬리는 붙어 있었던 겁니다. 그래서 기준을 “중앙값의 몇 %”로 바꾸고, 설문 사이에 섞어 둔 주의력 트랩(“A를 눌러주세요”)을 정답지 삼아 후보 기준을 채점했습니다: 중앙값의 30%가 가장 정확(거른 43건 중 트랩 실패 47%). “지난 글에서 문제 진단은 맞았고 해법은 틀렸습니다. 숫자를 공개하니 틀린 부분이 돌아왔습니다.”

이런 분께 맞아요

• 앱 아이콘·랜딩 카피·로고 시안 두 개를 놓고 팀 안에서 의견이 갈리는 메이커
• 온라인 패널 응답의 봇·중복 때문에 결과를 못 믿었던 마케터
• 100명에게 $50으로 24시간 안에 답을 받고 싶은 1인 개발자
• 응답 품질 필터를 숫자로 공개·수정하는 과정을 참고하려는 사람