Specnote (AI 개발 결과 E2E 테스트 자동화)

Specnote는 AI가 개발한 내용을 사람이 확인한 뒤, 그 범위만 실제 브라우저에서 E2E(End-to-End) 테스트하는 자동화 도구입니다. 사이트 헤드라인이 “개발한 걸 모르면 테스트도 틀립니다”이고, 쓰던 AI 도구에 MCP 한 줄로 연결해 사용합니다.

문제 정의가 정확합니다

사이트에 이렇게 적혀 있습니다. “AI가 ‘테스트 통과’라고 해도 에러가 나는 건, 무엇을 개발했는지 모른 채 짠 테스트이기 때문입니다.” 바이브 코딩으로 개발 속도가 빨라지면서 생긴 새로운 문제를 짚습니다. AI가 코드를 짜고 AI가 테스트도 짜면, 잘못 이해한 요구사항을 잘못 이해한 채로 검증하게 됩니다. 통과해도 의미가 없습니다.

동작 흐름

1. 1. 개발한 내용을 확인: AI가 이번에 개발한 목록을 제출하고 사람이 확인
2. 2. 확인한 범위만 테스트: 실제 브라우저가 눌러보고 영상이 남음
3. 3. 결제·배송지 입력 같은 실제 사용자 흐름을 그대로 재현
4. 4. 통과 기준을 끈 항목은 알림이 오지 않음

사람이 개입하는 지점을 최소화한 설계

전부 자동화하면 위 문제가 되풀이되고, 사람이 다 확인하면 속도 이점이 사라집니다. Specnote는 “무엇을 개발했는가”라는 목록 확인 한 단계에만 사람을 넣습니다. 이 단계는 몇 초면 끝나지만 테스트의 방향을 결정합니다.

영상이 남는다는 점

실제 브라우저가 클릭하는 과정을 녹화합니다. 테스트가 실패했을 때 로그만 보고 원인을 찾는 것과, 화면이 어디서 멈췄는지 보는 것은 디버깅 비용이 다릅니다.

MCP로 연결하는 이유

별도 도구를 배우게 하지 않고 이미 쓰는 AI 도구(Claude Code·Cursor 등)에 붙입니다. 워크플로를 바꾸지 않아도 되는 것이 채택률을 좌우합니다.

AI 코딩과 함께 커지는 도구

AI 코딩이 확산되면서 “AI가 만든 것을 어떻게 믿을 것인가”가 새 문제로 떠올랐습니다. 도구가 만든 문제를 푸는 도구는 그 도구가 퍼질수록 함께 커집니다.

같은 결의 한국 AI 개발 도구

• 부스터 (Vooster AI)
• patina (AI 티 제거)
• 모두의 AI cowork-plugins
• 처음하는 바이브코딩 (무료 강의)
• 바이브코드.kr

그리고 브라우저 E2E 테스트는 느리고 잘 깨집니다. 화면 구조가 조금만 바뀌어도 실패하는 테스트가 쌓이면 결국 무시하게 되므로, 어디까지 자동화할지 선을 긋는 일이 도구 도입보다 먼저입니다.

이런 분께 맞아요

• AI로 개발하면서 검증이 불안한 개발자
• E2E 테스트를 도입하고 싶지만 작성 비용이 부담인 팀
• 바이브 코딩으로 만든 서비스를 운영하는 1인 메이커
• QA 자동화를 고민하는 스타트업