아무것도 안 바꿔도
AI 답변은 매번 달라져요

어떤 실험을 했나요?

2026년 10월 30일, 회사 세 곳을 골랐어요. 모두 회사에서 쓰는 소프트웨어를 파는 곳이고, 실험하는 동안 홈페이지를 바꾸지 않았어요. 두 곳은 한국어로, 한 곳은 영어로 물었어요.

회사마다 손님이 물어볼 만한 질문을 8개씩 만들었어요. “작은 팀이 쓰기 좋은 프로그램 뭐야?”처럼 회사 이름이 없는 질문 5개와, 회사 이름이 들어간 질문 3개예요.

질문마다 AI 네 곳(ChatGPT를 만든 OpenAI, 구글 Gemini, Claude, Perplexity)에 두 번씩 물었어요. 그리고 30분 안에 이 일을 세 번 되풀이했어요. 그사이에 바뀐 건 아무것도 없어요.

그다음 답변끼리 비교했어요. 한 번은 회사 이름을 말하고 다음번엔 말하지 않았다면, 이걸 “뒤집혔다”고 불러요.

결과는 어땠나요?

회사 이름이 없는 질문에서는 답변 10개 중 1개꼴(11%)이 뒤집혔어요. 한 번은 회사 이름을 말하고, 다음번엔 말하지 않은 거예요. 회사 홈페이지 링크는 더 자주 바뀌어서 5개 중 1개꼴(20%)이었어요.

AI가 참고한 사이트도 매번 달랐어요. 두 번 물었을 때 같은 사이트를 다시 참고한 건 44%뿐이었어요. 절반 넘게 바뀐 셈이에요.

회사 이름을 넣어서 물으면 AI는 매번 그 회사를 말했어요. 그래도 홈페이지 링크는 10번 중 1번꼴로 바뀌었어요.

AI마다 달랐어요. Claude와 OpenAI가 가장 많이 흔들렸고, Gemini가 가장 꾸준했어요.

AI	회사 이름	홈페이지 링크
Claude	16%	22%
OpenAI	16%	18%
Perplexity	7%	기록 안 됨
Gemini	4%	20%
전체	11%	20%

— 이번에는 Perplexity가 참고한 사이트가 기록되지 않았어요. “전체”의 링크 숫자는 나머지 AI 세 곳의 답변 270개로 셌어요.

그래서 무엇을 알 수 있나요?

AI에게 한 번 물어본 답은 주사위를 한 번 던진 것과 비슷해요. 우리 회사가 안 나와서 홈페이지를 고친 뒤 다시 물었더니 나왔다고 해 봐요. 고쳐서 나온 건지, 그냥 운이 좋았던 건지 알 수 없어요.

그래서 한 번이 아니라 여러 번 봐야 해요. 두 번 물어서 두 번 다 같을 때만 “바뀌었다”고 세었더니, 헷갈리는 경우가 2%로 확 줄었어요. FwdLink는 이렇게 확인한 뒤에 변화를 알려 드려요. 며칠마다가 아니라 한 달에 한 번, 그리고 홈페이지를 고친 지 2주와 4주 뒤에 다시 보는 것도 같은 이유예요.

이번 세 회사는 이미 꽤 알려져 있어서 AI가 10번 중 9번쯤 이름을 말해요. 덜 알려진 회사라면 더 많이 흔들릴 수 있어요.

다음에는 11월 말까지 매주 같은 질문을 다시 물어서, 무엇이 달라지는지 알려 드릴게요.

한 번만 보기: 홈페이지 링크	20%
한 번만 보기: 회사 이름	11%
두 번 다 같을 때만 (FwdLink 방식)	2%

아무것도 바꾸지 않았는데 결과가 달라진 비율이에요.

측정 방법 전체 글