출처 링크가 있어도 AI 답은 틀린다, 확인하는 네 단계

AI는 학습한 문장의 패턴을 바탕으로 답을 만든다. 그래서 그럴듯한 거짓 답을 내놓을 수 있다. 오류를 줄이려면 참고할 문서를 주고, 모르는 내용은 모른다고 답하도록 요청하는 것이 좋다. 중요한 사실은 답에 붙은 출처를 열어 사람이 다시 확인해야 한다.

AI는 왜 자신 있게 틀릴까

AI가 답을 만드는 과정은 익숙한 문장 흐름을 따라 빈칸을 채우는 일에 가깝다. 문맥에 잘 어울리는 말을 골라도 그 안의 날짜나 이름까지 맞는다는 보장은 없다. 문장이 자연스러운지와 내용이 사실인지는 따로 봐야 한다.

오픈AI의 연구는 드물게 등장하고 일정한 규칙이 없는 사실은 이런 학습만으로 맞히기 어렵다고 설명한다. 정답에만 점수를 주는 평가 방식도 영향을 줄 수 있다. 모르겠다고 밝히기보다 일단 답을 찍도록 유도한다는 뜻이다.

질문을 잘못 이해해 엉뚱한 답을 내놓기도 한다. 구글은 생성형 AI가 아직 알 수 없는 일에도 답할 수 있다고 안내한다. 단정적인 말투만 보고 AI가 근거를 충분히 갖췄다고 판단해서는 안 된다.

확인할 대상은 날짜와 숫자에 그치지 않는다. AI는 실제로 없는 인용문이나 연구, 출처를 만들어 낼 수 있다. 연구 제목과 발표 기관이 구체적으로 적혀 있어도 그 자료가 있는지부터 찾아봐야 한다.

정보가 오래됐거나 원문의 맥락을 놓친 답도 주의할 대상이다. 최신 정보를 물었다면 근거 문서가 언제 작성되거나 갱신됐는지 살펴보자. 특정 조건에서만 맞는 설명을 모든 경우에 해당하는 말로 바꿔 놓지 않았는지도 확인해야 한다.

업무 보고서나 남에게 전달할 글이라면 결론을 좌우하는 주장부터 검토하자. 날짜, 수치, 인용 내용 옆에 각각 어떤 문서가 근거인지 표시해 두면 좋다. 근거를 찾지 못한 부분은 확인된 사실과 따로 구분해 둔다.

오류를 줄이는 출발점은 AI가 답할 범위를 분명히 정하는 것이다. 확인하려는 문서를 주고, 그 문서에서 찾을 수 있는 내용으로만 답하도록 요청한다. 질문에서 검토까지 이어지는 순서는 다음과 같다.

참고할 문서를 정한다. 궁금한 내용과 함께 확인에 쓸 문서를 건넨다. 문서 밖의 내용을 덧붙이지 말라고 요청한다.
모르는 답을 허용한다. 문서에서 알 수 없는 내용은 알 수 없다고 밝히고, 추측을 사실처럼 쓰지 말라고 요청한다.
주장마다 근거를 붙이게 한다. 답의 핵심 내용이 문서의 어느 부분에 있는지 찾게 한다. 근거를 찾지 못한 주장은 답에서 빼도록 요청한다.
사람이 원문과 대조한다. 문서나 링크를 직접 열어 답과 실제 내용이 일치하는지 확인한다. 앞뒤 문장에 조건이나 예외가 있는지도 읽는다.

AI에게 주는 지시문인 프롬프트에는 이 네 가지 요구를 담으면 된다. 질문, 참고 문서, 답할 범위, 근거 표시 방식을 분명하게 적는 것이다. 앤트로픽도 주장마다 근거를 찾고 뒷받침되지 않는 주장은 거두게 하는 방법을 제시한다.

이 과정을 마쳤다고 답 전체가 검증된 것은 아니다. AI가 골라 준 근거가 정말 그 주장을 뒷받침하는지는 따로 확인해야 한다. 특히 다른 사람의 판단에 영향을 주는 내용이라면 마지막 대조를 생략하지 않는 것이 좋다.

검색이나 문서 연결 기능은 답의 근거를 살펴보게 돕는다. 다만 서비스마다 출처를 보여주는 방식이 다르다. 2026년 9월 기준 ChatGPT, Claude, Gemini의 출처 표시 기능은 다음과 같다.

서비스	출처를 볼 수 있는 방식	구분해서 볼 점
ChatGPT	검색과 심층 조사 기능에서 출처를 제시할 수 있다.	출처를 열어 중요한 사실을 다시 확인한다.
Claude	웹 검색 답변에 출처 링크를 붙인다.	개발자가 넣은 문서의 특정 부분을 가리키는 인용 기능도 있다.
Gemini	출처가 있으면 답변 안이나 아래에 관련 링크를 보여준다.	모든 답변에 출처가 붙지는 않는다.

Claude의 문서 인용 기능은 개발자가 넣은 문서를 대상으로 한다. 웹 검색 답변의 링크 표시와 같은 기능으로 묶어 이해하지 않는 편이 좋다. 어느 서비스를 쓰든 출처 표시는 확인할 곳을 찾는 출발점으로 쓰자.

출처 링크가 붙어도 답은 틀릴 수 있다. 구글은 Gemini에 표시되는 관련 링크가 반드시 답을 만드는 데 쓰인 자료는 아니라고 안내한다. 링크가 보인다는 이유만으로 그 문서의 내용을 충실히 반영한 답이라고 단정할 수 없다.

링크를 열었다면 세 가지를 차례로 살피면 된다. 그 자료가 실제로 있는지, 답의 구체적인 주장을 뒷받침하는지, 빠진 맥락은 없는지다. 자료의 주제가 비슷한 것만으로는 충분하지 않다. 답에 나온 수치나 결론을 원문에서도 찾을 수 있어야 한다.

검색 기능을 켜거나 문서를 연결했다고 이 확인이 필요 없어지지는 않는다. 검색과 문서 연결은 답을 검토할 수 있게 만드는 수단일 뿐이다. 중요한 사실을 원문에서 확인하는 과정은 여전히 필요하다. 법률이나 의료처럼 전문 판단이 필요한 내용은 전문가에게 확인해야 한다.

AI의 답을 업무나 일상에 쓰기 전에는 다음 항목을 점검하자.

AI 답변을 확인하는 핵심은 문장의 자신감이 아니라 근거다. 출처 표시 기능을 쓸 때도 링크가 있는지만 보지 말고, 그 링크가 어느 주장을 뒷받침하는지 살펴보자. 질문할 때 근거를 요청하고, 쓸 때 원문과 대조하는 순서가 기준이 된다.