생성형 AI를 사용하면서 불편한 점은 환각현상인데요.
환각 현상?
환각(Hallucination)은 생성형 AI 모델이 학습 데이터에 없는 내용을 마치 사실인 것처럼 그럴싸하게 만들어내는 현상을 말합니다. 문법적으로는 완벽하고 논리적으로도 타당해 보이기 때문에 사용자가 쉽게 속을 수 있습니다.
AI는 ‘지식’을 이해하는 것이 아니라, 다음에 올 확률이 가장 높은 단어를 예측하는 방식으로 작동하기 때문에 데이터의 공백이나 모순이 생길 때 발생합니다.
즉 학습 데이터가 부족하거나, 추론 과정의 오류, 문맥 이해의 한계, 최신 정보가 없는 경우 이런 환각현상이 더 많이 발생합니다.
환각 현상을 줄이는 5가지 실전 방법
사용자가 질문(프롬프트)을 어떻게 하느냐에 따라 환각 현상을 크게 줄일 수 있습니다.
① ‘페르소나’와 ‘맥락’ 지정하기
AI에게 명확한 역할을 부여하고 배경 정보를 제공하세요.
예시 – “너는 10년 차 IT 전문 기자야. 다음 보도자료를 요약해 줘.”
② 단계별 사고 유도 (Chain of Thought)
결론만 묻지 말고 계산 과정이나 추론 과정을 보여달라고 요청하세요. 스스로 논리를 검증하게 하면 오류가 줄어듭니다.
문구 – “이 문제를 단계별로 생각해서 천천히 설명해 줘.”
③ 출처 및 근거 요청
주장의 출처를 명시하라고 명령하면 AI가 무리한 추측을 하는 것을 방지할 수 있습니다.
문구 – “답변 시 반드시 검증 가능한 공식 문서나 출처를 기반으로 작성해 줘.”
④ 모르는 것은 “모른다”고 말하게 하기
AI는 기본적으로 사용자에게 답변을 제공하려는 성질이 있습니다. 이를 억제하는 옵션을 주어야 합니다.
문구 – “확실하지 않거나 근거가 없는 내용이라면 ‘확인 불가’ 또는 ‘모름’이라고 명확히 답변해 줘.”
⑤ 제약 조건 설정 (Few-shot Prompting)
원하는 답변의 예시를 미리 보여주거나, 특정 형식을 강제하면 엉뚱한 대답을 할 확률이 낮아집니다.
그리고 이러한 것을 제미나이의 경우 설정 – 개인별 컨텍스트에서 위의 프롬프트를 미리 설정할 수 있습니다.
예를 들어 아래처럼 Gemini 요청 사항에 사실 말하고, 출처 공개하라, 모르면 모른다고 이야기해라 등의 프롬프트를 미리 설정해서 환각현상을 최소화 할 수 있습니다.
AI 답변의 신뢰도를 높이기 위해 사용자가 직접 체크해야 할 3가지 요소입니다.
- 사실 확인(Fact-Check) – 중요한 정보는 반드시 교차 검증을 거칩니다.
- 출처 확인 – 언급된 링크나 기관명이 실제로 존재하는지 확인합니다.
- 추론의 투명성 – 답변 도출 과정에서 논리적 비약이 없는지 살핍니다.
그럼 모두 환각 현상에서 벗어나 AI를 잘 활용해보시기 바랍니다.
