“아까도 물어봤는데 똑같이 말했어. 그럼 맞는 거 아니야?” 아이가 AI 답을 다시 확인하려 했다는 건 반가운 일이에요. 다만 같은 답을 여러 번 받았다는 사실과 그 답을 뒷받침하는 자료를 찾았다는 사실은 따로 봐야 해요.

초등·중학생의 AI 활용을 함께 고민하는 AI키즈랩에서는 부모가 이렇게 질문을 이어가길 제안해요. “세 번 확인하려고 했구나. 이번에는 답이 나온 횟수 말고, 그 말을 확인할 수 있는 자료를 찾아볼까?” 반복해서 묻는 습관에 원문을 살피는 한 번을 더하는 거예요.

​

같은 답이 반복돼도, 새로운 근거가 생긴 것은 아니에요

AI가 한 번은 길게, 다음에는 짧게 설명했더라도 핵심 주장과 근거가 같다면 새로운 사실을 확인한 것은 아닐 수 있어요. “다시 생각해도 맞아”라는 문장도 그 자체로는 검증 결과가 아니고요.

언어 모델은 학습한 패턴과 주어진 맥락을 바탕으로 문장을 생성해요. 이 과정에서 맞는 답을 만들기도 하지만 사실과 다른 답이나 그럴듯한 이유를 만들 수도 있어요. 자신 있는 표현이나 자세한 설명만으로 정확성을 판단하기 어려운 이유예요. NIST의 생성형 AI 위험관리 문서는 이러한 현상을 confabulation(그럴듯하지만 틀린 내용 생성) 위험으로 설명합니다. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf

여기서 부모가 나눠볼 것은 두 가지예요. ‘답이 서로 일치하는가’와 ‘그 답이 실제 자료와 맞는가’예요. 같은 답을 세 번 받으면 일치 여부는 볼 수 있어요. 그러나 원래 자료나 관찰 결과와 맞는지는 다른 확인이 필요하죠.

답이 바뀌었을 때도 마지막 답을 무조건 고를 필요는 없어요. 무엇이 바뀌었는지 표시하면 돼요. 날짜가 달라졌는지, 대상이 바뀌었는지, 설명 없이 결론만 뒤집혔는지 살펴보면 다음에 확인할 질문이 작아져요.

여러 답을 모아 정확도가 높아진 연구도 있어요

그렇다고 AI 답을 여러 개 받는 일이 언제나 쓸모없다는 뜻은 아니에요. 여러 풀이를 생성한 뒤 자주 나온 답을 고르는 ‘자기 일관성’, 영어로는 self-consistency라는 방법이 연구됐어요.

Wang과 동료들이 ICLR 2023에서 발표한 연구는 당시 언어 모델에 다양한 풀이를 생성하게 하고 최종 답을 모아 골랐어요. 연구에서 사용한 산술·상식 추론 평가에서는 한 가지 풀이만 고르는 방식보다 정확도가 높아졌어요. https://arxiv.org/html/2203.11171v4

이 결과를 “채팅창에서 세 번 물으면 사실 확인이 끝난다”로 옮길 수는 없어요. 연구는 정해진 문제, 생성 방식, 답을 모으는 절차를 갖춘 모델 평가예요. 아이가 같은 대화에서 “정말이야?”를 반복하는 상황이나 오늘의 행사 날짜를 확인하는 상황과는 조건이 달라요. 어린이의 학습 효과를 측정한 연구도 아니고요.

부모가 가져갈 기준은 간단해요. 여러 답은 검토할 후보를 늘리는 데 쓸 수 있어요. 최종 답으로 채택할 때는 그 주장에 맞는 자료나 계산, 직접 확인한 사실과 연결해야 해요.

다른 AI도 같은 말을 하면, 어디를 보고 답했는지 살펴봐요

다른 앱 두 개가 같은 답을 주면 조금 더 안심될 수 있어요. 서로 다른 설명을 비교하다가 빠진 조건을 발견할 수도 있고요. 다만 앱 이름이 다르다는 이유만으로 각각 독립된 자료를 확인했다고 셀 수는 없어요.

예를 들어 두 답에 붙은 링크를 열었는데 모두 같은 행사 안내문을 가리킨다고 해볼게요. 이때 확인할 원자료는 두 개가 아니라 하나예요. 그 안내문에 날짜가 명확히 적혀 있다면 충분히 도움이 되지만 “두 AI가 말했으니 두 곳에서 확인했다”고 기록하면 확인 과정을 잘못 이해하게 돼요.

링크가 서로 달라도 한 페이지가 다른 페이지를 옮겨 쓴 것이라면 원래 정보를 만든 곳까지 따라가 보세요. 문서가 실제로 열리는지, 누가 작성했는지, 질문에 해당하는 날짜와 대상인지도 함께 봐요. 자료의 개수보다 그 자료가 어떤 주장을 직접 뒷받침하는지가 먼저예요.

AI가 출처를 써줬다고 이 단계가 끝나는 것도 아니에요. 생성된 답에는 존재하지 않거나 설명과 맞지 않는 인용이 포함될 수 있어요. 문서 제목과 링크를 받은 뒤에는 사람이 원문을 열어 해당 내용을 확인해야 해요.

종이 세 장으로 ‘답의 수’와 ‘근거’를 비교해보세요

주말에 아이와 해볼 수 있는 짧은 대화 활동이에요. 종이 세 장과 연필, 금성에 관한 자료 하나를 준비하면 돼요. AI에 접속하지 않아도 할 수 있어요.

아래 문장은 판단 연습을 위해 만든 가상의 답 카드예요. 실제 AI를 실행해서 받은 답이나 특정 서비스의 오류 사례는 아니에요. 이 활동 자체의 학습 효과를 검증한 연구도 없어요.

먼저, 두 장에 적힌 말과 한 장에 적힌 말을 비교해요

종이에 각각 다음 문장을 적어주세요.

카드 A: “태양계에서 가장 뜨거운 행성은 수성이야. 태양에 가장 가까우니까.”

카드 B: “가장 뜨거운 행성은 수성이야. 태양과 가깝다는 점을 보면 알 수 있어.”

카드 C: “가장 뜨거운 행성은 금성이야. 두꺼운 대기의 온실효과가 관련돼 있어.”

아이에게 “어느 답을 고르고 싶어? 지금 가진 이유는 뭐야?”라고 물어요. 수성이 두 번 나왔다고 고를 수도 있고 이미 배운 내용을 떠올려 금성을 고를 수도 있어요. 처음 선택을 바로 채점하지 말고 이유를 한 줄만 적어요.

이어서 A와 B에서 새로운 정보가 생겼는지 살펴보세요. 말은 조금 다르지만 두 카드 모두 ‘태양에 더 가까우니 더 뜨겁다’는 같은 설명에 기대고 있어요. 같은 말을 두 번 읽은 것과 다른 근거를 찾은 것은 여기서도 다르죠.

자료를 읽은 뒤에는 정답 옆에 이유를 붙여요

NASA의 금성 설명이나 아이가 읽을 수 있는 과학책의 해당 부분을 함께 봐요. 금성은 태양계에서 가장 뜨거운 행성이며 두꺼운 대기가 열을 가두는 온실효과가 관련돼 있어요. 태양과의 거리만으로 행성의 표면 온도를 판단할 수는 없어요. https://science.nasa.gov/venus/venus-facts/

NASA 페이지가 영어라면 부모가 ‘Introduction’ 부분을 함께 읽고 뜻을 풀어줘도 좋아요. 위 한국어 설명은 그 내용을 짧게 풀어 쓴 것이에요. 아이에게 영문을 모두 번역하게 할 필요는 없어요.

이제 처음 적은 이유 옆에 새 이유를 적어요. “금성이 한 표라서 골랐다” 대신 “금성의 대기가 열을 가둔다는 설명을 자료에서 확인했다”처럼요. 이미 금성을 골랐던 아이도 자신이 어디에서 알게 됐는지, 이번 자료가 무엇을 더 설명해줬는지 말할 수 있어요.

이 활동의 결론은 적게 나온 답을 고르라는 뜻이 아니에요. 다수의 답이 맞을 때도 있어요. 답을 고른 이유가 횟수에서 확인 가능한 내용으로 옮겨갔는지를 보려는 거예요.

다른 문제에서는 어떤 자료가 필요한지 정해봐요

마지막에는 “그럼 도서관의 이번 토요일 운영시간은 무엇으로 확인할까?”라고 물어보세요. 행성에 관한 과학 설명과 도서관의 특정 날짜 운영시간은 필요한 자료가 달라요. 도서관의 현재 운영 안내와 휴관 공지처럼 그 일을 담당하는 곳의 정보를 살펴야 하죠.

AI를 다시 몇 번 부를지보다 어디로 가야 확인할 수 있는지 말하게 해보세요. “과학책”, “도서관 공지”, “직접 계산”처럼 주장에 맞는 확인 방법이 나오면 대화를 이어갈 수 있어요.

다시 물을 때는, 답보다 확인할 대상을 좁혀요

실제 AI 대화에서도 매번 긴 답 전체를 검사할 필요는 없어요. 숙제나 발표에 사용할 핵심 문장 하나를 고른 뒤, 그 안에서 확인해야 할 내용을 찾아요. 숫자, 날짜, 사람 이름, 원인 설명처럼 틀리면 글의 뜻이 달라지는 부분부터 보면 돼요.

아이가 “세 번 다 같은 답이 나왔어”라고 하면 부모는 “그 답에서 우리가 직접 확인할 수 있는 부분은 뭐야?”라고 물어보세요. “셋 중 하나만 다르게 말했어”라고 하면 “어느 부분이 다른지 표시해볼까?”로 이어가면 되고요.

아직 믿을 만한 자료를 찾지 못했다면 종이에 ‘확인 전’이라고 남겨도 괜찮아요. 맞는지 모르는 문장을 억지로 확정하지 않고, 교과서나 선생님에게 확인할 질문으로 바꿔두는 것도 아이가 할 수 있는 판단이에요.

부모가 관찰할 것은 가장 빨리 정답을 말하는 모습만은 아니에요. “같은 답이 또 나왔어”에서 “이 문장은 여기에서 확인했어”로 설명이 달라지는지 들어보세요. AI와 대화를 여러 번 했다는 기록보다, 자기 판단을 받쳐주는 자료 한 곳을 짚을 수 있는지가 더 잘 보일 거예요.

참고자료

NIST. (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, §2.2 Confabulation. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf

Wang, X. 외. (2023). Self-Consistency Improves Chain of Thought Reasoning in Language Models. ICLR 2023. https://arxiv.org/html/2203.11171v4

NASA Science. Venus Facts. https://science.nasa.gov/venus/venus-facts/