아이가 긴 글을 AI로 요약한 뒤 “다 읽었어”라고 말할 때가 있어요. 초등·중학생 AI 교육을 만드는 AI키즈랩에서 권하는 확인은, 요약을 다시 외우게 하는 대신 원문 속 조건 하나를 찾아보는 거예요. 누구에게, 언제, 어떤 경우에 해당하는 말인지 설명할 수 있는지 들어보면 다음에 함께 읽을 부분이 보이거든요.

짧은 글로 전체 내용을 먼저 파악하는 것은 읽기의 출발점이 될 수 있어요. 다만 요약의 문장이 자연스럽고 주제도 맞는다고 해서 원문이 말한 범위까지 그대로 남아 있는 것은 아니에요. 낯선 단어가 사라져 쉬워진 것인지, 판단에 필요한 조건까지 빠져 쉬워 보이는 것인지를 살펴야 해요.

요약은 문장을 줄이는 동시에, 무엇을 남길지 고르는 일이에요

긴 글에는 중심 주장뿐 아니라 그 주장이 성립하는 조건, 예외, 반대 근거, 아직 모르는 부분이 함께 들어 있어요. 요약에서는 일부 내용을 덜어낼 수밖에 없죠. 그래서 문장이 빠졌다는 사실만으로 잘못된 요약이라고 판단하지는 않아요.

문제는 빠진 내용 때문에 독자가 다른 결론을 내리는 경우예요. “일부 학생에게 도움이 됐다”가 “학생에게 도움이 된다”로 바뀌면 문장은 짧아지지만 적용 대상은 넓어져요. “다음 달부터 시범 운영한다”에서 ‘시범’이 사라지면 이미 정착된 제도처럼 받아들일 수도 있고요.

부모가 볼 것은 요약의 길이보다 그 변화예요. 아이가 알아야 할 핵심을 남겼는지, 원문이 조심스럽게 말한 내용을 더 확실한 주장으로 바꾸지는 않았는지 살펴보는 거죠.

‘원문에 충실하다’와 ‘세상에서 사실이다’는 다른 확인이에요

원문에 적힌 내용을 정확히 옮겼는지 확인하는 것을 여기서는 ‘원문 충실성’이라고 부를게요. 원문 자체의 내용이 실제로도 맞는지 확인하는 일은 또 필요해요. 오래된 안내를 그대로 요약했다면 원문에는 충실해도 오늘 사용할 정보로는 맞지 않을 수 있거든요.

반대로 AI가 덧붙인 설명이 실제로 맞는 말이어도 원문에 없었다면, 어디까지가 원문의 내용인지 따로 표시해야 해요. 책이나 기사를 읽고 저자의 주장을 설명하는 과제에서는 이 경계가 특히 중요해요. 아이의 배경지식과 AI의 보충 설명이 저자의 말처럼 섞이면 무엇을 읽었는지 확인하기 어려워지니까요.

매끄러운 요약과 정확한 요약을 따로 살펴본 연구가 있어요

2020년 발표된 Maynez 등의 연구는 BBC 뉴스 기사와 한 문장 요약으로 구성된 XSum 자료를 사용해 여러 신경망 요약 시스템의 출력을 사람이 평가했어요. 연구진은 자연스럽게 읽히는 요약에도 원문이 뒷받침하지 않는 정보가 들어갈 수 있음을 확인했어요. 원문의 인물이나 관계를 잘못 조합한 경우와 원문 밖의 내용을 덧붙인 경우도 구별했어요. 논문 원문: https://aclanthology.org/2020.acl-main.173.pdf

이 연구는 당시의 영어 뉴스 요약 시스템을 평가한 것이에요. 현재 챗봇의 한국어 요약 정확도나 초등학생의 독해력 변화를 측정한 연구가 아니므로, 그 결과를 오늘 사용하는 도구의 오류율이나 아이의 학습 효과로 옮길 수는 없어요. 여기서 가져올 기준은 ‘읽기 편한가’와 ‘원문이 뒷받침하는가’를 따로 확인하자는 것이에요.

2024년 NIST의 생성형 AI 위험관리 자료도 입력과 어긋나거나 틀린 내용이 자신 있는 문장으로 제시되는 현상을 다뤄요. 언어모델은 문맥에 이어질 토큰을 예측하는 방식으로 문장을 만들기 때문에, 자연스러운 출력이 곧 사실 검증을 마친 답이라는 뜻은 아니에요. 이는 기술의 위험을 정리한 자료이며 특정 읽기 활동의 효과를 입증한 교육 실험은 아니에요. NIST 원문 2.2절: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf

‘누가 이용할 수 있는지’ 한 가지만 비교해도 차이가 보여요

아래는 원문과 요약을 비교하기 위해 새로 만든 가상 안내문이에요. 실제 도서관의 공지나 특정 AI 서비스의 실행 결과는 아니에요. 부모와 아이가 종이 한 장에 놓고 읽을 수 있도록 짧게 구성했어요.

먼저 원문에서 꼭 필요한 정보를 골라요

마을도서관은 다음 달 토요일 오후에 초등학생을 위한 과학 체험을 두 차례 시범 운영합니다. 회차마다 사전 신청한 12명이 참여할 수 있습니다. 시범 운영이 끝난 뒤 참여자 의견을 모아 계속 운영할지 결정합니다.

아이에게 “친구에게 이 체험을 소개하려면 무엇을 알려줘야 할까?”라고 물어보세요. ‘과학 체험을 한다’는 내용이 먼저 나올 수 있어요. 그다음 “친구가 신청하지 않고 바로 가도 될까?”라고 물으면 읽어야 할 자리가 좁혀져요.

이때부터 모든 조건을 찾아내는 시험으로 만들 필요는 없어요. 오늘 확인할 질문을 하나 정하면 돼요. ‘누구나 바로 갈 수 있을까?’라는 질문을 골랐다면 원문의 ‘사전 신청한 12명’이 중요한 정보가 돼요.

짧은 요약을 읽고, 같은 결정을 내리게 되는지 봐요

마을도서관은 토요일 오후에 초등학생을 위한 과학 체험을 운영합니다.

이 문장에는 도서관, 토요일 오후, 초등학생, 과학 체험이라는 중심 정보가 남아 있어요. 그렇지만 이것만 읽고 참여를 결정하기에는 부족해요. 언제 시작하는지, 신청이 필요한지, 정기 프로그램인지가 드러나지 않거든요.

“이 요약이 틀렸어?”라고 바로 묻기보다 “이것만 읽은 친구는 무엇을 더 알아봐야 할까?”라고 물어보세요. 아이가 “신청해야 하는지 물어봐야 해”라고 답했다면, 원문의 조건과 실제 행동을 연결한 거예요.

이 요약을 ‘도서관에서 무엇을 하는가’만 간단히 소개하는 문장으로 쓴다면 쓸모가 있어요. 반면 친구에게 참여 방법을 안내하려는 목적이라면 신청 조건을 남겨야 하죠. 좋은 요약의 기준에는 원문 충실성뿐 아니라 무엇을 위해 읽는가도 들어가요.

빠진 정보를 모두 붙이지 말고, 목적에 맞게 고쳐요

아이에게 “친구가 참여할 수 있는지 판단하도록 한 문장만 보태볼까?”라고 제안해요. 아이가 ‘신청한 사람만 갈 수 있다’고 말하면 그 말을 먼저 적어주세요. 그 뒤 원문으로 돌아가 인원과 일정까지 필요한지 함께 결정하면 돼요.

예를 들어 “다음 달 토요일 오후 두 차례 열리는 시범 체험이며, 회차마다 미리 신청한 12명이 참여할 수 있다”라고 고칠 수 있어요. 이것은 이 글에서 작성한 수정 예시예요. 아이가 같은 문장으로 답할 필요는 없어요.

계속 운영할지까지 친구가 궁금해한다면 마지막 문장의 ‘참여자 의견을 모아 결정한다’도 남겨야 해요. 남길 정보가 많아 한 문장이 복잡해지면 두 문장으로 써도 괜찮아요. 정해진 줄 수를 지키느라 참여 조건을 버리는 것보다 목적에 맞게 길이를 조정하는 편이 낫겠죠.

AI가 만든 실제 요약도 원문 옆에 놓고 읽어요

AI를 사용할 때는 부모가 먼저 서비스의 현재 이용 연령과 보호자 조건을 확인하고 그 범위에 맞게 함께 진행해요. 시작 자료는 위 가상 안내문처럼 짧고 개인정보가 없는 글이면 충분해요. 학교 알림장 전체나 친구의 글을 보내지 않아도 연습할 수 있어요.

요약이 나오면 새 대화를 계속 이어가기 전에 원문과 나란히 두세요. 아이가 처음 골랐던 질문에 답하는 부분을 각각 찾아보면 돼요. ‘신청 없이 갈 수 있나’를 골랐다면 원문에는 답이 있는데 요약에는 없는지, 혹은 요약이 다른 답을 주는지 확인해요.

원문에 없는 말과, 원문에서 빠진 말을 다르게 표시해요

요약에 ‘매주 열린다’는 표현이 새로 생겼다면 원문이 그 말을 뒷받침하는지 찾아요. 원문에는 ‘두 차례’만 있으므로 정기 운영이라고 확정할 수 없어요. 이때는 원문에 없는 내용을 덧붙인 문제예요.

반면 요약에 신청 조건이 아예 없다면, 참여 안내라는 목적에서 필요한 내용이 빠진 문제예요. 모든 생략을 환각이라고 부를 필요는 없어요. 무엇이 잘못됐는지 알아야 아이도 ‘이 표현은 지우자’와 ‘이 조건은 보태자’를 다르게 선택할 수 있거든요.

종이에는 ‘덧붙인 말’과 ‘빠진 조건’을 적을 자리만 마련해요. 둘 중 하나가 비어 있어도 괜찮아요. 오류를 반드시 찾아내는 활동이 아니라, 확인한 것과 확인하지 못한 것을 표시하는 활동이에요.

AI가 근거 문장을 붙여도 원문에서 다시 찾아요

요약 옆에 원문 문장을 함께 보여달라고 요청하면 비교할 위치를 찾는 데 도움이 될 수 있어요. 다만 따옴표와 문장 번호가 붙어 있다는 이유만으로 검증이 끝나지는 않아요. 그 문장이 원문에 실제로 있는지, 앞뒤 조건을 떼어내지는 않았는지 직접 대조해야 해요.

또 다른 AI에게 같은 요약을 확인시키는 방법만으로 마무리하지도 않아요. 아이가 볼 최종 기준은 여러 AI의 동의가 아니라 지금 읽는 원문이에요. 원문 자체가 믿을 만한지 의문이 생기면 작성 기관과 날짜를 확인하고, 판단에 필요한 다른 자료를 찾아보는 단계로 넘어가요.

부모가 관찰할 것은, 원문으로 돌아가는 이유를 말하는지예요

이 활동은 독해력 향상을 검증한 프로그램이 아니라 부모와 아이가 요약을 살펴보기 위한 교육 제안이에요. 한 번 잘했다고 읽기 실력이 늘었다고 판단하거나, 조건을 놓쳤다고 AI에 의존한다고 평가할 필요는 없어요.

대신 아이가 어느 부분에서 다시 읽으려 하는지 들어보세요. “신청이 필요한지 모르겠어서 돌아갔어”, “두 번만 한다는데 매주 한다고 적혀 있어”처럼 이유를 말하면 다음 대화를 이어갈 수 있어요. 부모가 정답을 모두 알려주기 전에 그 문장을 찾은 과정을 들어보는 거죠.

원문이 너무 길거나 낯설다면 한 문단으로 줄이고 부모가 함께 읽어주세요. 읽기 부담을 덜기 위해 요약을 활용하는 아이에게 원문 전체를 혼자 다시 읽으라고 요구할 필요는 없어요. 지금 결정에 필요한 조건 하나를 찾아 그 뜻을 확인하는 데서 시작해도 돼요.

마지막에는 “이 요약만 읽고 움직였으면, 어떤 것을 놓칠 뻔했을까?”라고 물어보세요. 아이가 자기 말로 답하고 요약에 한 문장을 보탤 수 있다면, 오늘은 그 선택을 함께 읽어주면 충분해요.

참고자료

• Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). On Faithfulness and Factuality in Abstractive Summarization. ACL, 1906–1919. 학회 서지정보: https://aclanthology.org/2020.acl-main.173/ · 원문 PDF: https://aclanthology.org/2020.acl-main.173.pdf. 당시 영어 뉴스 요약 시스템의 충실성·사실성을 평가한 연구예요.
• NIST (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1, §2.2. 원문 PDF: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf. 생성형 AI의 잘못된 출력과 관련 위험을 정리한 기술 자료예요.

원문: AI Kids Lab https://aikidslab.com/blog/?idx=175115036&bmode=view