AI로 글은 좋아졌는데 내 실력도 늘까? 구글 3개월 연구가 나눠 본 두 성적

AI가 고친 글의 완성도와, 내가 혼자 판단하는 실력은 따로 봐야 합니다. 구글이 10월 7일 소개한 미국 특허 변호사 연구에서는 AI 도움을 받은 글의 점수가 높아졌지만, 3개월 뒤 AI 없이 오류를 고치는 시험의 평균 이득은 경력자에게 집중됐습니다. 초보 집단의 평균 이득이 없었다는 결과를 ‘AI를 쓰면 누구나 멍청해진다’로 바꿀 수는 없습니다. 구글의 새 연구 해설 · NBER 연구 원문

한국과학영재학교의 2026년 학생 설문에도 AI를 쓰며 역량이 늘었는지, 의존하게 됐는지 묻는 질문과 고민이 실려 있습니다. 학생들이 직접 제기한 질문에 이번 연구를 연결해 읽어 보겠습니다. 한국 학생을 대상으로 한 실험은 아니며, 2026년 10월 10일 확인한 연구 해설입니다. 한국 계정의 새 기능 출시나 특정 AI 구독 추천 기사도 아닙니다.

좋은 결과물을 만든 시험과, 혼자 오류를 찾는 시험

실험은 미국 지식재산 법률회사 11곳의 현직 변호사 133명을 무작위 배정했습니다. 최종 오류 수정 과제를 완료한 사람은 91명으로, 처음 배정된 사람 모두가 최종 시험에 참여한 것은 아닙니다. 회사 안에서 무작위로 나눈 약 3분의 2는 당시 미공개였던 구글의 특허 작성 AI를 이용했고, 나머지는 교육을 받은 뒤 연구 기간에는 그 도구를 쓰지 않았습니다. 참여자들이 실제 업무에 AI를 쓰는 3개월 동안, 연구팀은 별도의 가상 발명 자료로 글쓰기 과제도 냈습니다. 논문의 연구 설계

10일과 90일째 작성 과제에는 AI 도움을 받을 수 있었습니다. 90일째 추가한 오류 수정 과제에서는 모든 참여자가 AI를 쓸 수 없었습니다. 기존 특허 출원 문서의 잘못된 내용을 직접 표시하고 고치는 시험입니다. 제출한 결과를 전문가가 집단 배정을 모르는 상태에서 평가했습니다. 같은 ‘성능 향상’이라는 말 아래에 서로 다른 시험이 놓여 있습니다.

0.38은 실력이 38% 늘었다는 뜻이 아닙니다

AI 접근 집단의 작성 점수는 비교 집단보다 10일째 0.34, 90일째 0.38 표준편차 높았습니다. AI 없는 오류 수정에서는 전체 차이가 0.32, 경력 7년 이상 집단은 0.45 표준편차였습니다. 표준편차는 점수 분포를 기준으로 차이를 표현한 단위여서 38%의 능력 상승이나 정답률 38%로 읽으면 안 됩니다. 연구 초록의 결과

초보자의 평균이 그대로라고 모두 같은 일이 생긴 것은 아닙니다

연구팀이 주목한 것은 초보 집단 내부의 분포였습니다. AI를 경험한 집단에서는 중간 아래 점수가 줄어드는 동시에 좋은 점수와 낮은 점수가 모두 늘었습니다. 누군가에게는 학습의 발판이 되고, 누군가에게는 부족한 부분을 가려 주는 역할을 했을 가능성이 있다는 해석입니다. 평균 하나로 모든 참여자의 변화를 설명할 수 없습니다. 분포와 경력별 차이에 대한 해설

작성 점수가 개선됐다고 최상급 결과물이 더 많아진 것도 아니었습니다. 구글은 낮은 점수가 줄고 중간대·좋은 점수가 늘었지만, 탁월한 점수의 빈도에서는 뚜렷한 변화가 없었다고 설명합니다. AI가 바닥을 끌어올리는 효과와 최고 수준의 판단을 만드는 효과도 나눠 읽을 대목입니다.

한국 학생의 사고력 저하나 AI 전체의 결론은 아닙니다

이 연구는 NBER 워킹페이퍼입니다. 표지에는 토론을 위해 배포하는 문서이며 동료 심사를 거치지 않았다고 적혀 있습니다. 9월에 나온 뒤 10월에 개정됐고, 구글의 새 해설은 10월 7일 공개됐습니다. ‘10월에 모든 AI의 위험이 입증됐다’는 발표가 아닙니다. 공개 전문과 문서의 성격

표본은 특정 미국 전문직이며 관찰 기간은 3개월입니다. 최종 시험까지의 표본 탈락도 있어 결과의 적용 범위를 넓힐 때 주의해야 합니다. 참여 회사들은 구글과 비독점적 업무 관계가 있고, 실험의 직접 비용은 구글이 지원했습니다. 여러 공동 저자는 구글 직원 또는 유급 계약 관계를 공개했습니다. 이 조건을 알고 결과를 보되, 지원 사실만으로 실험을 무효라 하거나 한국 직장인·학생에게 같은 수치를 적용하지 않겠습니다. 연구 지원과 이해관계 공개

내가 배우고 있는지는, AI를 잠깐 치운 뒤 확인해 보세요

편집팀의 제안은 AI를 금지하는 것이 아니라 결과물 검사와 학습 검사를 나눠 보는 것입니다. AI가 수정한 문장을 받았다면 왜 수정했는지 스스로 설명해 보고, 다음에 비슷한 짧은 글을 도구 없이 고쳐 보는 방식입니다. 이 습관의 효과를 이번 연구가 직접 시험한 것은 아니므로 검증된 교육 처방으로 제시하지 않습니다.

보고서가 빨리 끝난 것과, 다음 보고서에서 같은 오류를 알아볼 수 있는 것은 다른 질문입니다. 법률 문서의 점수를 내 업무에 그대로 옮길 수는 없어도, 무엇을 측정해야 하는가는 참고할 수 있습니다. 실제 학교 설문에서도 빠른 해결과 진위 검토, 스스로 생각할 시간의 문제가 함께 나옵니다. 한국 학생들의 실제 고민 · 챗GPT 공부 기능의 이용 범위를 다룬 관련 기사

어떤 자료를 대조했고, 무엇이 미확인인가

NBER 공개 전문 48쪽·초록·지원 공개와 구글 연구자의 해설을 대조했습니다. AI.info의 10월 7일 보도와 Kaleido Field의 10월 8일 보도도 확인했습니다. 두 보도는 같은 연구를 설명하는 자료이며 독립적인 성능 재현 두 건으로 세지 않습니다.

이번 자료만으로 한국어 사용자의 학습 효과, 현행 ChatGPT·Claude·Gemini 사이의 우열, 특정 구독료의 가치, 장기간의 경력 성장까지 알 수 없습니다. 연구 도구가 현재 Gemini Notebook의 일부라는 설명도 일반 한국 계정의 정확한 기능·가격·공개 범위를 입증하지 않습니다. 편집팀의 직접 실험은 없으며, 근거 확인일은 2026년 10월 10일입니다. 편집팀과 검수 방법