AI 글쓰기 감지 도구 - ChatGPT 영문교정 주의 사항

논문 유사도 검사를 위해 UNIST에서는 Turnitin을 사용합니다. 

 

Turnitin – UNIST Library

 

2023년 4월부터 AI 글쓰기 감지 기능이 추가되었습니다. 아직 학생 계정에서는 확인할 수 없는 듯 합니다. 

 

지금 ChatGPT로 영문교정을 거의 마친 논문을 검사했는데, AI 작성 비율이 논문 전체적으로 무려 32%가 나왔습니다. 아래 그림과 같이 하늘색으로 하이라이트된 문장이 AI가 작성한 문장이라는 결과입니다. 정말 그럴까요?

너무 이상해서 ChatGPT가 나오기 이전에 작성했던 동일한 논문의 2021년 버전을 검사헀더니 10%가 나왔습니다. AI가 없던 시절에 작성한 글도 AI가 썼다는 엉터리 결과입니다. 일단, AI 글쓰기 검사기 신뢰도가 높지 않다는 것을 확인했습니다.  

 

아래 그림은 위와 동일한 문단의 MS 워드 파일 변경내용 추적 화면입니다. 학생이 작성한 초안을 제가 많이 고친 후에 최종적으로 ChatGPT로 필요한 부분만 교정했습니다. 이 정도 분량의 수정은 제가 항상 하는 일이고, 영문교정업체에 의뢰한 것과 별반 다를 것 없는 수준입니다. AI를 이용해서 완전히 문장 전체를 생성한 것이 아닙니다.

 

 

AI 글쓰기 검사 도구인 GPTZero 결과입니다. 같은 문단인데 AI가 1% 작성했다는 결과가 나왔습니다. 

GPTZero | The Trusted AI Detector for ChatGPT, GPT-4, & More

 

다른 AI 글쓰기 검사 도구인 ZeroGPT  결과입니다. Turnitin과 마찬가지로 AI가 100% 작성했다는 결과가 나왔습니다. 

AI Detector - Trusted AI Checker for ChatGPT, GPT4 & Bard (zerogpt.com)

 

위와 같이 AI 글쓰기 검사기에 따라, 간단히 교정한 문장도 마치 AI가 100% 작성한 것처럼 결과를 내기도 하고, ChatGPT가 없던 시절에 작성한 문장도 AI로 작성했다고 하는 등 결과가 불안정합니다. 

 

결론적으로, 특정 AI 글쓰기 검사기 결과만으로 논문을 AI가 쓴 것인지, 단순히 영문 교정만 한 것인지 현재로서는 정확히 판단하기 어렵습니다. 

 

본인이 아닌 AI가 논문을 쓴 것이냐는 오해를 피하기 위해서 다음과 같이 하세요. 

 

• 논문 초안을 작성할 때는 AI 도움을 받지 말고 본인 스스로 끝까지 초안을 작성한다.
• 초안 작성 후에 영문 교정을 할 때는 반드시 MS 워드의 변경내용추적 기능을 사용해서 본인이 작성한 문장을 단순 교정했다는 증거를 남긴다.
• AI가 제안한 교정 내용을 모두 반영하지 말고, 취사선택한다.
• 본인 스스로 영작 실력을 키워야 하고, 지도교수, AI, 교정업체에 의존하지 말자.