4가지 유형의 질문을 통해 본 챗GPT(Chat GPT)의 단점

요즘 챗GPT(Chat GPT)가 대세이다. 챗GPT는 출시된 지 5일 만에 100만 명, 두 달 만에 1억 명의 사용자가 이용할 정도로 글로벌적인 인기를 누리고 있다. 하루가 넘게 소요됐던 자료 조사나 코드 조사를 수 십 초 만에 해결해서 업무 효율이 크게 증가했다는 기사도 보인다. 챗GPT의 등장이 AI 혁명의 초입이라고 주장하는 사람들도 나오고 있다. 그러나 챗GPT 검색 시, 특정 질문에 대해서는 부정확하거나 아예 잘못된 정보가 나오기도 한다는 이야기도 들린다. 챗GPT가 얼마나 효과적인지 나름대로 테스트를 해봤다. 가치 판단, 정보 검색 및 확인, 미래 전망, 생활 정보 각 4가지 유형의 질문을 한 다음 챗GPT의 답변을 분석해 봤다. 한국어보다는 영어가 더 정확하다고 하여 영어로 질문해 봤다. 

 

질문 유형 1 - 가치 판단

먼저 챗GPT가 가치를 판단해야 하는 질문에 어떻게 답하는지 확인해 봤다. 

챗GPT에게 한 질문은 "러시아 대통령 푸틴이 나쁘다고 생각하냐"였다. 챗GPT의 답변은 무난했다.

우선 답변 초입부터 자신은 AI이며 개인적인 의견이나 감정을 가지고 있지 않다고 설명했다. 이후 푸틴에 대해 간략하게 소개를 한 후, 푸틴에 대한 긍정적인 면과 부정적인 면을 모두 다뤄줬다. 마지막으로 푸틴에 대한 생각은 개인마다 다를 것이라고 답변을 마무리했다. 

 

챗GPT는 가치 판단 질문에 대해 나름 균형적인 관점으로 설명하고 있는 듯했다.

 

질문 유형 2.1 - 정보 검색

다음은 정보 검색과 확인 질문이다. "대한민국 경제의 특징"에 대해 챗GPT에게 질문했다.

챗GPT는 내 질문에 빠른 시간만에 꽤나 만족스러운 답변을 안겨주었다. 챗GPT는 대한민국 경제의 특징으로 우선 지난 수십 년 동안 수출과 하이테크 산업으로 세계에서 가장 크게 성장한 나라라고 설명하며 대한민국의 대표 산업으로 첨단기술산업, 자동차산업, 조선산업, 철강산업, 석유화학산업 5가지를 들었다. 챗GPT에게 꽤나 국뽕 넘치는 답변을 받을 수 있었다.

 

반응형

 

"북한 경제의 특징"에 대해서도 질문해 봤다.

챗GPT는 북한의 경제는 고립되어 있고, 이러한 고립이 근대화와 발전을 막고 있다고 진단했다. 북한의 대표적인 산업으로는 광업, 군수산업, 경공업, 농업 4가지를 알려주었다. 북한은 산업이라고 할만한 게 없는 나라이지만, 그나마 그중에서도 괜찮은 분야 4가지를 추려주었다. 마지막으로 북한은 중앙집중적인 체제를 가지고 있고 국제적인 제재로 인해 많은 사람들이 가난 속에 살고 있음을 강조하며 답변이 종료되었다.

챗GPT의 정보검색 결과를 무조건 믿을 수는 없겠으나, 어지간한 질문에 대한 답변 능력은 꽤나 훌륭한 것으로 보인다.

 

질문 유형 2.2 - 정보 정확성

이번에는 챗GPT 답변에 대한 정확성에 대해서 확인해 봤다.

질문은 "이순신이 몇 번이나 이겼는가"와 "2021년 서울의 평균 주택 가격"을 말해달라는 것이었다.

챗GPT는 이순신이 임진왜란 때 23번의 전투에서 23번 모두 이겼다고 정확하게 답변했으며, 그가 거북선을 고안했고 한국 역사상 가장 훌륭한 제독으로 꼽힌다는 정보도 주었다. 이 정도면 해외에서 이순신에 대해 꽤나 정확한 정보를 얻을 수 있겠다는 생각이 들었다.

 

서울의 평균 주택 가격에 대해 물으니 2021년 기준 9억 원 정도라고 알려주었다.

이후 이에 대한 부가 설명으로 서울의 부동산 시장은 매우 경쟁적이고 입지, 규모, 연식에 따라 가격이 달라진다고 알려주었다. 부동산이 비싼 지역으로 강남, 서초, 청담, 성북동 등이 있으며 서울의 주택 가격이 높은 수요와 적은 공급으로 인해 대한민국의 다른 도시들보다 유독 비싼 편이라는 사실까지 알려주었다.

 

챗GPT의 답을 봤을 때, 얼추 비슷한 정보를 알려주기는 하지만 정확한 수치의 정보를 얻기에는 다소 부족해 보였다.

 

질문 유형 3 - 미래 전망

챗GPT에게 미래를 전망하는 질문을 해봤다.

내가 한 질문은 "미래에 대한민국이 핵무기를 가질 수 있겠냐"는 것이었다.

미래를 전망하는 유형의 질문에 대한 챗GPT의 답변은 우선 자신은 미래를 예측할 수 없는 능력을 가지지 못했다는 내용으로 시작했다. 그럼에도 관련 있는 답을 주겠다고 하며 본격적인 답변을 시작한다. 이어 대한민국은 NPT에 가입되어 있고 평화적으로 핵을 이용하고 있다고 이야기하면서, 북한에게 핵 위협을 받고 있는 상황에서 핵무기 보유에 대한 논쟁이 있다고 진단한다. 마지막으로는 핵무기 보유는 매우 논쟁적인 이슈이고 국제사회에 큰 영향을 준다는 답변을 남겼다.

 

챗GPT는 가치 판단 유형의 질문과 비슷하게, 미래 전망 유형의 질문에 대해서도 두리뭉실하게 대답하는 모습이었다. 그럼에도 질문 상황에 대한 분석과 정리는 꽤나 훌륭했다.

 

질문 유형 4 - 생활 정보

마지막으로 생활 정보 유형을 확인해 봤다. "난방비를 절약하는 방법"을 물어봤는데, 챗GPT의 답변은 매우 평이했다.

너무 상식적인 답변들이라 뭐라 할 말이 없을 정도였다. 생활 속 꿀팁이나 노하우를 찾기에 챗GPT는 그리 효과적인 검색 방법은 아닌 듯싶었다.

 

정리 - 놀라우나 아직 부족함

챗GPT의 성능은 꽤나 놀라웠다. 많은 사람들에게 큰 도움을 줄 수 있을 정도였다. 그러나 초기인만큼 한계도 명확해 보였다. 우선 챗GPT가 알려주는 국내에 대한 정보는 부정확한 내용이 있거나 정확한 수치를 알기에는 어려움이 있었다. 챗GPT가 사용할 수 있는 데이터의 양 자체에서 우리나라가 미국이나 서구권에 비해 크게 부족한 게 원인인 것으로 보인다. 생활정보 같은 일상적인 질문에 대해서 지나치게 평이한, 상식적인 답변만 준다는 점도 단점으로 보였다. 좀 더 독특한 답변, 나에게 딱 맞는 정보를 정확히 찾아준다는 느낌은 받지 못했다.