Adolf의 엉망진창 블로그

중립성 따윈 없는 여행/18禁/자동차/IT 제멋대로 1인 언론(?)

Adolf는 告한다(비평|시사)/세상을 까자!(사회|시사)

AI 질답 의존, 뇌를 썩히고 지식을 망친다(그 사례 일부)

dolf 2025. 12. 11. 01:01

오늘은 오랜만에 세상을 까는 이야기입니다. 엔비디아 시가총액이 역대 최대 기록을 경신하며 잘 나가고, 기생오래비는 자율주행 Level 4 발치도 못 간 것을 FSD라는 사람 잡는 거짓말을 갖다 붙여 팔며 테슬람들의 칭송을 받고 있는데... 뭐 하드웨어 만드는 곳은 AI때문에 싱글벙글이긴 하겠습니다만, 그 AI라는 것이 과연 '모든 면'에서 좋느냐 하는 너무나 당연한 의문이 오늘 이야기입니다. 그게 아니기에 나오는 포스팅입니다만.

 

AI가 현재 높은 효율성을 발휘하는 분야는 분명히 있습니다. 하지만 무능함의 극치를 보여주는 분야도 있는데 오히려 이 부분이 세상을 망치고 있는 것이 있습니다. 바로 ChatGPT나 Gemini같은 AI 채팅 서비스입니다. 학습 또는 검색한 내용을 그냥 뿌려주는 것에 불과한 이들 서비스가 지식 오염을 일으킬 수 있다는 점은 이미 이들 서비스가 나온 초창기부터 제기된 것입니다만, 언론에서 AI, AI 노래를 부르면서 띄워준 결과 이게 완벽하다고 착각하는 사람은 오히려 늘고 있습니다. AI 채팅에서 답하는 내용을 그대로 믿는 것이 얼마나 위험한지 좀 그 사례를 짚어보기로 합니다.

 


 

AI가 질문을 조작해 올리고, AI 채팅 복붙으로 점수를 버는 난장판이 된 네이버 KiN에 이런 질문이 올라왔습니다.

 

자, 무엇이 잘못 되었을까요?

 

자, 지금 2종보통 이상 면허증 들고 계신 분이라면 이 질문에 적힌 검색 결과라는 것을 보고 뭔가 이상하다고 느끼지 않을 수 없을 것입니다. 1종보통에 무슨 1년 이상 운전 경력을 요구하는가 말입니다. 예. 1종보통에 '그런 거 없다'가 정답입니다. 저 헛소리는 '1종대형'이나 '1종특수'에만 해당되는 내용이죠. 

 

사실 AI 채팅이 아니더라도 웹 서핑, 아니 PC통신 시절에도 정보의 왜곡 문제는 있었습니다. 이건 굳이 전자통신 시절이 아닌 인류의 역사에 남아 있는 문제이기도 하죠. 그 방식만 바뀐 것입니다. 하지만 인터넷 시절과 지금의 AI 채팅 시대의 가장 큰 차이는 'AI가 완벽할거라는 환상에 빠져 채팅의 답을 그냥 바로 믿어버린다'는 것입니다. 인터넷 검색을 직접 해야 했던 시절에도 당연히 잘못된 정보는 있었지만 최소한 검색 결과 몇 개는 보고 판단하는 '크로스 체크'는 대체로 다들 했습니다. 그냥 검색 결과 하나 보고 그게 맞다고 결론내버리는 사람은 '머리가 비었다'는 소리를 들어도 할 말이 없었죠. 하지만 이제는 그 머리가 빈 사람들이 AI가 만능이라고 착각하며 늘어버린 것입니다.

 

AI 채팅은 코딩 등에 대해서는 나름 효율성 향상을 얻은 것은 사실입니다. 물론 그것도 최적화 등은 전혀 고려하지 않아서 실제로는 오히려 수정에 더 많은 노력이 든다는 비판도 나오고는 있지만 일단 '쉽게 짤 수는 있다'는 점에서는 분명히 나아진 것은 맞습니다. 하지만 이 부분을 넘어 일반적인 정보의 경우 AI 채팅은 학습 정보 편향과 검색 결과 편향 문제에서 결코 자유롭지 못해 여기에서 말하는 내용이 여러 검색 결과 나온 가장 정확한 답이라는 보장이 없습니다. 중요한 내용이라면 반드시 별도의 크로스 체크는 웹 검색과 동일하게 해야만 하는 것입니다. 하지만 AI가 만능이라 믿는 사람들은 그걸 하지 않습니다.

 

그나마 이런 정보가 많은 내용은 그나마 덜 틀리지만 조금만 전문적이거나 검색 결과(텍스트)만으로 정확한 판단이 안 나오는 내용은 쉽게 왜곡됩니다. 그러한 사례를 하나 더 들어봅니다. 자, 지금 제가 타는 차, 코드명 '블랙커피' 이야기입니다.

 

아시다시피 순정 내비게이션은 DMB나 동영상 재생을 주행 중에는 못 하게 되어 있습니다. 이걸 푸는 방법을 AI에게 물어 봅니다. 아, 법률에 저촉된다는 점은 일단 좀 넘어갑니다.

 

문제의 구글 검색

 

자, 요즘은 구글에 AI(Gemini)를 넣어 검색 결과 요약을 해주는 기능이 있죠. Gemini는 저렇게 하면 DMB 락이 풀린다 말합니다. 실제로 해보실까요? 그러면 이 노래를 절로 부르게 될 것입니다.

 

실제로는 인터넷만 나이 제한이 필요한 거 아닙니다

 

예. 저렇게 날로 먹을 수 있으면 고생을 안 합니다. 결론부터 말하면 저 친구에 DMB 락을 날로 먹고 푸는 방법은 존재하지 않습니다. 하드웨어의 개조(차량마다 다르지만 변속기 인식을 바꾸거나 차속센서를 손대거나 합니다.)가 반드시 필요합니다. 그런데 왜 저런 헛소리가 나왔을까요? 도대체 Gemini가 어떻게 이런 헛소리를 하게 되었나 좀 출처를 펴봅니다.

 

검색 결과를 펴면 이렇게 됩니다.

 

이런 사이트들을 검색해서 나온 결과라는데... 실제 저 사이트들(튜닝 업체 홈페이지입니다.) 들어가면 일단 저런 내용이 있습니다. 다만 중요한 것을 AI가 파악하지 못했는데, 바로...

 

'하드웨어 개조 후 저렇게 하면 된다'

 

...는 것은 싹 빼놓고 그냥 이후 작동법만 검색해 가져온 것입니다. 하드웨어 개조 부분은 사진이었으니 당연히 검색을 안 했겠죠. 이런 식으로 AI 채팅은 얼마든지 엉망인 정보를 가져올 수 있고, 이것만 믿었다간 그야말로 뭣 되는 일이 벌어집니다. 크로스 체크를 해서 원래 사이트 내용을 봤거나, 다른 검색 결과를 하나씩 읽어 봤다면 절대 저렇게 날로 먹을 수 없다는 사실을 깨달았을 것입니다.

 

 

돈 내고 쓰는 AI검색, 잘못된 답변 쏟아졌다 - 미디어오늘

생성형 AI(인공지능) 검색의 정확도가 크게 떨어진다는 분석이 나왔다. 유료서비스의 오답률이 더 높았다.미국 컬럼비아대학원 콜롬비아저널리즘리뷰가 지난 6일 보도한 연구에 따르면 8개 생성

www.mediatoday.co.kr

 

사실 AI의 검색 오답 문제는 이미 넘치게 알려진 문제입니다. 속된 말로 검색해서 나온 상위 몇 개의 그냥 텍스트만 분석해서 자신만만하게 답하는게 현재의 AI 검색이고, 심지어 자기가 답한 것을 자기가 그 근거로 삼는 환각 현상까지 일으킵니다. 이걸 사람이 최대한 로직에서 제거한다고 한들 여전히 맞는 말보다 헛소리를 할 가능성이 극히 높은게 AI입니다. 이걸로 검색과 크로스체크를 날로 먹겠다는 생각을 하는 시점에서 정말 뇌가 썩었다고 말할 수 밖에 없는 것입니다.

 

이처럼 AI 채팅 결과를 맹신하는 것은 잘못된 지식을 자기 머리 속에 넣어 삶을 망치고 평판을 망칩니다. 그리고 그러한 습관은 이러한 악순환을 불러와 뇌를 썩힙니다. 쇼츠만 뇌를 썩히는게 아닙니다. 크로스 체크라는 너무나 당연한 것을 안 해도 된다고 믿게 된 시점에서 이미 뇌는 썩기 시작한 것입니다.

 

추신: 참고로 이 결과에 대해 멍청한 Gemini를 제외한 나머지는 이렇게 답했습니다.

 

Chat심영GPT: 위험해, 하지 마!!!(모범생)

 

Copilot: 개조부터 하고 오시오(정답)

 

Claude: 그냥 아무 소리나 지껄이자(Gemini와 동급.T_T)