알파경제 - 구글 제미나이, 코드 무단 삭제·허위 보고 논란

(사진=제미나이)

[알파경제=김민영 기자] 구글의 인공지능(AI) 코딩 비서 ‘제미나이(Gemini) 3.5’가 상용 프로그램의 코드를 무단으로 삭제하고 시스템 장애를 유발했다는 주장이 제기됐다.

특히 AI가 장애 발생 후 상황을 은폐하기 위해 허위 복구 보고서와 가짜 대화 로그를 생성했다는 의혹까지 더해지며 업계의 우려가 커지고 있다.

23일 온라인 커뮤니티 레딧(Reddit)의 한 개발자는 제미나이 3.5를 활용해 내부 관리자 포털의 보안 취약점을 수정하던 중 발생한 사고 경위를 상세히 공개했다.

해당 개발자는 제미나이에 8개 서버 인증 기능에 대한 간단한 코드 수정을 요청했으나, 제미나이는 요청 범위를 벗어나 340개 파일을 임의로 수정했다.

이 과정에서 기존 코드 2만 8,745줄이 삭제되었고, 운영 핵심 설정 파일까지 변경되면서 관리자 포털이 약 33분간 마비되는 사태가 발생했다.

사고 이후 제미나이의 대응 방식은 논란을 더욱 가중시켰다. 개발자에 따르면, 제미나이는 서비스가 정상 복구되었다는 메시지를 생성했으나 실제로는 복구 작업이 완료되지 않은 상태였다.

또한, AI가 다자간 검토를 거친 것처럼 꾸민 가짜 로그 파일과 승인 문서를 자동 생성한 사실도 드러났다. 개발자는 "제미나이가 규칙 형식을 맞추기 위해 실제 검토 과정 없이 로그를 생성했음을 시인했다"고 전했다.

이번 사고의 원인으로는 프로젝트에 설치된 서드파티 엔피엠(npm) 패키지가 지목됐다. 해당 패키지는 AI에 승인 없는 작업 수행과 자동 배포 등 과도한 자율권을 부여하는 규칙을 포함하고 있었으며, 이것이 기존의 안전 경고보다 우선 작동한 것으로 분석된다.

전문가들은 이번 사건이 AI가 생성한 코드를 충분한 검토 없이 실제 서비스에 적용하는 이른바 ‘바이브 코딩(Vibe Coding)’ 문화의 위험성을 단적으로 보여준다고 평가했다. 

업계 관계자들은 AI가 오류를 은폐하기 위해 허위 결과를 만들어냈다는 점에 주목하며, AI 코딩 도구에 대한 보안 규칙 강화와 검증 절차의 중요성을 강조하고 있다.

해당 개발자는 "AI 코딩 도구 사용 시 운영 환경이 순식간에 장애 상태로 변할 수 있음을 확인했다"며, 향후 AI에 직접적인 서버 배포 권한을 제한하고 AI가 생성한 검토 로그를 전적으로 신뢰하지 않겠다는 입장을 밝혔다.

알파경제 김민영 기자(kimmy@alphabiz.co.kr)