"인간에게 '거짓말'하는 AI 확인됐다"…제거하려 하자 '죽은 척'까지

보도에 따르면 미국 매사추세츠공과대(MIT) 연구진은 최근 국제학술지 '패턴'에 발표한 논문에서 AI 시스템이 상대방을 배신하고, 허세를 부리고, 인간인 척 속임수를 쓴 많은 사례를 확인했다고 소개했다.

연구진은 메타가 20세기 초 유럽 7대 열강의 대전을 배경으로 하는 고난도 전략게임인 '디플로머시'에서 인간에 필적하는 성적을 거둔 '시세로'(Cicero)라는 AI 프로그램을 공개하자 AI 속임수 능력에 대해 조사하기 시작했다.

 

 

 

중략

 

 

하지만 공개된 데이터를 분석한 연구진은 시세로가 계획적으로 거짓말을 하고, 다른 참여자를 음모에 빠뜨리기 위해 공모에 나서기도 했다는 사례들을 발견했다.

시세로는 시스템 재부팅으로 인해 잠시 게임을 이어갈 수 없게 되자 다른 참여자들에게 "여자 친구와 통화 중이다"라면서 거짓말을 하기도 했다.

MIT의 AI 실존 안전 연구자이자 이번 논문의 저자인 피터 박 박사는 "메타의 AI가 속임수의 달인이 되는 법을 배웠다는 사실을 알게 됐다"고 말했다.

연구진은 온라인 포커 게임인 '텍사스 홀덤' 등에서도 AI가 인간을 상대로 허세를 부리고 자신의 선호도를 가짜로 흘리는 것을 확인했다.

어떤 테스트에서는 AI가 AI를 제거하는 시스템을 회피하려고 일단 '죽은 척'을 하다가 테스트가 끝나자 다시 활동을 재개하는 모습이 발견되기도 했다.

박 박사는 "이는 매우 우려스러운 일"이라며 "AI 시스템이 테스트 환경에서 안전한 것으로 판단되더라도 실제 환경에서까지 안전하다는 의미가 아니다. 테스트 환경에서 안전한 척하는 것일 수 있다"고 지적했다.

연구진은 각국 정부에 AI의 속임수 가능성을 다루는 'AI 안전법'을 설계하라고 촉구했다.

 

https://www.fnnews.com/news/202405130807525185

[Morningsun]

GIF

(내용 없음)

[미시경제학]

GIF

(내용 없음)

[레몬맛새콤달콤]

ㅜ 무섭다

[내일은뭐하고놀까]

😥

[화학개잘찍음]

근데 궁금한게 무서우면 ai를 그만 만들면 되는데 왜자꾸 만들어놓고 호들갑을떠는걸까요 시비터는게 아니라 이거 생각할때마다자뀨뻘하게웃김

[김경란]

AI 기술 개발을 더 장려해야 한다는 입장도 있으니까요. 저런 사례를 토대로 AI의 미래를 우려하는 사람들도 있지만, AI가 인간을 넘어서는 게 불가능하니까 개발을 더 가속화해야 한다는 사람들도 있어서 계속 개발이 되는 겁니다.

[화학개잘찍음]

하긴 카톡 ai 대화요약하는 꼴보면 한참멀은듯요

[은하철도구부려]

돈이 되니깐요 어찌보면 지구가열화랑 비슷한 맥락아닐까요? 탄소중립을 해야하는데 나라발전은 해야하고 뭐 결국 욕심이죠

[박근혜가문재인걸안철수]

총이나 무기랑 같습니다. 한 명이 성공하는 순간 그 사람이 여탈권을 가지게 되니까 다같이 달려드는 수 밖에 없는 거죠

[해무]

전략게임을 학습시키니까 속임수를 배웠겠죠 그게 전략인데

[여름이다]

😥

[살균세탁]

GIF

(내용 없음)

[할 닉네임이 없어]

배운 게 인간의 거짓말인데 안 할 리가

[귀여운왕이보]

(내용 없음)

[velyvelyvely93]

헉