Google이 어제 I/O 컨퍼런스에서 데모한 기능은 자체 생성 AI 기술을 사용하여 음성 통화를 실시간으로 스캔하여 금융 사기와 관련된 대화 패턴을 감지하는 것으로, 개인 정보 및 보안 전문가들이 경고한 것은 이 기능이 검열의 시작점임을 경고하고 있습니다. 그들은 클라이언트 측 스캔이 모바일 인프라에 내장되면 중앙 집권적 검열 시대를 열 수 있다고 경고했습니다.

구글의 통화 사기 감지 기능 데모는 이 기술 거둔 것으로 추정되는 현대 세대의 AI 모델 중에서 가장 작은 Gemini Nano에 의해 제공되며, 디바이스 전체에서 실행될 것으로 예상됩니다.

이는 본질적으로 클라이언트 측 스캔이며, 최근 며칠간 유아 성 착취 물질(CSAM)을 감지하거나 메시징 플랫폼에서 그루밍 활동을 감지하려는 노력과 관련하여 커다란 논란을 일으켰습니다.

2021년에 CSAM을 위해 클라이언트 측 스캔을 배포하는 계획을 포기한 애플은 거대한 프라이버시 반발 이후에 방치했습니다. 그러나 정책 결정자들은 기술 산업에 자신들의 플랫폼에서 발생하는 불법 활동을 감지하는 방법을 찾는 것에 대해 계속 압력을 가하고 있습니다. 온디바이스 스캔 인프라를 구축하기 위한 산업의 움직임은 따라서 기본적으로 정부 주도 또는 특정 상업적 계획과 관련된 모든 종류의 콘텐츠 스캔의 문을 열어 줄 수 있습니다.

Signal 암호화 메시징 앱의 미국 대통령인 Meredith Whittaker가 X에서 구글의 통화 스캔 데모에 대한 답글에서 경고했습니다: '이것은 믿을 수 없을 만큼 위험합니다. 중앙 집권적, 기기 수준의 클라이언트측 스캔의 길을 깔아 놓고 있습니다.

'사기'를 감지하다가는 '생식권을 찾는 데 일반적으로 연결되는 패턴'이나 'LGBTQ 리소스를 제공하는 데 일반적으로 연결되는 패턴' 또는 '기술 직원의 증언에 연관된 패턴'을 감지하는 것으로 간단히 넘어갑니다.'

존스홉킨스 대학의 교수인 암호학 전문가 Matthew Green도 X에 경고를 올렸습니다. 그는 '미래에 AI 모델이 텍스트와 음성 통화를 분석하여 불법 행위를 감지하고 보고할 것'이라고 경고했습니다. '서비스 제공업체를 통해 데이터를 전송하려면 스캔이 수행되었음을 증명해야 합니다. 이것은 공개 클라이언트를 차단할 것입니다.'

이러한 기본적으로 검열된 미래를 제기하는 Green은 기술적으로 가능한 것으로 얼마 안 된다고 제안했습니다. '기술이 효율적으로 충분히 개선될까까지 조금 떨어져 있지만 몇 년 안에 가능할 것입니다. 최대 10년 후에.'

유럽의 개인 정보와 보안 전문가들도 빠르게 이의를 제기했습니다.

X에서 구글의 데모에 반응하여 폴란드 기반 독립적인 연구원이자 개인 정보와 보안 문제 컨설턴트인 Lukasz Olejnik은 회사의 사기 방지 기능을 환영하면서도 인프라가 사회 감시 목적으로 재활용될 수 있다는 경고를 하였습니다. '이는 통화, 텍스트 또는 문서 작성을 모니터링하는 기술적 능력들이 이미 개발되어 있거나 개발 중이라는 것을 의미합니다. 예를 들어 금지되었거나 해로운이거나 증오스럽거나 그렇지 아니하다고 여겨지는 내용을 찾아내기 위해 — 누군가의 기준에 따라 — 을 해야 한다.'

'더 나아가 이러한 모델은 경고를 표시할 수도 있습니다. 또한 계속 진행하는 기능을 차단할 수도 있습니다.'라고 Olejnik은 강조하며 계속했습니다. '또는 그것을 어딘가에 신고할 수 있습니다. 사회 행동의 기술적 변조 또는 그러한 것. 이것은 프라이버시에 대한 주요 위협이지만 기본적인 가치와 자유에 대한 다양한 위협으로 이어집니다. 이러한 능력은 이미 존재합니다.'

그의 우려를 더 확장하여 Olejnik은 TechCrunch에 다음과 같이 전달했습니다: '나는 기술적 세부 사항을 보지 못했지만 Google이 감지가 기기에서 이루어질 것이라고 보증했습니다. 이는 사용자 프라이버시에 대한 좋은 소식이지만, 프라이버시보다 더 중요한 것이 많이 걸려 있습니다. 이것은 소프트웨어 및 운영 체제에 내장된 AI/LLM이 다양한 인간 활동 형태를 감지하거나 제어하는 데 사용될 수 있다는 것을 강조합니다.

'지금까지는 다행히도 좋은 일로 쓰였습니다. 그러나 능력이 존재하고 내장되어 있다면 미래에 무엇이 앞으로 나아갈 것일까요? 이러한 강력한 기능들은 사회의 행동을 대규모 또는 선택적으로 통제할 수 있는 능력에 대한 잠재적인 미래 위험을 시사합니다. 이는 아마도 개발되고 있는 가장 위험한 정보 기술 능력 중 하나입니다. 우리는 그 지점에 가까워지고 있습니다. 우리는 이 것을 어떻게 통제할 것입니까? 우리는 너무 멀리나가고 있습니까?'

UCL 기술법 교수인 Michael Veale도 구글의 대화 스캐닝 AI에서 흉상화된 기능으로부터 흘러나오는 기능 확장(creep)을 경고하며 X에서 반응 게시에서 '이로 인한 인프라는 검열보다 이목적이 더 많은 클라이언트 측 스캔을 위해 설정될 것이고 이를 남용하길 원할 것입니다.'라고 경고했습니다.

유럽의 개인 정보 전문가들은 특별히 우려할 이유가 있습니다. 유럽연합은 2022년부터 논란이 되는 메시지 스캐닝 법률 제안을 테이블에 올려놓고 있습니다. 그 법안은 플랫폼이 개인 메시지를 기본적으로 스캔하도록 요구할 것으로 극대범인의는 이는 플랫폼이 알려진 및 알려지지 않은 CSAM을 감지하고 더굽행위를 실시간으로 감지하도록 요구하는 감지 명령에 대응하기 위해 클라이언트 측 스캔을 배치할 것으로 예상됩니다.

이달 초 수백 명의 개인 정보 및 보안 전문가들이 오픈 레터를 통해 경고했습니다. 이 계획이러 들어 그 법률 명령에 응답하기 위해 플랫폼에 의해 배포될 클라이언트 측 스캔 기술은 검증되지 않았으며 심각한 결함이 있으며 공격에 취약합니다.

프레스 시간까지 구글은 대화 스캐닝 AI가 사람들의 프라이버시를 침해할 수 있다는 우려에 대한 응답을 받았으나, 응답하지 않았습니다.

우리는 AI 뉴스레터를 출시합니다! 여기에서 5월 6일에 약속된 시간에 받아 보기 시작하십시오.