미국 상업부의 기술을 개발하고 시험하는 국립표준기술연구소(NIST)는 월요일에 NIST GenAI를 출시했다고 발표했다. 이 프로그램은 텍스트 및 이미지 생성 AI를 포함한 생성 AI 기술을 평가하기 위해 NIST가 주도하는 새로운 프로그램이다.
NIST GenAI는 벤치마크를 공개하고 '콘텐츠 진위성' 탐지(즉, 딥 페이크 체크) 시스템을 개발하는 데 도움을 주며, 거짓이나 오도하는 AI 생성 정보의 원천을 식별하는 소프트웨어 개발을 촉진할 것이라고 NIST는 NIST GenAI 웹사이트와 보도자료에서 설명했다.
'NIST GenAI 프로그램은 생성 AI 기술의 기능과 한계를 평가하고 측정하기 위한 일련의 도전 과제를 제공할 것이다,'라고 보도자료에 명시되어 있다. '이러한 평가는 정보의 무결성을 증진하고 디지털 콘텐츠의 안전하고 책임가능한 사용을 안내하기 위한 전략을 식별하는 데 사용될 것이다.'
NIST GenAI의 첫 프로젝트는 텍스트부터 시작하는 인간이 생성한 미디어와 AI가 생성한 미디어를 신뢰성 있게 구별할 수 있는 시스템을 구축하는 시범 연구다. (딥페이크를 탐지한다고 주장하는 많은 서비스들이 있지만, 연구와 과거의 테스트 결과는 그들이 텍스트에 관한 경우 특히 미약하다는 것을 보여주고 있다.) NIST GenAI는 학계, 산업 및 연구소 팀을 초청하여 '생성자' - 콘텐츠를 생성하는 AI 시스템 또는 AI 생성 콘텐츠를 식별하는 시스템인 '차별자'를 제출하도록 요청한다.
연구에서 생성자는 주어진 주제와 문서 집합을 바탕으로 250 단어 이하 요약을 생성해야 하며, 차별자는 주어진 요약이 AI 작성인지 여부를 감지해야 한다. 특정 생성기를 테스트하는 데 필요한 데이터를 제공하기 위해 NIST GenAI는 공정성을 보장하기 위해 노력할 것이며, 공개적으로 이용 가능한 데이터로 교육된 시스템이고 '해당 법률 및 규정을 준수하지 않는 경우' 받아들이지 않을 것이라고 NIST는 말했다.
시범 프로그램의 등록은 5월 1일에 시작되며, 두 번째 라운드의 등록은 8월 2일에 마감될 예정이다. 연구 결과는 2025년 2월에 발표될 예정이다.
NIST GenAI의 출시와 딥페이크에 초점을 맞춘 연구는 AI 생성된 잘못 정보 및 비정보의 양이 기하급수적으로 증가함에 따라 진행된다.
딥페이크 탐지 기술 회사인 Clarity의 데이터에 따르면, 올해 작성된 딥페이크의 양은 지난해 동일 시기와 비교하여 900% 증가했다. 이는 이해할 만한 것으로, YouGov의 최신 조사에서는 85%의 미국인이 온라인으로 확산되는 오도하는 딥페이크에 대해 우려한다는 결과가 나왔다.
NIST GenAI의 출시는 조 바이든 대통령의 AI에 관한 행정명령에 대한 NIST의 응답의 일환으로, AI 회사가 자사 모델이 어떻게 작동하는지에 대해 더 많은 투명성을 요구하고 AI로 생성된 콘텐츠에 대한 레이블링을 위한 새로운 기준을 수립하는 규칙이 제시되었다.
또한, Paul Christiano가 AI 안전 연구소에 임명된 후 NIST의 첫 AI 관련 발표이다. 그는 전 OpenAI 연구원으로, 그의 '파이어리스트' 의견으로 언급되었는데, 그는 한 때 'AI 개발이 인류의 파멸로 끝날 가능성이 50%'라고 예측했다. 비판가들은 보고서에 따르면 NIST 내의 과학자들을 포함해서 Christiano가 AI 안전 연구소가 '환상적인 시나리오'에 초점을 맞추고 현실적이고 더 즉각적인 AI의 위험보다는 그에 대해 우려한다. NIST는 NIST GenAI가 AI 안전 연구소의 작업을 지원할 것이라고 말했다.
