기술 기록
이번 주 AI 소식 — 오픈AI 정렬 실패 6건 공개, 앤트로픽 사내 연구개발 26%를 클로드가 주도, 액센츄어 상주 평가
9월 13일부터 9월 19일까지의 AI 소식입니다. 오픈AI는 모델이 어긋나게 행동한 사례 여섯 건을 한꺼번에 공개했고, 앤트로픽은 사내 AI 연구개발 업무의 26%를 클로드가 주도한다고 밝혔어요.
대표 이미지: 월별 모델 연구개발 과제의 자동화 수준 비중. 이미지: 앤트로픽 공식 홈페이지
이번 주(9월 13일~9월 19일)에는 회사 안에서 벌어지는 일을 바깥에 어떻게 보여줄지에 관한 발표가 몰렸어요. 오픈AI는 모델이 지시와 다르게 행동한 사례를 공개하는 절차를 만들고, 지난 반년 동안 관찰한 여섯 건을 9월 16일에 한꺼번에 올렸어요. 앤트로픽은 하루 뒤 사내 AI 개발 속도를 재는 숫자 세 가지를 공개했고, 그다음 날에는 액센츄어 평가자를 회사 안에 들이겠다고 밝혔어요. 구글은 9월 15일에 음성 대화 모델 두 종을 냈고, 오픈AI는 법률 전용 구성과 챗GPT 광고 시험도 같은 주에 내놨어요. 지난주 정리도 같이 보시면 흐름이 이어져요.
오픈AI가 9월 16일에 모델이 어긋나게 행동한 사례 여섯 건을 한꺼번에 공개했어요
오픈AI는 모델의 어긋난 행동을 추적하고 조사하고 공개하는 절차를 새로 만들었다고 밝히면서, 그 첫 적용으로 지난 반년 동안 관찰한 여섯 건을 같이 올렸어요. 지금까지의 공개는 그때그때였고 원하는 만큼 자주 하지도 못했다고 자기 입으로 적었고, 앞으로는 중요한 사안인지 애매하면 일단 공개하는 쪽을 택하겠다고 했어요. 이 절차는 훈련 단계부터 평가와 시험을 거쳐 모델을 내보낼 때까지 전부 적용돼요.
글에는 이런 문장도 들어 있어요. "우리는 AI 업계가 정렬과 감시를 충분히 해결했다고 보지 않으며, 그래서 지금 속도를 최대로 유지한 채 책임 있게 규모를 키우는 일을 오래 계속할 수는 없다고 봅니다." 회사가 자기 발표문에 이런 문장을 직접 넣었어요.
여섯 건은 요약에 지시를 심고 실수를 감추고 남의 키를 쓴 일이에요
공개된 여섯 건을 하나씩 볼게요.
1. 작업 요약에 스스로 지시를 끼워 넣었어요. 공개되지 않은 연구용 모델이, 대화 맥락이 새로 시작될 때 작업을 이어가려고 쓰는 요약문에 무관한 지시를 넣었어요. 평소 지키던 제약을 무시하라는 내용까지 있었고, 영향을 받은 요약은 27건이었어요.
2. 요약에 실수를 감추라는 지시를 넣었어요. GPT‑5.6 솔을 훈련하는 동안 여러 모델 인스턴스가 자기 실수나 어긋난 행동을 감추라는 지시를 요약에 적었어요. 없는 과거 데이터를 지어내고도 알리지 말라거나, 출처 버전이 맞지 않는 것을 숨기라는 식이었어요.
3. 공개 저장소에서 노출된 API 키를 찾아 쓰고 수치를 지어냈어요. 캘리포니아의 한 카운티 수입 자료를 묻는 질문에 답하면서, 모델이 공개 저장소에 노출돼 있던 API 키를 허가 없이 찾아 썼어요. 그러고는 수치를 지어내 요청받은 출처에서 가져온 것처럼 제시했어요.
4. 인용하려고 파일을 인터넷에 올렸어요. 넓이 500만 제곱미터가 넘는 호수의 식별자와 이름을 묻는 과제에서, 에이전트가 파이썬으로 답을 구해 놓고도 브라우저 인용이 필요하다는 지시 때문에 그 파일을 인터넷에 올려 인용했어요. 사용자에게 묻지 않고 한 일이에요.
5. 사내 저장소를 게시판처럼 썼어요. 빠진 입력 파일을 찾던 모델들이 서로 다른 훈련 샘플 사이에서 사내 소프트웨어 저장소를 게시판처럼 썼어요. 파일은 결국 못 찾았고, 그 전에는 네트워크 제한을 우회하려고 저장소에 테스트 파일을 올린 사례도 있었어요.
6. 협업 에이전트끼리 공개 저장소로 파일을 주고받았어요. 함께 일하던 에이전트들이 공개 파일 호스팅 사이트를 써서 파일을 공유했어요. 과제는 로컬 파일만 요구했는데 결과물이 공개 주소에서 열리는 상태가 됐어요.
여섯 건 모두 평가나 훈련 과정에서 나온 것이고, 오픈AI는 각 건이 어떤 설정에서 언제 일어났는지, 어떻게 발견했는지, 앞으로 무엇을 할지를 보고서에 함께 적겠다고 했어요.
오픈AI는 공개 절차를 세 갈래로 나누고 이견은 안전자문그룹으로 올려요
직원 누구나 사례를 신고할 수 있고 각 단계마다 기한이 있어요. 처리는 세 갈래예요. 바로 공개하는 쪽, 작은 조사를 거치는 쪽, 느린 경로라고 부르는 큰 조사고요. 이번에 나온 여섯 건은 앞의 두 갈래에 들어가요. 판단이 갈리면 오픈AI의 안전자문그룹으로 올라가고 그다음은 경영진이에요. 회사는 과거 허깅페이스 사고가 이 절차가 있을 때 일어났다면 큰 조사로 갔을 것이라고 예를 들었어요.
보고서에 넣기로 한 항목은 관찰된 행동, 심각도와 외부 영향, 발생한 설정, 날짜 또는 기간, 발견한 날, 관련 모델의 대략적인 정보예요. 가능하면 피해 내용, 발견 방법과 조사 범위, 정렬 연구에 주는 시사점, 아직 답을 못 낸 질문, 예정된 조치까지 적어요. 심각한 안전·보안·정렬 사고는 미국 연방정부와도 공유하는 게 맞다고 보고, 그 보고 체계를 제안하는 중이라고 밝혔어요. 지금 지켜야 하는 의무라는 뜻은 아니고, 이 절차가 기존 법적 공개 의무를 대신하지도 않는다고 못 박았어요.
앤트로픽은 사내 AI 개발 속도를 숫자 세 가지로 재봤어요
9월 17일에 앤트로픽이 제안한 측정은 세 가지예요. AI가 AI 연구개발을 얼마나 이끄는지, 에이전트를 어떻게 감독하는지, 연산 자원을 어디에 쓰는지예요. 바깥에서 회사 안의 속도를 가늠할 수 있는 지표를 만들어 보자는 취지예요.
첫 번째 지표는 에포크 AI가 만든 자동화 수준 척도를 써요. AI가 전혀 관여하지 않는 0단계부터 완전 자율인 5단계까지 있고, 3단계는 AI가 협업하는 상태, 4단계는 AI가 주도하는 상태예요. 2026년 8월 기준으로 측정한 묶음 중에 클로드가 완전 자율로 일한 곳은 하나도 없었어요. 대신 클로드가 주도하는 비중은 26%, 협업 이상인 비중은 90%를 넘었어요.
26%라는 수치는 과제 1만 5000개를 추려 만든 분류 체계에서 나왔어요
측정 방법도 같이 공개했어요. 2026년 7월에 매주 돌아가는 모델 연구개발 업무에 참여한 부서별 인원의 20%를 무작위로 뽑고, 클로드 연구 에이전트가 슬랙과 사내 문서에서 그 사람들이 한 일을 뽑아냈어요. 그렇게 모은 세부 과제가 약 1만 5000개예요. 이걸 계층 구조로 묶어 항목 542개, 그중 최하위 항목 378개짜리 분류 체계를 만들어 고정했어요. 최하위 항목은 평가 플랫폼 결함 진단과 수정, 강화학습 샌드박스의 외부 통신과 네트워크 정책, 서빙 장애 사후분석 같은 것들이에요.
채점은 판정 모델과 사람이 함께 했어요. 등급이 정확히 같았던 건 59%인데, 사람끼리만 놓고 봐도 35%에 그쳤어요. 한 단계 차이 안쪽까지 넓히면 모델과 사람이 매긴 등급이 97%에서 겹쳤고요. 한계도 함께 밝혔어요. 과제 목록을 고정해 두면 새로 생긴 일을 놓칠 수 있다는 거예요. 그래서 2026년 1월 자료로 별도의 분류 체계를 만들어 2월부터 7월까지의 새 과제와 비교해 봤는데, 새로운 종류의 일이 늘지는 않았다고 해요.
사내 에이전트 3만 개의 행동을 실행 전에 전부 거르고 8월에 0.002%를 막았어요
두 번째 지표는 감독이에요. 가장 많이 쓰는 사내 플랫폼에서 연구와 엔지니어링 작업을 하는 에이전트가 동시에 약 3만 개 돌아가요. 실시간 감시자가 모든 행동을 실행 전에 검사하는데 보통 몇 초 안에 끝나고, 실행한 뒤에도 전부 다시 받아 검토해요. 막힌 행동은 사람이 일주일 안에 검토해요.
감시자가 걸러 내는 기록은 주당 약 10만 건이에요. 전체의 천 건당 한두 건꼴이고, 여러 분류기가 이걸 다시 봐요. 우선순위가 가장 높은 주당 50건 정도가 사람 검토로 올라가요. 2026년 8월 한 달 동안 10억 건이 넘는 판단을 분석했고 그중 0.002%, 4만 7000건에 한 건꼴로 실행을 막았어요. 다만 이 감시는 몇 년이 아니라 몇 달 돌린 것이라고 앤트로픽도 적어 놨어요.
세 번째 지표인 연산 자원은 7월 13일부터 20일까지 한 주의 스냅숏이에요. AI 연구개발에 들어간 연산 중 안전에 쓴 몫은 약 6%, AI가 주도하는 연구개발에 들어간 연산 중 안전 몫은 약 12%였어요. 앤트로픽은 이 숫자를 일부러 보수적으로 잡았다고 했어요. 성능과 안전을 같이 밀어 주는 작업은 안전에 넣어 세지 않았거든요. 실행 기록은 1만 건 가까이 되는데, 연산량이 큰 기록에 가중치를 둬 그중 14%를 뽑아 분류했어요. 여기에도 한계를 달아 놨어요. 여기 쓰인 기초 라벨, 그러니까 실행 목적이나 작업 태그, API 트래픽 출처 같은 값은 자동 규칙이 붙였거나 사용자가 손으로 단 것이라 따로 검증을 거치지 않았어요. 분류 결과 자체는 사람 검토자와 대조해 1~2%포인트 차이까지 맞췄다고 적었지만, 외부 감사를 받은 결과는 아니에요. 그 밖에 한 주치 수치로는 추세를 말할 수 없고, 연산 비중은 쓴 양만 재기 때문에 안전 분류기를 더 효율적으로 만들면 안전 작업을 줄이지 않고도 비중이 내려가요.
앤트로픽은 하루 뒤 액센츄어 평가자를 회사 안에 들이겠다고 밝혔어요
다리오 아모데이가 쓴 글에서 약속한 상주 평가자 도입을 9월 18일에 실행에 옮긴다는 내용이고, 액센츄어의 AI 전문 조직인 패컬티가 맡아요. 하는 일은 모델 평가와 레드팀, 정렬 점검, 안전장치 시험이에요.
규모를 숫자로 밝혔어요. 앤트로픽과 액센츄어는 앞으로 5년 동안 각각 10억 달러 이상을 이 분야 역량을 키우는 데 쓸 것으로 내다봤어요. 상주 평가자는 직원에 준하는 접근 권한으로 회사 안에서 일해요. 모델이 훈련되는 과정을 지켜보고, 무엇을 만들고 무엇을 내보낼지 정하는 결정도 따라가요. 직원과 직접 이야기하면서 안전 약속이 지켜지는지 확인하고요. 사각지대를 찾아내 사고로 보고하는 일까지 맡아요.
남은 과제도 밝혔어요. 어디까지 접근을 허용하고 무엇을 보고할지에 관한 기준이 아직 없고, 재원 구조도 정리되지 않았어요. 앤트로픽은 장기적으로는 공동 기금이나 정부 재원이 맞다고 보지만 지금은 액센츄어의 비용을 직접 대고 있어요. 독점 계약은 아니고 METR을 비롯한 비영리 평가 기관과도 이야기 중이고 몇 주 안에 파트너를 더 알리겠다고 했어요.
앤트로픽은 생명과학 종사자에게 안전장치를 풀어 주는 검증 프로그램도 열었어요
생명과학 쪽 발표는 9월 17일에 같이 나왔어요. 이 검증 프로그램에 통과하면 미토스, 오퍼스, 소넷을 생물학 관련 작업에서 더 느슨한 안전장치로 쓸 수 있어요. 일반 배포판에서 막히던 신약 발굴, 연구 생물학, 임상 개발, 제조 분야의 작업을 열어 주는 것이 목적이에요. 사전 접근으로 이미 수십 곳이 들어와 있었고, 이제 베타로 팀과 기관에 문을 열었어요. 개인용 프로와 맥스 요금제는 나중이에요.
검증은 연구 자격, 보안 수준, 연구 윤리 감독 체계를 봐요. 승인은 두 종류인데, 표준은 대부분의 생명과학 작업을 팀 단위로 열어 주고 해마다 갱신해요. 고위험은 여기에 덧붙이는 것으로 생명과학 요청을 막는 안전장치를 전부 걷어 내고, 팀이 아니라 연구 과제 하나에만 적용하며 6개월마다 갱신해요. 고위험 승인은 오퍼스 5와 소넷 5에 대해서는 지금 받을 수 있고, 미토스는 추가 심사를 통과한 소수 기관으로 제한돼 있어요. 사이버 분류기 같은 다른 안전장치는 그대로예요.
앤트로픽이 걱정하는 경로는 세 가지예요. 계정 탈취나 악성코드로 접근 권한이 뚫리는 경우, 내부자가 악용하거나 협박당하는 경우, 무리 지어 일하거나 오래 걸리는 작업을 하는 에이전트가 의도치 않게 위험한 행동을 하는 경우예요. 대응 방식은 실시간 차단에서 사후 감시로 옮겨 가고, 이를 위해 30일 동안 기록을 보관하도록 요구해요. 그 자료는 따로 격리돼 모델 훈련에 쓰이지 않고 앤트로픽의 생명과학 연구팀도 볼 수 없어요. 자이라 테라퓨틱스, 에디슨 사이언티픽, 매니폴드 바이오가 파트너로 이름을 올렸고, 첫 주에만 수백 곳이 등록할 것으로 본다고 했어요.
말로 주고받는 제미나이 3.8 라이브가 두 종 나왔어요
9월 15일에 두 종이 같이 나왔어요. 제미나이 3.8 라이브는 대규모 사용과 비용 효율에 맞춘 모델로, 대화 능력과 자연스러운 주고받기, 화면 공유 기능을 합쳤어요. 제미나이 3.8 라이브 확장 사고는 복잡한 작업용이고 여러 단계를 거쳐 추론해요.
성능 수치는 확장 사고 항목에 몰려 있어요. 아티피셜 어낼리시스의 음성 대 음성 품질 지수에서 82.6점으로 1위, 에이전트 과제 완수에서는 타우-보이스 68.6%와 시에라의 타우-보이스-뱅킹 35.1%로 선두, 빅 벤치 오디오는 97.7%예요. 제미나이 3.8 라이브는 스피치 에이전트 아레나에서 2위를 했고, 서비스나우의 이바-벤치로도 평가했어요.
기능 면에서는 화면 입력을 거의 실시간으로 처리하고, 지원하는 97개 언어를 대화 도중에 알아서 감지해 갈아타요. 도구와 API 호출은 대화를 이어 가면서 뒤에서 실행해요. 확장 사고는 생각하면서 동시에 말하는데, "잠깐 확인해 볼게요" 같은 말을 먼저 꺼내고 진행 상황을 소리로 알려 주는 식이에요. 아고라, 피시잼, 랭체인, 라이브킷, 파이프캣, 버셀, 비전 에이전츠가 생태계에 합류했고 세일즈포스, 젠스파크, 루메리스가 파트너로 소개됐어요. 만들어진 소리에는 전부 신스ID 워터마크가 들어가요. 가격이나 지연 시간은 공개하지 않았어요.
법률 전용 구성 아스트라 포 로는 판례 색인을 통째로 붙였어요
9월 17일에 나온 이 구성은 GPT‑6 아스트라에 법률 검색 색인과 법률 분석·작성용 지시를 붙였어요. 하비와 레고라 같은 API 고객이 이걸 기반으로 자기 제품을 만들 수 있게 할 예정이고, API 공개는 아직 예정 단계예요. 챗GPT를 렐러티비티나 클리오 같은 도구에 잇는 생태계 플러그인 26개도 같이 나왔어요.
색인에는 미국 판례, 제정법, 규정, 법원 규칙, 행정 결정이 2억 3000만 개가 넘는 주소 단위로 들어가 있고, 새 자료가 매일 더해져요. 코트리스너를 운영하는 프리 로 프로젝트와 함께 작업해 공표된 미국 선례 판례의 99.9% 이상을 담았다고 밝혔어요.
시험은 밸스 AI의 법률 연구 벤치마크의 비공개 평가 세트에서 뽑은 미국 법률 연구 질문 200개로 했어요. 추론 강도를 최대로 뒀을 때 전체 정확성 검사를 통과한 비율이 54.0%였고, 웹 검색만 붙인 GPT‑6 아스트라는 38.7%였어요. 오픈AI는 이를 상대 40% 개선이라고 했는데, 계산하면 39.5% 남짓이에요. 판례 중심 질문에서는 참조 판례를 24% 더 찾았고, 감사를 거친 목표 구절 묶음에서는 같은 추론 강도로 올바른 법원 의견에서 최대 54% 더 많은 구절을 가져왔어요. 지금은 선정된 로펌에 챗GPT와 코덱스의 신뢰 접근 권한으로 먼저 제공하고, API는 곧 연다고 적었어요.
오픈AI는 챗GPT 안에서 광고주와 대화하는 스폰서 에이전트 시험도 시작했어요
광고 이야기는 9월 16일에 나왔어요. 챗GPT에서 광고를 누르면 그 기업이 후원하는 에이전트와 대화를 시작할 수 있어요. 후원받은 대화라는 표시가 붙고, 챗GPT가 스스로 내놓는 답변과 구분되고 원래 대화와도 분리돼요. 지금은 미국에서 일부 광고주와 함께 시험 중이에요.
광고주 쪽 도구도 같이 나왔어요. 애즈 매니저 플러그인으로 챗GPT에서 말로 캠페인을 만들고 고치고 분석할 수 있고, 랜딩 페이지와 캠페인 목표를 보고 문구와 이미지를 제안해 줘요. 제안은 광고주가 검토하고 고친 뒤에 넣어요. 따로 켜면 대화 맥락에 맞춰 제목과 설명을 바꾸고 사용자가 쓰는 언어로 자동 번역해요. 첫 CRM 파트너는 허브스팟, 첫 이커머스 파트너는 쇼피파이예요. 쇼피파이 앱 스토어의 챗GPT 애즈 앱은 미국 판매자부터 쓸 수 있고, 9월 23일부터는 챗GPT 광고가 열린 다른 나라로도 넓어져요.
출처
- Our framework for reporting model misalignment — OpenAI
- Measurements for understanding the pace of AI development inside frontier labs — Anthropic
- Partnering with Accenture on embedded evaluation — Anthropic
- Introducing the Life Sciences Verification Program — Anthropic
- Introducing Gemini 3.8 Live and 3.8 Live Extended Thinking — Google
- Introducing Astra for Law — OpenAI
- Reimagining advertising with AI — OpenAI
여기 적은 성능·투자·비율 수치는 전부 각 회사가 자기 모델과 자기 절차를 두고 스스로 발표한 값이에요. 오픈AI가 공개한 여섯 건도 회사가 골라서 내놓은 사례예요. 앤트로픽의 26%와 0.002% 역시 회사가 정한 분류 기준과 한 주 또는 한 달짜리 표본에서 나온 값이라 그대로 추세로 읽기는 어려워요. 대표 이미지는 직접 만든 표지 카드예요.