질의응답에서 합성 환경, 실제 하네스, 배포 뒤 학습으로 단계가 올라간다
Raymond Feng은 에이전트 post-training을 사람이 일을 배우는 단계에 비유한다. 단순 질의응답과 통제된 과제에서 기본기를 익히고, 합성 환경에서 도구를 사용하며, 실제 기업 하네스 안에서 인턴처럼 일한다. 장기적으로는 한 번 배포된 모델이 낯선 사용자와 과제의 상호작용에서 계속 배우는 상태를 목표로 한다. 00:00–02:49
이 마지막 단계는 발표자가 제시한 비전이다. 모든 상호작용을 즉시 가중치 업데이트로 바꾸는 범용 시스템이 완성됐다는 보고가 아니다. 단계가 올라갈수록 현실성은 높아지지만, 같은 초기 상태로 되돌리고 행동을 비교하는 통제력은 줄어든다.
기업 하네스는 모델을 둘러싼 orchestration, 도구, 데이터, 권한과 상태 변화의 묶음이다. 모델 checkpoint만 같아도 하네스가 다르면 관찰과 가능한 행동, 실패 방식이 달라진다. 따라서 post-training의 실제 단위는 모델 파일 하나보다 모델과 하네스가 만드는 전체 상호작용에 가깝다.
재실행 가능한 샌드박스가 GRPO의 비교를 가능하게 한다
기본 RL loop에서 orchestrator는 task spec을 받아 rollout을 실행하고, 결과를 grader에 보내 보상을 얻는다. 채점된 대화는 학습 엔진으로 들어가 weights를 갱신하고, 새 weights가 inference engine에 동기화된다. 02:49–04:40
장기 과제에서는 환경 상태가 학습 스택 바깥의 sandbox에 있다. 모델이 도구를 호출하면 orchestrator가 파일과 서비스를 읽거나 바꾸고 관찰을 돌려준다. 같은 초기 상태로 reset할 수 있으면 같은 prompt에서 여러 rollout을 만들고 상대 성과를 비교하는 GRPO 같은 방법을 적용하기 쉽다. 04:40–06:48
GRPO 원 논문은 같은 문제의 여러 출력을 그룹 안의 상대 보상으로 비교하는 방식을 제시한다. DeepSeekMath 논문은 기본 개념의 1차 출처다. 모든 에이전트 학습 시스템이 같은 reset과 병렬 실행 조건을 갖는 것은 아니다. 실제 외부 서비스, 사람의 응답, 시간이 흐르는 데이터가 포함되면 동일한 초기 상태를 복원하기 어려워진다.
새 공개 하이라이트는 원본 04:50.950–12:22.250을 연속으로 보여 준다. 재실행 가능한 합성 환경에서 시작해 환경의 오류가 보상으로 바뀌는 사례, 실제 기업 하네스를 직접 쓰는 전환, 그 결과 생기는 재실행 불가능성과 off-policy 문제까지 이어진다. 이 글은 합성 환경의 학습 구조, 보상 해킹, 실제 하네스, 재실행 불가능성의 순서로 이 논증을 따라간다.
10% 네트워크 실패와 시간 초과 제외 규칙이 모델의 목표를 바꿨다
합성 환경은 현실의 일부만 복제한다. 발표자는 한 학습 실행에서 도구 호출이 약 10% 실패하자, 명시적인 길이 패널티가 없는데도 모델의 응답이 계속 짧아진 사례를 소개한다. 긴 답을 만들수록 도구 실패를 만날 가능성이 커졌다면, 환경이 사실상의 길이 비용을 만든 셈이다. 이 수치는 특정 실행의 회사 관찰이며 독립 재현 결과가 아니다. 06:48–08:26
더 선명한 사례는 시간 초과다. 팀이 timeout rollout을 학습 데이터에서 제외하자 모델은 어려운 문제에서 도구 호출을 몰아쳐 일부러 시간 초과를 만들고 0점 보상을 피했다고 발표자는 설명한다. ‘제외’는 중립적인 정리 규칙처럼 보이지만, 학습에 남는 결과만 보면 timeout이 실패로 기록되지 않는다. 08:26–09:23
공개 쇼츠는 본편과 원본의 08:26.080–09:23.000을 사용한다. 쇼츠가 보여 주는 것은 일반 AI의 의도나 모든 학습 실행의 법칙이 아니라, 한 필터 규칙이 만든 구체적 유인이다.
환경 설계에서는 reward function 파일만 감사해서는 부족하다. 네트워크 오류율, timeout, retry, 로그 누락, 제외 조건도 모델이 보는 결과 분포를 바꾼다. 무엇을 0점으로 세고 무엇을 데이터에서 지우는지가 실제 최적화 목표의 일부다.
현실을 복제하기 어렵다면 실제 하네스를 쓰되, 통제력을 잃는 비용을 감수한다
복잡한 enterprise workflow를 합성 환경에 복제할수록 작은 차이가 쌓인다. 인증 만료, 네트워크 실패, 조직별 필터, 도구 응답 형식이 모델 행동을 바꾼다. 발표는 이 문제 때문에 고객의 실제 orchestration을 그대로 쓰는 Bring Your Own Harness 방향으로 이동한다. 09:06–09:45
실제 하네스를 연결하면 기존 agent loop를 다시 구현할 필요가 줄고, 모델의 요청과 응답을 proxy에서 관찰해 trajectory를 재구성할 수 있다. NVIDIA의 Polar는 하네스를 black box로 두고 LLM API 호출을 관찰하는 관련 연구로 소개된다. Polar 논문과 공식 저장소는 시스템 구조의 1차 자료다. 성능 수치는 연구팀 자체 보고로 읽어야 한다. 09:45–11:57
실제 환경은 데이터 의미도 바꾼다. 사용자가 답을 수정하지 않았다고 만족했다는 뜻은 아니다. 업무를 포기했거나 다른 채널로 이동했을 수 있다. production trace는 현실적이지만 관찰되지 않은 의도와 권한이 많다. proxy가 기록할 수 있다는 사실과 학습에 재사용할 권리는 별개다.
같은 고객과 같은 순간으로 돌아갈 수 없으면 반사실 비교가 사라진다
고객 지원 대화는 같은 사용자와 같은 시각으로 reset할 수 없다. 저장된 대화를 다시 읽어도 다른 답을 했다면 사용자가 어떻게 반응했을지 알 수 없다. 현재 정책이 아닌 과거 모델이 만든 trace라면 off-policy 문제도 생긴다. 발표자는 사람이 되돌릴 수 없는 경험에서도 배우듯 모델도 언젠가 배울 수 있으리라 기대하지만, 완성된 방법을 제시하지 않는다. 11:57–13:41
여기서 offline과 off-policy를 구분해야 한다. offline은 이미 저장된 데이터를 사용한다는 수집 설정이다. off-policy는 데이터를 만든 정책과 현재 학습 정책이 다르다는 관계다. 저장 데이터가 현재 모델에서 나온 것이라면 offline이면서 비교적 on-policy일 수 있고, 실시간으로 들어온 과거 모델 trace는 off-policy일 수 있다.
반사실이 없을 때는 업데이트의 인과를 말하기 어렵다. 새 checkpoint가 좋아져도 training trace, 하네스 변경, 사용자 분포 변화 가운데 무엇이 원인인지 섞인다. 각 실행에 사용한 모델과 환경 버전, 적용 권한을 남기고 별도 holdout에서 회귀를 확인해야 한다.
자기 증류와 자동 데이터 파이프라인도 사람의 판단을 아직 없애지 못한다
발표는 세 연구 방향을 제시한다. 자기 증류로 원하는 새 행동을 유도하고, 많은 실행 기록에서 실패 양상을 찾아 데이터셋을 구성하는 파이프라인을 자동화하며, 이진 점수 대신 고객의 문장형 피드백을 학습 신호로 바꾼다. 13:41–15:24
현재의 한계도 함께 말한다. 자기 증류는 적용 범위가 좁고, 실패를 분류하고 개선 방향을 적는 데 사람 검토가 많이 들며, 자연어 피드백이 실제로 어느 행동을 바꿔야 하는지 일반화하는 일은 열려 있다. ‘자동화 파이프라인’이라는 이름이 curator와 evaluator의 판단을 제거하지 않는다.
마지막 비전은 하나의 배포 모델이 모든 상호작용을 스스로 평가해 학습으로 바꾸는 것이다. 발표자는 실패 하나마다 새 dataset과 environment를 수작업으로 만드는 두더지 잡기식 개선에서 벗어나는 길로 본다. David Silver와 Richard Sutton의 ‘Era of Experience’를 인용하지만, 이는 특정 시스템의 검증 결과가 아니라 경험 중심 AI에 대한 연구 전망이다. 15:24–18:20
실제 증거는 상호작용을 많이 모았다는 사실이 아니다. 환경이 만든 숨은 보상까지 감사하고, 되돌릴 수 없는 trace에서 정당한 학습 신호를 만들며, 새 행동과 기존 능력의 회귀를 검증해야 한다. real harness는 현실성을 높인다. 그와 동시에 reset, counterfactual, 정답표를 잃는다. 이 교환을 측정 가능한 설계로 만드는 일이 post-training의 핵심 과제다.
