birchholt 직접 해보고 남기는 기록

에이전트 하네스 실습 기록

LLM 에이전트에서 모델 바깥을 맡는 코드, 즉 모델을 호출하고 대화를 들고 있고 도구를 실행해 주는 하네스를 직접 돌려 본 기록을 모은 곳입니다. 공개된 harness-engineering-101 레포의 MIT 코드를 Gemini API(gemini-3.6-flash)로 옮겨 실행했고, 대화가 매번 다시 보내는 배열이라는 것, 도구 호출을 누가 실행하는지, 에이전트 루프가 언제 멈추는지를 다룹니다.

글마다 실제 요청·응답 로그와 토큰 수, 실행 날짜를 적었고, 확인하지 못한 것은 따로 적어 두었습니다. 모델이나 API가 다르면 숫자가 달라질 수 있으니 본문의 실행 조건을 먼저 확인해 보시기 바랍니다.

글 4편

· 에이전트 하네스

에이전트 루프는 몇 바퀴 도나: 27바퀴, 50바퀴 상한, 상한 없이 돌린 폴링을 직접 돌려 본 기록

LLM 에이전트가 도구만 계속 부르고 답을 안 줄 때 하네스 안에서 무슨 일이 일어나는지, 에이전트 루프를 Gemini로 돌려 바퀴 수·토큰·실패 처리를 로그로 확인했습니다.

읽기 →
· 에이전트 하네스

LLM 도구 호출(function calling)은 누가 실행할까 — 하네스 코드로 따라가 본 tool_use 한 바퀴

모델에 도구를 붙이면 응답에 실행 결과가 아니라 '이걸 실행해 달라'는 JSON이 돌아옵니다. MIT 공개 코드의 v2 하네스를 Gemini로 옮겨 돌린 로그로 요청과 결과가 메시지 배열에 끼어드는 자리, Anthropic과 Gemini 형식 차이, 허용목록이 필요한 이유를 확인합니다.

읽기 →
· 에이전트 하네스

LLM 대화를 매번 통째로 보내면 서버는 다시 계산할까 — 프롬프트 캐싱 실측

LLM API는 대화 배열 전체를 매번 다시 받습니다. 이미 보낸 앞부분을 서버가 어떻게 알아보고 재사용하는지(해시로 맞추는 프리픽스 캐싱, 이름으로 부르는 캐시, 서버가 대화를 들고 있는 방식)를 제공사 문서와 Gemini 실측으로 정리했습니다.

읽기 →
· 에이전트 하네스

LLM은 앞 질문을 어떻게 기억하나 — 대화는 매번 통째로 보내는 JSON 배열입니다

LLM API로 두 번째 질문을 보내면 모델이 첫 질문을 아는 것처럼 답합니다. 세 번 호출한 실제 요청·응답 로그로, 대화가 내 코드의 배열 하나라는 것과 이번 Gemini 실행에서 입력 토큰이 직전 호출 전체만큼 불어난 과정, 그리고 그렇게 자라는 배열에 컨텍스트 한도가 있는 이유를 보여 드립니다.

읽기 →