ITBench-AA 공부 정리 | 에이전트 AI가 실무 IT 작업을 얼마나 잘할까

Hugging Face 블로그에 IBM Research와 Artificial Analysis가 공동으로 만든 벤치마크, ITBench-AA 발표가 올라왔다. 에이전트 AI가 기업 IT 작업을 얼마나 잘 처리하는지 측정하는 첫 번째 시도라는 내용이었다. “프론티어 모델들이 50% 이하”라는 제목이 눈에 걸려서 좀 읽어봤다.

AI 에이전트 관련 도구나 발표가 요즘 많이 나오는데, 실제로 에이전트가 어떻게 평가되는지는 잘 몰랐다. 이 글은 그 구조를 공부하면서 정리한 것이다.

1️⃣ 이게 뭐냐

ITBench-AA는 기업 IT 환경에서 에이전트 AI가 실무 수준의 작업을 처리할 수 있는지 평가하는 벤치마크다. 첫 번째 트랙은 SRE(Site Reliability Engineering), 구체적으로는 Kubernetes 인시던트 응답에 초점을 맞췄다.

작업 형식은 이렇다. AI에게 Kubernetes 클러스터 스냅샷을 준다. 알림, 로그, 트레이스, 메트릭, 토폴로지 같은 데이터들이다. AI는 이걸 탐색하면서 인시던트의 근본 원인이 되는 Kubernetes 엔티티를 찾아야 한다. 단순 질문-답변이 아니라, AI가 직접 셸에 접근해서 여러 단계에 걸쳐 조사하는 방식이다.

채점 방식도 인상적이었다. 근본 원인을 하나라도 놓치면 0점이다. 모든 원인을 찾아낸 뒤 불필요한 답을 얼마나 적게 포함했는지로 점수가 결정된다. 과잉 진단과 과소 진단 모두 불이익을 받는 구조인 것 같다.

공개된 59개 작업에서 가장 높은 점수를 낸 건 Claude Opus 4.7로 47%였다. 나머지 모델들은 대부분 그 아래였다. “프론티어 모델들도 과반을 못 넘는다”는 게 이 벤치마크의 첫 번째 메시지인 것 같다.

2️⃣ 내가 든 생각

흥미로웠던 건 조사 횟수(턴)와 성능이 비례하지 않는다는 점이었다. GPT-5.5는 31턴으로 46%를 냈는데, Gemini 3.1 Pro는 83턴이나 쓰고도 30%에 그쳤다. 많이 파는 것보다 어디를, 어떻게 파는지가 중요하다는 이야기처럼 느껴졌다.

비용 쪽도 인상적이었다. 작업당 비용이 가장 낮은 모델(Gemma 4 31B)이 37%를 냈고, 가장 비싼 모델(Claude Opus)이 47%를 냈다. 40배가 넘는 비용 차이에 성능 차이는 10%포인트 정도라면, 어느 쪽이 나은지는 상황에 따라 달라질 것 같다.

디자이너 입장에서 보면, 이런 결과가 에이전트 도구의 UI 설계에 어떤 질문을 던지는지가 궁금해졌다. AI가 80턴을 돌리는 동안 사용자는 뭘 보고 있어야 하는가. 조사 과정을 어느 수준까지 보여줄 것인가. 과잉 조사를 어떻게 감지하고 멈출 것인가.

👉🏻 정확도 47%를 어떻게 읽어야 할지가 좀 애매했다. “고작 47%”인지, “이렇게 복잡한 작업을 절반 가까이 맞춘다”인지.

💡 여기서 드는 질문?
이 벤치마크가 어떤 종류의 에이전트에 유리하게 설계되어 있는지도 궁금해졌다. Kubernetes 인시던트에 특화된 도구와 범용 LLM을 같은 기준으로 평가하는 게 공정한 비교인지.

⭐️ 마지막으로, 에이전트 벤치마크를 공부하면서 느낀 점

공부 끝에 남은 건 “잘 한다는 게 뭔가”라는 한 줄짜리 질문이다. ITBench-AA는 근본 원인을 정확히 찾는 것을 기준으로 삼고 있는데, 그게 전부는 아닐 것 같다는 생각이 들었다. 속도, 비용, 과정의 투명성 같은 요소들은 점수에 잡히지 않는다. 벤치마크가 측정하는 것과 실제 필요한 것 사이에 늘 이 같은 간극이 있는 것 같다.

---

참고 원문: ITBench-AA: Frontier Models Score Below 50% on the First Benchmark for Agentic Enterprise IT Tasks