AI는 답하는 기술에서 일하는 기술로 진화하고 있다

블로그 > 글 목록 > AI는 답하는 기술에서 일하는 기술로 진화하고 있다

에이전틱 AI 시대, 모델 경쟁의 기준은 어떻게 달라지고 있을까?

1컷: 아기 호랑이가 노트북 앞에서 '루시, 이제 이런 것도 알아서 다 할 수 있어?'라고 묻자 AI 로봇 루시가 '네! 메일 작성부터 발송까지 자동으로 가능합니다!'라고 답한다. 옆에서 안경 쓴 고양이가 머그컵을 든 채 고개를 갸웃한다

2컷: 아기 호랑이가 시장 조사 결과, 경쟁사 분석, 기획안 초안, 참고 자료 더미를 가리키며 '좋아! 이 자료 정리해서 메일 보내줘!'라고 하자 루시가 '네! 내용을 정리해서 바로 보내겠습니다!'라고 답한다. 고양이는 땀을 흘리며 불안해한다

3컷: 루시가 '요청하신 대로 메일 발송을 완료했습니다!'라고 알리고, 화면에는 대표님·팀원 전체·고객사·파트너사·외부 협력사·동창 모임·이전 회사 동료 등 40명 넘는 수신자에게 '[공유] 기획안 초안 및 참고 자료'와 첨부파일 12개가 발송된 모습이 보인다. 호랑이와 고양이가 깜짝 놀란다

4컷: '메일 발송 전 이건 꼭 확인하자!' 체크리스트(받는 사람, 참조/숨은참조, 첨부 파일, 메일 내용, 보내는 시간, 사람의 최종 승인)와 'AI는 실행하지만, 책임은 우리에게' 메모 앞에서 고양이가 '확인은 누가 하는데?'라고 묻는다. 호랑이는 책상에 엎드려 있고 루시는 어리둥절해한다

컷을 누르면 크게 볼 수 있습니다.

새로운 AI 모델이 발표되면 가장 먼저 눈이 가는 것은 성능이다. 이전보다 얼마나 정확하게 답하는지, 복잡한 문제를 얼마나 잘 푸는지, 벤치마크에서 몇 점을 받았는지를 살펴보게 된다. 그런데 가장 똑똑한 AI가 반드시 가장 일을 잘하는 AI일까?

질문에 답하는 능력과 업무를 끝까지 해내는 능력은 서로 연결되어 있지만, 같은 잣대로 평가하기는 어렵다. 올바른 설명을 만들어 내더라도 필요한 도구를 잘못 고르거나, 업무 규칙을 놓치거나, 중간에 생긴 오류를 수습하지 못하면 원하는 결과에 닿을 수 없기 때문이다.

에이전틱 AI가 가져오는 변화는 바로 여기에 있다고 생각한다. 모델의 성능 경쟁은 계속되겠지만, 이제는 그 성능을 실제 성과로 이어 주는 실행력과 비용, 신뢰성까지 함께 따져야 한다.

AI가 답하는 것과 일을 한다는 것의 차이

대화형 AI에서는 사람이 질문하고, 답을 받고, 다음에 무엇을 할지 스스로 정하는 경우가 많았다. 에이전트는 다르다. 주어진 목표와 권한 안에서 도구를 고르고, 실행 결과를 확인하고, 다음 작업으로 넘어간다. 다만 정해진 순서대로 움직이는 워크플로와, 모델이 다음 행동을 직접 선택하는 에이전트는 구분해서 볼 필요가 있다. 모든 AI 자동화가 같은 수준의 자율성을 갖는 것은 아니기 때문이다.

이 변화는 개발 도구에서도 드러난다. OpenAI는 2025년 3월 Responses API와 Agents SDK를 발표하면서 웹 검색, 파일 검색, 컴퓨터 사용, 실행 과정 추적을 에이전트 개발의 구성 요소로 내세웠다.

내가 눈여겨보는 것은 기능의 개수보다 기능이 이어지는 방식이다. 검색 결과를 알려 주는 데서 멈추는지, 아니면 필요한 자료를 찾아 정리하고 업무의 다음 단계까지 나아가는지에 따라 제품의 역할이 완전히 달라진다.

실패의 의미도 함께 달라진다. AI가 잘못된 설명을 내놓는 것과 실제 데이터를 잘못 변경하는 것은 무게가 다르다. 답변에도 위험은 있지만, 실행 권한이 주어지는 순간 오류는 시스템에 곧바로 반영될 수 있다.

그래서 일을 하는 AI를 설계할 때는 무엇을 할 수 있는지만으로는 충분하지 않다. 어떤 행동까지 허용할지, 어느 지점에서 사람의 확인을 받을지, 실패하면 어떻게 되돌릴지도 함께 정해야 한다.

모델의 지능과 업무 수행 능력은 같을까?

벤치마크는 모델의 능력을 비교하는 데 유용한 도구다. 하지만 그 점수가 정확히 무엇을 측정하는지 확인하지 않으면, 문제를 푸는 능력을 실제 업무 능력으로 넓혀 해석하기 쉽다.

SWE-bench는 실제 GitHub 이슈와 코드 저장소를 바탕으로 수정 작업을 평가한다. 원 논문은 12개 Python 저장소에서 모은 2,294개 문제를 제시했다. 짧은 코드 조각을 만들어 내는 능력을 넘어, 기존 코드의 맥락을 이해하고 여러 파일에 걸친 문제를 해결하는 능력을 보려는 시도다.

업무의 신뢰성을 더 직접적으로 묻는 평가도 있다. 2024년 6월 공개된 τ-bench는 소매와 항공 분야를 본뜬 환경에서 에이전트가 사용자와 대화하고, API 도구를 쓰고, 업무 규칙을 지키는지를 평가한다. 작업이 끝난 뒤 데이터베이스 상태가 목표한 상태와 일치하는지도 확인한다.

이 논문에서 GPT-4o 등을 활용한 당시의 함수 호출 에이전트는 작업 성공률이 50%에 미치지 못했다. 소매 분야의 pass⁸, 즉 같은 과제를 여덟 번 맡겼을 때 여덟 번 모두 성공할 확률은 25% 미만이었다. 물론 이 수치는 2024년 연구 당시의 모델과 설정에서 나온 결과이고, 지금의 모든 에이전트 성능을 뜻하지는 않는다.

이 연구의 메시지는 ‘AI는 일을 못한다’는 결론이 아니다. 한 번 성공하는 것과 반복해서 믿고 맡길 수 있는 것은 서로 다른 문제라는 점이다. 시연에서는 한 번의 성공만으로도 충분히 인상적일 수 있다. 하지만 실제 운영에서는 같은 일을 여러 번 맡겼을 때 얼마나 안정적으로 처리하는지가 더 중요하다. 그래서 공개 벤치마크와 함께, 실제 업무의 완료 기준과 규칙 준수 여부, 사람이 다시 손봐야 하는 정도까지 평가해야 한다고 생각한다.

성과가 높아지면 비용도 정당화될까?

에이전트는 하나의 작업을 처리하면서 모델을 여러 번 호출하고 도구를 사용한다. 더 많이 탐색하고 검증할수록 결과는 나아질 수 있지만, 그만큼 자원도 더 들어간다.

Anthropic이 2025년 6월 공개한 Research 시스템 개발 사례가 이 관계를 잘 보여 준다. Claude Opus 4를 주도 에이전트로, Claude Sonnet 4를 하위 에이전트로 구성한 시스템이 자체 연구 평가에서 단일 Opus 4 에이전트보다 90.2% 높은 성과를 냈다고 한다. 여기서 주의할 점이 있다. 이것은 성공률이 90.2%라는 뜻도, 90.2%포인트가 올랐다는 뜻도 아니다. 기업 내부 평가에서 보고한 상대적인 개선이며, 모든 업무에 그대로 일반화할 수는 없다.

같은 자료에서 Anthropic은 자사 데이터 기준으로 에이전트가 일반 대화보다 약 4배, 다중 에이전트 시스템은 약 15배의 토큰을 쓴다고 설명했다. 그래서 늘어난 비용을 정당화할 만큼 가치가 큰 작업에 적용해야 한다고 짚었다. 토큰 사용량의 배수가 곧 청구 금액의 배수는 아니다. 모델마다 가격이 다르고 도구 비용도 따로 들기 때문이다. 그래도 더 높은 성과를 내는 구조가 늘 더 저렴한 구조와 일치하지는 않는다는 점은 분명하다.

독립적인 연구에서도 비슷한 문제를 제기한다. 2024년 공개된 「AI Agents That Matter」는 정확도에만 치우친 에이전트 평가가 불필요하게 복잡하고 비싼 설계를 부추길 수 있다고 분석했다. 연구진은 정확도와 비용을 함께 최적화하고, 정확도를 지키면서 비용을 줄이는 접근을 제안했다.

그래서 기업이 던져야 할 질문은 ‘토큰 가격이 얼마인가’에서 한 걸음 더 나아가야 한다고 본다.
원하는 품질의 결과를 얻기까지, 모두 합쳐 얼마의 비용과 시간이 드는가?

모델 호출과 도구 사용 비용에 재시도 비용, 그리고 사람이 검토하고 수정하는 시간까지 더해야 실질적인 경제성을 판단할 수 있다. 여러 모델을 조합하는 방식도 이 기준으로 검증해야 한다. 복잡한 구조를 도입했다는 사실만으로 효율이 좋아지지는 않는다.

AI가 일을 잘할수록 사람의 개입은 줄어들어야 할까?

자동화의 성과를 ‘사람의 개입이 얼마나 줄었는가’로만 평가하면 중요한 차이를 놓칠 수 있다. 정보를 조회하는 일과 데이터를 삭제하는 일, 문서를 작성하는 일과 그 문서를 외부로 보내는 일은 책임의 무게도, 실행을 되돌릴 수 있는 여지도 다르다.

앞서 언급한 OpenAI의 2025년 에이전트 도구 발표도 컴퓨터 사용 기능의 한계와 함께 민감한 작업의 확인 절차, 환경 격리, 프롬프트 인젝션 대응 같은 내용을 함께 설명했다. 당시 공개된 CUA의 OSWorld 성공률은 38.1%였고, 운영체제 작업을 자동화할 때는 사람의 감독을 권고했다. 이 역시 발표 시점의 결과다. 지금의 성능을 대표하는 숫자로 읽기보다는, 실행 기능을 내놓는 기업조차 능력과 통제를 함께 다뤘다는 사례로 보는 편이 맞다.

NIST의 AI Risk Management Framework는 AI 시스템을 설계하고 개발하고 활용하고 평가하는 과정에서 위험을 관리하도록 돕는 자발적 프레임워크다. 에이전트에 특정 승인 절차를 의무화한 규정은 아니지만, 성능 말고도 영향과 책임을 함께 들여다보는 관점을 제공한다.

나는 좋은 자동화가 사람의 개입을 무조건 없애는 방향으로만 발전한다고 보지 않는다. 반복적인 확인은 줄이되, 중요한 판단이 필요한 순간에는 사람이 개입할 수 있어야 한다. 언제 승인을 요청하고 언제 스스로 처리해도 되는지 구분하는 것, 문제가 생겼을 때 멈추고 그 이유를 설명하는 것도 업무 수행 능력의 일부다. 어디까지 자동화할지 정하는 설계가 결국 AI의 실용성을 좌우할 수 있다.

결국 경쟁하는 것은 모델일까, 시스템일까?

Anthropic의 연구 사례에서 인상적이었던 부분은 모델 조합만이 아니다. 작업을 나누는 방식, 도구 설명, 평가, 실행 추적, 오류가 난 뒤 다시 이어 가는 방법 같은 운영 설계가 함께 다뤄진다.

이 점을 제품의 관점에서 보면 경쟁력의 범위가 훨씬 넓어진다. 모델은 중요한 기반이지만, 사용자가 경험하는 것은 모델의 잠재력이 아니라 서비스가 실제로 만들어 낸 결과다. 같은 모델을 쓰더라도 어떤 데이터에 접근하는지, 어떤 권한을 갖는지, 오류를 어떻게 발견하고 수습하는지에 따라 결과는 달라진다. 그래서 모델을 바꾸면 풀리는 문제와 업무 설계를 바꿔야 풀리는 문제를 구분하는 일이 필요하다.

PM과 PO의 역할도 여기서 구체적으로 드러난다. 최신 모델을 고르기에 앞서, 사용자가 해결하려는 문제가 무엇이고 어디까지 되어야 ‘완료’인지를 먼저 정의해야 한다. AI가 작성한 보고서가 존재한다는 것과, 그 보고서가 실제 의사결정에 쓰일 수 있다는 것은 전혀 다른 이야기다.

업무 완수율, 규칙 준수율, 사람의 수정 시간, 처리 시간, 완수한 업무당 비용을 함께 살피면 제품이 만든 가치를 더 구체적으로 판단할 수 있다. 다만 이 지표들은 모든 제품에 똑같이 적용하는 표준이라기보다, 업무 목적에 맞게 골라서 정의해야 할 평가 항목이다.

내가 예상하는 변화는 모델 경쟁의 종말이 아니다. 더 뛰어난 모델을 만드는 경쟁에, 그 모델로 믿을 만한 서비스를 만드는 경쟁이 더해지는 것이다.

AI의 경쟁력은 무엇을 완수할 수 있는가에 달려 있다

‘AI가 일을 할 수 있다’는 말은 매력적이다. 하지만 이 말이 의미를 가지려면 어떤 일을, 어떤 조건에서, 어느 정도의 신뢰성과 비용으로 해내는지까지 설명할 수 있어야 한다.

벤치마크의 높은 점수는 중요한 출발점이고, 기업들의 성공 사례도 가능성을 보여 준다. 다만 어느 쪽도 우리 조직의 업무 성과를 보장해 주지는 않는다. 실제로 맡길 일을 기준으로 직접 검증하는 과정이 여전히 남아 있다. 그래서 앞으로 AI의 경쟁력을 이야기할 때 나는 질문 하나를 더 보태고 싶다.

이 AI는 무엇을 얼마나 안정적으로 완수하며,
그 결과는 누구에게 어떤 가치를 만드는가?

성능과 실행력, 비용과 책임을 함께 묻는 순간 AI 도입은 기술 선택의 문제를 넘어 제품과 업무를 설계하는 문제가 된다. 좋은 모델을 확보하는 능력과 좋은 결과를 만들어 내는 능력이 함께 중요해지는 것이다.

이 관점은 한국 AI 산업으로도 이어진다. 독자 모델을 개발하는 전략과, 기존 모델을 활용해 산업별 서비스를 만드는 전략은 각각 어떤 문제를 풀고 어떤 경쟁력을 쌓을 수 있을까? 두 전략을 양자택일로 보기 전에, 우리가 확보하려는 가치가 무엇인지부터 살펴볼 필요가 있다.

✍️ 이 글은 공개된 기업 발표와 연구 자료를 참고하고 AI의 도움을 받아 작성·편집했습니다. 본문의 수치는 각 연구·발표 당시의 모델과 평가 조건에 한정되며, 최신 모델 순위가 아닌 공개 연구를 바탕으로 한 기술 논평입니다. 제품 전략과 산업 경쟁에 관한 해석에는 개인적인 관점이 담겨 있습니다.