대회 · 2026
AI_TOP_100 2026 온라인 예선 회고
규격은 전부 통과했고, 정작 배점 1번을 계기 없이 지나갔다
규격 검증은 자동화했고 숫자도 전부 통과했다. 떨어진 이유는 검증하지 않은 쪽에 있었다.
AI_TOP_100 [2026] 온라인 예선에 참가했다. 결과는 탈락이다. 본선에 가지 못했으니 잘 만든 부분을 자랑하는 글은 의미가 없고, 어디서 시간을 잘못 썼는지를 남긴다.
대회가 제공한 문제 설정과 데이터, 관계자와의 대화 내용은 대회 종료 후에도 외부 공유가 금지되어 있다. 그래서 이 글에는 구조만 적고 구체적인 제한 수치나 시스템 내부 사양은 쓰지 않는다. 내가 만든 설계와 내가 측정한 수치만 쓴다.
대회 개요
| 예선 | 2026-10-31(토) 10:00 ~ 15:00 (대기실 09:00 입장) |
| 제출 | 1회뿐, 수정·재제출 불가. 15:00 자동 마감 |
| 심사 | 10/31 16:00 ~ 11/1 24:00 |
| 결과 | 11/4(수) |
| 본선 | 11/21(토), 카카오 AI 캠퍼스 |
과제는 가상의 온라인 쇼핑몰 고객을 응대하는 AI 에이전트를 만드는 것이었다. 특이한 점은 두 가지였다.
첫째, 제출물이 실제로 동작하는 카카오톡 봇이어야 한다. 심사는 운영진이 고객 역할로 카카오톡에서 30개 내외의 시나리오를 직접 보내는 방식이다. 그래서 모델 성능 이전에 웹훅 서버와 배포가 33시간 동안 살아 있어야 한다.
둘째, 에이전트가 쓸 지식을 직접 캐야 한다. 규정집이 주어지지 않는다. 마을 관계자가 여러 명 있는데 처음에는 한 사람의 채널만 열려 있고, 그 사람과 카카오톡 1:1로 대화해 다음 사람의 연락처를 받아 나가는 구조다. 관계자당 질문 횟수와 메시지 길이, 응답 대기 시간에 제한이 걸려 있어서 아무렇게나 물어볼 수 없다.
심사 기준은 다섯 가지였다(배점 비공개).
- 인터뷰로 획득한 지식 수
- p95 응답 속도
- 평균 말풍선 수
- 평균 글자 수
- 응답 정확도
2~4번은 5번에 가중치가 걸린다. 정확도가 곱셈 인자이고, 그 정확도의 재료가 1번이다. 이 구조를 대회 전에 문서로 정리해 뒀는데도 결과적으로는 거꾸로 움직였다.
1초 SLA를 프롬프트가 아니라 구조로 막았다
카카오톡 봇 API는 웹훅에 1초 이내 2xx를 요구한다. LLM을 동기로 호출하면 반드시 초과한다. 그래서 웹훅 핸들러에서는 아무것도 기다리지 않게 했다.
웹훅을 받으면 즉시 204로 끊고, 백그라운드 태스크에서 에이전트를 돌린 뒤 카카오 콜백 엔드포인트로 답장을 따로 보낸다. 실측 ack는 최대 13밀리초였다.
여기서 예상 못 한 문제가 하나 나왔다. 카카오톡은 사진과 글을 함께 보낼 수 없어서, 고객이 사진을 먼저 보내고 설명을 타이핑한다. 서버에는 별개의 웹훅 이벤트 두 건으로 도착한다. 각각 답하면 말풍선이 두 개가 되고, 말풍선 수는 배점 항목이다.
연속 메시지를 잠깐 모아 한 번만 답하게 했다. 대기 시간은 상황별로 다르게 뒀다. 글만 왔으면 1.2초, 사진과 글이 다 모였으면 2.5초, 사진만 와 있으면 설명을 기다리느라 25초다. 모든 응답에 같은 지연을 붙이면 p95만 나빠진다.
사진 메시지의 본문에는 이미지 URL이 그대로 들어온다. 이걸 설명으로 세는 바람에 사진만 와 있는데 바로 답해버려 말풍선이 두 개가 된 적이 있다. URL 한 덩어리는 설명으로 세지 않도록 고쳤다.
심사 기준을 그대로 코드 제약으로 옮겼다
- 말풍선당 500자를 넘으면 그 답변은 평가에서 제외되는데 응답 건수에서는 차감된다. 최악의 조합이라 응답 생성 단계에서 문장 경계를 찾아 자르게 했다.
- SimpleText가 아닌 응답이 나오면 케이스가 즉시 종료된다. 그래서
quickReplies를 아예 지원하지 않게 만들었다. 편의 기능 하나로 케이스를 날릴 이유가 없었다. - 주어진 조회·접수 API 수십 종을 개별 도구로 펼치지 않고 조회용·접수용 두 개로 묶고, API 식별자를 enum으로 제한했다. 전부 펼치면 도구 정의만으로 입력 토큰이 커져 p95가 나빠지고, enum이 없으면 존재하지 않는 API를 호출한다.
- 지식베이스 69,910자를 시스템 프롬프트에 넣고 프롬프트 캐싱을 TTL 1시간으로 걸었다. 기본 5분으로 두면 심사 중 문의 간격이 벌어질 때마다 캐시가 죽는다. 캐시가 살아 있을 때 LLM 왕복은 2.1~2.5초였다.
- 배포는 Cloud Run이고 인스턴스 최대 개수를 1로 고정했다. 대화 세션을 인스턴스 메모리에 들고 있어서 스케일아웃되면 같은 고객의 다음 메시지가 세션 없는 인스턴스로 간다. 멀티턴 심사에서는 처리량보다 세션 일관성이 우선이다.
검증은 카카오 봇 엔진과 콜백 서버를 모사한 자체 하네스로 했다. 1초 SLA, 콜백 헤더, 응답 스키마, 글자 수 상한을 매번 자동으로 검사한다. 공개 테스트케이스 15건을 실제 API로 전수 실행해 전부 통과했고, 규격 위반 0건, 평균 173자, 최대 301자, 전체 응답 4~11초였다.
여기까지는 만족스러웠다. 문제는 이 숫자들이 모두 2~4번 항목이라는 점이다.
심사가 끝난 뒤 서버 로그로 확인한 것
심사 기간은 33시간이었지만 실제 문의는 약 1시간에 집중됐다. 그 구간의 서버 로그를 집계하니 내 에이전트가 심사 중에 낸 응답은 103회였다.
| 심사 기준 | 방향 | 실측 |
|---|---|---|
| ② p95 응답 속도 | 빠를수록 | 13.94초 (평균 7.04 · 중앙값 6.19) |
| ③ 평균 말풍선 수 | 적을수록 | 1.0개 |
| ④ 말풍선당 글자 수 | 적을수록 | 평균 175.5자 (최대 318) |
케이스를 통째로 날리는 조건은 전부 피했다. 500자 초과 0건, 60초 무응답 0건, SimpleText 아닌 응답 0건, 서버 ERROR·WARNING 0건.
외부 API는 99회 호출해 88.9%가 200이었다. 실패 11건 중 7건은 400을 받고 인자를 고쳐 재호출해 스스로 복구했다. 남은 4건 중 하나는 조회 결과가 없다는 404여서 오히려 정상 동작이고, 실질적인 실패는 긴 멀티턴 케이스 하나에서 같은 API가 세 번 연속 400을 받은 것이었다.
약한 지점은 p95다. 전체의 79퍼센트가 10초 안에 끝났고 꼬리 쪽 네 건이 p95를 끌어올렸다. 도구를 여러 번 호출한 복잡한 케이스들이다. 60초 제한 대비로는 여유가 크지만 ②번은 상대 비교라 이 숫자가 충분했는지는 알 수 없다.
그래서 더 분명해졌다. 내가 측정할 수 있는 항목은 전부 통과했고, 떨어진 지점은 측정하지 않은 쪽에 있다. 2~4번은 숫자로 확인되는데 1번 지식 수와 5번 정확도는 내가 채점할 수 없는 영역이고, 그 두 항목이 곱셈으로 묶여 있다.
정보 발굴이 승부처였는데 계기를 놓고 갔다
관계자 연락처는 그냥 주지 않는다. "그 사람에게 물을 구체적인 용건"을 먼저 제시해야 열린다. 규정 원문을 달라는 요청은 전부 막혔고, 에이전트가 맞닥뜨릴 고객 상황을 먼저 제시하고 그 처리 기준을 되묻자 답이 열렸다. 연락처도 같았다. 막연한 소개 요청은 막히고, 물을 용건이 구체적이면 열렸다.
이 방식으로 관계자 12명 중 7명과 대화해 1차 자료 22개 문서를 확보했다. 계약서, 판매·환불 규정, 운영 규정, 출하장 인계 대장, 출고검사 기록, 안내문 신·구판, 광고 배너 원본, 권한 위임표, 에스컬레이션 절차서 같은 것들이다. 이걸 약 7만 자로 정제해 지식베이스를 만들었다.
나머지 5명 중 3명은 정식 경로가 다른 사람을 통하는 구조여서 직접 열리지 않았고, 2명은 연락처 단서 자체가 나오지 않았다. 그 사람들이 가진 지식은 에이전트가 알 방법이 없다.
그런데 더 아픈 건 이쪽이다. 각 채널에는 질문 횟수를 쓰지 않고 현재 지식 발굴률을 확인하는 수단이 있었다. 배점 1번이 발굴률에 직결되니 공짜 계기판이었고, 그 사실을 대회 전에 메모까지 해 뒀다.
내 발굴률 로그는 10시 14분, 4퍼센트에서 끊겨 있다. 그 뒤 4시간 반 동안 기록이 없다.
측정을 멈추면 "지금 발굴률이 낮으니 인터뷰에 시간을 더 써야 한다"는 판단이 발동할 트리거가 사라진다. 나는 인터뷰를 의식적으로 포기한 게 아니라, 어디까지 왔는지 확인하지 않은 채 지식베이스 정제와 배포와 규격 검증으로 넘어갔다. 자동 하네스까지 만들어 반복 검증한 쪽은 곱셈 인자가 아닌 항목이었고, 득점 축은 계기 없이 지나갔다.
자동화를 쓰라는 안내는 왔는데, 쓸 수단이 없었다
처음에는 인터뷰를 자동화할 생각이 전혀 없었다. 규정이 자동화 대량 요청을 실격 사유로 명시하고 있었기 때문이다. 입력 한도 우회, 시스템 프롬프트 탈취와 같은 줄에 적혀 있으니 건드릴 영역이 아니라고 봤다.
그런데 진행 중에 자동화를 쓰라는 취지의 안내가 들어왔다. 그 순간 판단이 어려워졌다. 자동화가 권장된다면 대회가 제공하는 수단이 어딘가 있을 테니, 내가 임의로 만든 스크립트를 돌리는 것과는 전혀 다른 이야기가 된다. 문제 페이지와 가이드를 다시 훑었지만 그런 기능은 찾지 못했다. 실격 조항은 그대로 있고, 권장은 들어왔고, 수단은 안 보였다.
결국 내가 만들어 쓰기로 했다. 규정은 "웹 검색, 생성형 AI 도구, 프레임워크, 모델, 지식베이스를 제약 없이 자유롭게 사용할 수 있다"고 했으니 도구 자체는 문제가 아니라고 판단했고, 대량 요청이 금지라는 점만은 확실했으므로 한 번에 하나씩, 답을 받고 다음 질문을 보내는 사람 속도를 유지했다.
그래서 컴퓨터 화면을 직접 제어하는 방식(computer use)으로 갔다. 창 포커스를 잡고, 입력란을 좌표로 클릭하고, 한글은 키 입력으로 치면 조합이 깨지니 클립보드에 넣어 붙여넣고, 전송 버튼을 누른다. 결과를 읽으려면 화면을 캡처해서 본다.
네 가지 이유로 좋지 않았다.
속도. 스크린샷을 찍고 화면을 읽고 좌표를 정해 클릭하는 왕복이 매번 붙는다. 사람이 키보드로 치는 쪽이 그냥 빨랐다. 여기에 대량 요청 금지로 한 번에 하나씩이 강제되니, 자동화로 줄일 수 있는 시간이 애초에 거의 없는 판이었다.
안정성. 구조적으로 깨지기 쉬웠다. 포커스가 한 번에 잡히지 않고, 엔터가 입력란에 먹지 않는 때가 있고, 창 위치가 바뀌면 좌표가 틀어진다. 결국 포커스 재시도 5회, 엔터가 안 먹을 때 전송 버튼을 직접 클릭하는 우회, 엉뚱한 창에 보내지 않도록 앞창 이름을 확인하는 가드가 쌓였다. 이 가드를 짜는 시간이 전부 인터뷰에서 빠진 시간이다.
자료 수집. 이게 가장 치명적이었다. 화면 제어는 보이는 것만 가져온다. 긴 답변은 스크롤해야 하고, 캡처한 글자를 다시 읽어내야 하고, 첨부 파일은 손으로 내려받아야 한다. 인터뷰의 목적은 빨리 묻는 게 아니라 답을 빠짐없이 모으는 것인데, 그 수집 단계가 오히려 더 번거로워졌다.
병행 작업. 화면과 키보드를 점유한다. 자동화가 도는 동안 나는 같은 화면을 건드릴 수 없다. 지식베이스를 정리하거나 서버를 띄우는 작업을 동시에 할 수 없으니, 5시간짜리 대회에서 병행이 불가능해지는 건 그 자체로 손실이다.
정리하면 득점 축(지식 발굴)을 빠르게 하려고 시작한 일이 득점 축에서 시간을 빼앗아 갔다. 도구를 고르기 전에 "이 판에서 자동화가 줄여 줄 시간이 실제로 얼마인가"를 먼저 계산했어야 했다. 규칙이 사람 속도를 강제하는 판에서는 그 답이 거의 0이다.
준비 상태도 솔직히 말하면 미완이었다
대회 시작 시점에 카카오톡 봇 생성이 끝나지 않은 상태였다. 사무국도 예선 전 제작을 권장했고 당일 사고는 구제가 없다고 안내했는데, 그 작업을 10시 이후에 처리했다. 5시간 안에 인터뷰, 지식베이스 구축, 봇 생성, 배포, 규격 검증을 다 해야 하는 판에서 가장 먼저 지워야 했던 항목이 그대로 남아 있었다.
다시 한다면
- 봇 생성과 배포 파이프라인은 대회 전에 끝낸다. 대회 중에 할 일은 지식 수집과 에이전트 로직뿐이어야 한다.
- 공짜 계기는 타이머를 걸어 강제로 찍는다. 15분마다 발굴률을 기록하고, 올라가지 않으면 질문 각도를 바꾼다. 발굴률이 안 오르는 건 질문이 틀렸다는 신호다.
- 자동화는 줄여 줄 시간을 먼저 계산하고 만든다. 규칙이 사람 속도를 강제하는 판에서는 그 답이 0에 가깝다. 권장하는 안내가 들어와도 쓸 수단이 보이지 않으면, 그건 내가 만들라는 신호가 아니라 손으로 하라는 신호일 수 있다.
- 시간 배분을 배점 구조에 맞춘다. 곱셈 인자와 그 재료에 먼저 시간을 주고, 규격은 한 번 통과한 뒤에는 더 다듬지 않는다.
끝나고 남은 것
1초 SLA를 구조로 분리하고, 평가 기준을 프롬프트 지시가 아니라 코드 제약으로 박고, 수십 종 API를 도구 두 개로 압축하고, 7만 자 지식베이스를 캐시로 버티게 만든 설계는 그대로 쓸 만하다.
사진을 직접 읽어 하자를 짚고, 대화 단위로 세션을 분리하고, 답할 수 없는 건은 지어내지 않고 이관하도록 만든 부분도 의도대로 작동했다.
그래서 대회 데이터를 모두 제거하고 범용 템플릿으로 다시 정리해 공개했다 — kakao-bot-llm-agent. 지식베이스와 시나리오, API 명세는 들어 있지 않다. 코드와 설계 근거, 내가 측정한 수치만 담았다.
하지만 이번에 배운 건 그쪽이 아니다. 측정하지 않는 항목은 관리하지 않는 항목이 된다. 배점표를 읽어 문서로 정리해 둔 것과, 그 배점을 시간 배분으로 옮기는 것은 다른 일이었다. 규격은 통과 여부가 즉시 보여서 계속 손을 댔고, 발굴률은 내가 찍어야만 보이니까 보지 않았다.
다음 대회에서 가장 먼저 만들 것은 더 좋은 에이전트가 아니다. 득점 축이 지금 어디까지 왔는지 강제로 보여주는 계기판이다.