Enterprise AX Agent Platform 06: Evaluation과 회귀 게이트
Agent 답변 품질을 EvaluationRun으로 기록하고 expected facts 기반 회귀 평가를 CI gate로 연결했다.
Agent 답변 품질을 EvaluationRun으로 기록하고 expected facts 기반 회귀 평가를 CI gate로 연결했다.
외부 tool 호출에 timeout, retry, fallback, circuit breaker를 적용하고 gateway 상태를 운영 API로 노출했다.
쓰기성 tool call을 승인 리소스로 승격하고 API key scope, tenant guard, Idempotency-Key를 연결했다.
Agent 추론과 외부 tool 실행 사이에 registry, scope, policy, audit를 통과하는 runtime 경계를 만들었다.
문서 적재, chunking, query classification, retrieval strategy, citation을 하나의 실행 경로로 묶었다.
Agent 실행을 운영 리소스로 다루기 위해 FastAPI, use case, domain policy, repository adapter를 분리했다.
사내 지식 검색, 업무 자동화, 정책 감사, 실행 추적을 하나의 흐름으로 묶은 Agent 백엔드 구현 기록이다.

Threads에서 Gortex라는 오픈소스 도구를 봤다. 코드를 그래프로 인덱싱하고, 그 결과를 CLI, MCP Server, Web UI로 노출하는 프로젝트다. 처음에는 또 하나의 MCP 도구처럼 보였는데, 조금 더 보면 요즘 coding agent가 어디에서 막히는지 꽤 잘 짚고 있다. agent가 큰 코드베이스를 다룰 때의 병목은 단순히 모델이...

OpenAI가 2026년 6월 17일에 공개한 AI chemist 실험은 그냥 “AI가 신약 후보를 만들었다”로 읽기에는 아깝다. 내가 더 크게 본 부분은 agent가 연구 업무를 어디까지 닫힌 루프로 가져갈 수 있는지다. 문헌을 읽고, 가설을 세우고, 후보를 설계하고, 결과를 평가해서 다음 실험으로 이어가는 흐름. 이건 챗봇의 답변 품질 문제가 아...

AI agent 이야기는 보통 모델 성능, prompt, workflow builder에서 시작한다. 그런데 실제 서비스에 붙이려고 하면 질문이 바뀐다. 이 agent가 누구 권한으로, 어떤 도구를, 어느 범위까지 실행할 수 있는가. 오늘은 그 지점을 기준으로 Arcade.dev를 봤다. Arcade는 2026년 6월 15일에 Series A 6천...