AI 에게 무엇을 맡길 것인가?

제가 만든 무료 앱입니다. 많이 써 주세요.

기준은 하나입니다 - 답이 규칙으로 확정되는가

같은 입력에 항상 같은 답이 나와야 하고, 그 답을 규칙으로 적을 수 있으면 프로그램입니다. 입력이 매번 다르고 답이 맥락에 따라 갈리면 AI 입니다. 어렵게 들리지만 실제 판정은 질문 하나로 끝납니다. "이 일의 정답 판정 조건을 지금 코드로 적을 수 있는가."

마지막 두 줄이 실무에서 제일 무겁습니다. 규칙이 코드에 있으면 누가 언제 바꿨는지 diff 에 남습니다. 규칙이 프롬프트 안에만 있으면 어제와 오늘의 판정이 왜 달랐는지 추적할 방법이 없습니다.

프로그램이 이기는 자리는 '세는 일' 입니다

제 블로그 스킬에는 원고 분량을 재는 스크립트가 하나 있습니다. 1~2p 같은 표기를 글자수로 환산하고, 완성된 원고를 실측해 목표 범위와 비교합니다. 환산 결과는 1615~3570자이고, 몇 번을 돌려도 같은 숫자가 나옵니다.

이 계산을 AI 에게 맡기면 어떻게 되는지가 핵심입니다. 대화마다 "한 페이지는 대략 1700자" 를 다시 어림하고, 그 어림값 위에서 PASS 와 SHORT 를 가릅니다. 판정 경계가 세션마다 흔들리고, 흔들린 이유는 아무 곳에도 남지 않습니다. 세기, 변환, 조회, 비교, 검색은 전부 프로그램 쪽입니다.

그 도구도 AI 가 만듭니다

프로그램이 유리하다는 판정은 "직접 코딩하라" 가 아닙니다. 스크립트를 AI 에게 쓰게 하고, 그다음부터 AI 는 그 스크립트를 호출만 합니다. 셸에서 바로 돌아가는 것이면 무엇이든 됩니다. bash, PowerShell, batch, Python 중 대상 환경에 이미 깔린 것을 고릅니다.

python blogstat.py post.md --target "1~2p"   # PASS / SHORT / LONG, 종료코드 0 또는 1

종료코드가 붙으면 AI 는 출력을 해석하지 않고 분기만 합니다. 여기서 규약 하나가 따라옵니다. 수치를 지침 문서에 복사하지 않습니다. 문서와 코드 두 곳에 같은 숫자가 적히면 둘은 반드시 갈라지고, 갈라진 뒤에는 어느 쪽이 맞는지 아무도 모릅니다. 문서에는 "스크립트에 물어봐라" 만 적습니다.

AI 가 이기는 자리는 '판정' 입니다

스크립트가 SHORT 를 알려주는 것까지가 규칙입니다. 무엇을 더 쓸지는 규칙이 아닙니다. 같은 말을 늘려 쓰면 분량은 채워지지만 글은 나빠지고, 그 구분은 코드로 적히지 않습니다.

키워드 조사 스크립트에서 같은 경계를 봤습니다. 검색량과 문서수를 받아오는 일은 API 호출이라 프로그램입니다. 반면 '이 검색어를 던진 사람이 정보를 찾는 중인가, 특정 사이트로 가려는 중인가' 는 판정입니다. 저는 그 판정을 어미 규칙으로 근사해 옵션 하나를 넣었지만, 어디까지나 근사이고 마지막 결정은 사람이나 AI 가 합니다. 오류 로그에서 원인을 추리하는 일, 설계 대안의 장단점을 비교하는 일, 이름을 짓는 일도 같은 칸에 들어갑니다.

순서가 답입니다

실제 작업은 대개 두 성질이 섞여 있습니다. 그래서 어느 한쪽을 고르는 문제가 아니라 순서를 정하는 문제입니다.

1. 규칙으로 굳는 부분을 먼저 떼어내 스크립트로 만듭니다.
2. 스크립트가 낼 수 없는 판정만 AI 에게 남깁니다.
3. AI 가 같은 판정을 세 번 반복하면, 그 판정이 규칙이 된 것인지 다시 봅니다.

3번이 이 순환의 입구입니다. 세 번 같은 답이 나온 판정은 이미 규칙이므로, 그때 다시 1번으로 내려보냅니다.

정리

• 같은 입력에 같은 답이 나와야 하면 프로그램, 맥락에 따라 갈리면 AI 입니다.
• 프로그램 쪽 일은 AI 에게 스크립트를 만들게 하고, 그 뒤로는 호출만 합니다.
• 규칙은 한 곳에만 둡니다. 문서와 코드에 같은 수치를 적으면 갈라집니다.

최근 AI 와의 대화를 하나 열어, 똑같은 지시를 두 번 이상 반복한 대목을 찾아보십시오. 그 지시를 스크립트로 만들어 달라고 하는 것이 다음 한 걸음입니다.