AI Fluency 4D: AI에게 맡기고, 설명하고, 검증하고, 책임지는 법
지금까지의 글은 LLM과 데이터, 평가, 보안, 규제에 대해 무엇을 알아야 하는지를 다뤘어요. 이번 글은 AI와 어떻게 일하는지를 다뤄요. 기준은 Anthropic의 AI Fluency 4D 프레임워크이고, 네 역량이 실제 대화에서 어떤 행동으로 나타나는지, 질문 수와 입력 길이가 제한된 모델로 일할 때는 무엇을 바꿔야 하는지를 정리했어요. 4D 과정의 전체 내용과 특정 도구의 사용법은 다루지 않아요. 연습 문제는 다 맞혀서, 이번 글에도 놓친 부분이 없어요.
1. 4D의 네 역량
Anthropic Academy는 AI와 일하는 역량을 넷으로 나눠요.
| 역량 | Anthropic의 정의 | 대화에서 보이는 모습 |
|---|---|---|
| Delegation (위임) | 무엇을 AI와 하고 무엇을 직접 할지 신중하게 정하기 | 일을 쪼개고, 기준과 최종 판단은 직접 해요 |
| Description (설명) | AI에게 분명하게 전달하기 | 목표, 맥락, 자료, 형식, 규칙을 담아 물어요 |
| Discernment (분별) | AI의 출력과 행동을 비판적으로 평가하기 | 근거를 요구하고, 틀린 출력을 잡아 고쳐요 |
| Diligence (책임) | AI와 책임 있게 상호작용하기 | 민감한 자료를 거르고, 결과에 책임을 져요 |
같은 과정은 AI와 일하는 방식도 셋으로 나눠요. 지시한 작업을 AI가 그대로 실행하는 Automation, 생각과 실행을 함께하는 Augmentation, 특정 행동이 아니라 AI의 지식과 행동 방식을 정해 두고 독립적으로 일하게 하는 Agency예요. 네 역량은 세 방식 모두에 적용돼요.
2. Delegation: 기준과 최종 판단은 사람이 쥐어요
위임은 AI에게 다 맡기는 것도, AI를 안 쓰는 것도 아니에요. 일을 조각으로 나눠서 조각마다 누가 할지 정하는 거예요. 설비 로그 2,000줄에서 정비할 장비를 고르는 일로 나눠 볼게요.
| 조각 | 누가 | 이유 |
|---|---|---|
| 무엇을 "이상"으로 볼지 기준 정하기 | 사람 | 목표와 현장 조건을 아는 쪽이 정해요 |
| 2,000줄에서 기준에 맞는 줄 추리기 | AI | 양이 많고 반복적이에요 |
| 추린 줄마다 근거 줄 번호 달기 | AI | 사람이 확인할 수 있게 해요 |
| 표본 몇 개를 원본과 대조하기 | 사람 | AI 출력을 그대로 믿지 않아요 |
| 비율·합계 계산 | AI는 식만, 계산은 사람 | 모델은 계산을 틀릴 수 있어요 |
| 최종 우선순위 결정 | 사람 | 결과에 대한 책임이 사람에게 있어요 |
3. Description: 처음 보는 동료가 따라 할 수 있게 써요
Anthropic의 프롬프트 가이드가 내놓는 기준은 하나예요. 맥락을 모르는 동료에게 그 프롬프트를 보여 주고 따라 해 보라고 했을 때 헷갈려 하면, 모델도 헷갈려요.
"이 데이터 분석해 줘"에 요소를 하나씩 붙이면 이렇게 돼요.
<logs>
(장비별 센서 로그)
</logs>
나는 설비 엔지니어이고, 오늘 회의에서 정비할 장비 순서를 정하려고 해.
정비 인력이 2명이라 하루에 장비 3대만 볼 수 있어서, 가장 급한 3대를 골라야 해.
위 로그를 분석해 줘.
결과는 표로 줘: 장비 ID | 이상 징후 | 근거 로그 줄 | 우선순위(1~3)
로그에 없는 내용은 쓰지 마. 근거를 못 찾으면 "확인 필요"라고 써.
목표와 독자, 이유, 자료, 출력 형식, 근거 규칙이 다 들어 있어요. 가이드는 이유를 알려 주면 모델이 목표에 맞춰 일반화한다고 설명해요. 그 밖에 기억할 것은 셋이에요.
- 긴 자료는 위에, 질문은 끝에 둬요. 가이드에 따르면 긴 입력에서 질문을 끝에 두면 테스트에서 응답 품질이 최대 30%까지 좋아졌어요.
- 형식을 맞추고 싶으면 관련 있고 서로 다른 예시 3~5개를 태그로 감싸 넣어요.
- "틀리면 안 되니까 신경 써서" 같은 말에는 정보가 없어요. 무엇을 지키라는 건지 구체적으로 써요.
4. Discernment: 그대로 믿지 않고 확인해요
Anthropic의 환각 줄이기 문서가 권하는 방법들이에요.
| 방법 | 하는 일 |
|---|---|
| 모른다고 말해도 된다고 허락하기 | 근거가 없으면 지어내지 말고 모른다고 하게 해요 |
| 인용 먼저 뽑게 하기 | 긴 문서에서 관련 문장을 그대로 먼저 뽑고, 그걸로만 답하게 해요 |
| 근거 대조와 철회 | 주장마다 뒷받침하는 인용을 찾고, 못 찾으면 그 주장을 빼게 해요 |
| 제공한 자료만 쓰게 하기 | 일반 지식이 아니라 준 자료에서만 답하게 해요 |
| 여러 번 돌려 비교하기 | 같은 질문의 답이 서로 다르면 환각을 의심해요 |
문서도 이 방법들이 환각을 크게 줄이지만 없애지는 못한다고 적었어요. 마지막 방법은 답이 서로 다르다는 것만 알려 주고 어느 쪽이 맞는지는 알려 주지 않아요. 그래서 같은 AI에게 다시 묻는 건 검증이 되지 않아요. 결국 원본과 대조해야 해요.
숫자는 직접 검산해요. AI가 다섯 값 10, 12, 15, 9, 14의 평균을 12.5라고 했다면, 10 + 12 + 15 + 9 + 14 = 60, 60 ÷ 5 = 12.0이라 AI가 틀렸어요. 이렇게 잡아낸 기록이 대화에 남으면 그게 검증의 흔적이에요.
5. Diligence: 넣기 전에 거르고, 결과는 내가 책임져요
- 자료를 AI에 넣기 전에 고객사 이름, 개인정보, 미공개 수치를 지우거나 가려요.
- 회사가 승인한 도구만 써요.
- 비윤리적이거나 규칙을 우회하는 지시는 하지 않아요.
- 제출한 결과의 책임은 AI가 아니라 나에게 있어요. 그래서 4절의 검증이 필요해요.
자세한 근거는 보안 글의 민감정보 유출과 윤리·규제 글의 쓰는 사람의 책임에 있어요.
6. 제약이 많은 모델로 일할 때
질문 수가 정해져 있고, 입력이 짧게 잘리고, 앞 대화를 기억하지 못하는 모델로 일해야 할 때가 있어요. 그럴 때는 맥락을 사람이 쥐고 있어야 해요. 직접 만든 연습 과제로 흐름을 볼게요.
자료는 기준 파일과 칩 측정값 두 개예요.
[출하 기준]
1. 누설전류: 5.0 µA 이하
2. 동작전압: 1.10 V 이상 1.30 V 이하
3. 85도 고온 시험: 통과(Y)여야 함
예외: Lot L2는 동작전압 하한을 1.05 V로 한다.
id,lot,leak_uA,volt_V,temp85
C01,L1,3.2,1.20,Y
C02,L1,5.4,1.22,Y
C03,L2,4.1,1.07,Y
C04,L1,2.9,1.08,Y
C05,L2,4.8,1.31,Y
C06,L1,1.7,1.15,N
C07,L2,5.0,1.25,Y
C08,L1,3.3,1.19,Y
문항은 넷이에요. 불량 칩 ID, 칩마다 탈락 사유, 불량률, 그리고 L2 예외가 없을 때 추가로 불량이 되는 칩이에요.
먼저 네 문항을 다 읽어요. 1번과 2번은 같은 판정표에서 나오고, 3번은 계산, 4번은 예외 조항에 걸려 있어요. "이하"라는 경계값도 표시해 둬요.
기준은 내 말로 옮겨요. 파일을 여러 개 첨부하면 일부만 읽힐 수 있고, 예외 한 줄을 놓치면 1번과 4번이 다 틀어져요. 경계값은 "같으면 통과"까지 써 줘요.
[규칙] 1. 아래 조건과 첨부 파일에 있는 내용만 써. 없으면 "확인 필요".
2. 계산은 하지 마. 3. 표 하나, 설명 없이. 질문에 답하는 데 필요한 행만.
[조건] 누설 5.0 이하면 통과(5.0도 통과). 전압 1.10~1.30이면 통과(양 끝 포함).
단 lot L2는 전압 하한이 1.05. temp85가 Y여야 통과.
[할 일] chips.csv의 칩마다 판정해 줘.
[형식] id | lot | 누설 | 전압 | 고온 | 최종(통과/불량) | 불량 사유
첨부: chips.csv
기준별로 열을 나눈 판정표를 받아요. 최종 판정만 받으면 왜 그렇게 됐는지 확인할 수 없어요. 답은 짧게 받아요. 긴 답은 잘리기 쉽고, 잘린 뒤 이어서 쓰게 하면 맥락을 잃기도 해요.
경계값과 예외에 걸린 행만 원본과 대조해요. 누설이 정확히 5.0인 C07은 통과, L2이고 전압 1.07인 C03은 통과, 상한을 넘는 C05는 불량, 고온만 N인 C06은 불량이에요. 틀린 줄이 있으면 다시 묻지 말고 내가 고쳐서 답을 써요.
계산과 예외 문항은 직접 해요. 불량은 C02, C04, C05, C06으로 4개라 불량률은 4 ÷ 8 = 50%예요. 예외가 없으면 L2의 하한도 1.10이 되니, 새로 불량이 되는 칩은 C03뿐이에요. AI에게 확인받고 싶으면 조건 카드에서 예외 문장만 지우고 다시 물어요. 모델이 앞 대화를 기억하지 못하니 조건은 매번 처음부터 다시 넣어요.
이 흐름에서 AI 질문은 한두 번이면 돼요. 나머지는 문항 구조를 보는 일, 기준을 옮기는 일, 경계값을 대조하는 일, 계산하는 일이고, 모두 사람이 해요.
4D 고르기 연습
- 설비 로그 2,000줄에서 이상 의심 줄을 찾고 정비 우선순위를 정해야 해요. 가장 알맞은 분담은?
정답
사람이 기준을 정하고, AI가 의심 줄을 추려 근거 줄을 달면, 사람이 표본을 대조하고 최종 순위를 정해요. 목표와 조건을 아는 사람이 기준과 최종 판단을 쥐어요.
- 자료로 정비 우선순위를 물어보려고 해요. 가장 좋은 첫 질문은?
정답
자료를 태그로 앞에 두고, 목표와 이유, 표 형식, "근거가 없으면 확인 필요" 규칙을 담은 질문이에요. "수치가 모자라면 그럴듯하게 채워 줘" 같은 지시는 환각을 불러요.
- 50쪽짜리 공정 보고서를 넣고 질문하려고 해요. 배치로 맞는 것은?
정답
보고서를 앞에, 질문을 끝에 둬요.
- AI가 값 10, 12, 15, 9, 14의 평균을 12.5라고 답했어요. 맞는 대응은?
정답
식을 받아 직접 계산해요. 60 ÷ 5 = 12.0이라 AI 답이 틀렸어요.
- 긴 보고서 요약에서 근거 없는 주장이 섞이는 걸 줄이려면?
정답
관련 문장을 그대로 먼저 인용하게 하고, 인용으로 뒷받침되지 않는 주장은 빼게 해요.
- 앞 대화의 조건과 첨부를 기억하지 못하고 긴 답은 잘리는 모델로, 문항 네 개짜리 분석을 해야 해요. 가장 알맞은 진행은?
정답
네 문항을 먼저 다 읽고, 필요한 정보를 표로 받아 따로 적어 둔 뒤, 질문마다 조건을 다시 넣고 답을 짧게 받아요.
- 대화 기록이 평가된다면, 가장 좋게 보일 행동은?
정답
모호한 요구사항은 가정을 적어 확인하고, AI 출력의 근거를 확인해 틀린 부분을 고친 기록이에요. 질문 수나 프롬프트 길이 자체는 기준이 아니에요.
- 고객사 이름과 수율이 적힌 자료를 AI에 넣어야 하는 일이에요. 가장 알맞은 것은?
정답
고객사 이름 같은 민감 정보는 가리고, 허용된 도구에서만 넣어요.
다시 정리하면
- 4D는 위임, 설명, 분별, 책임이에요. 네 역량은 Automation, Augmentation, Agency 모두에 적용돼요.
- 위임은 일을 쪼개는 거예요. 기준과 최종 판단, 계산 검산은 사람이 해요.
- 좋은 질문은 처음 보는 동료가 따라 할 수 있는 질문이에요. 목표, 맥락, 자료, 형식, 규칙을 담고, 긴 자료는 위에 질문은 끝에 둬요.
- 검증은 인용 요구, 근거 없는 주장 철회, 자료만 쓰기, 숫자 직접 검산이에요. 같은 AI에게 다시 묻는 건 검증이 아니에요.
- 자료는 민감 정보를 가리고 넣고, 결과의 책임은 나에게 있어요.
- 제약이 많은 모델로 일할 때는 문항 구조를 먼저 보고, 기준을 내 말로 옮기고, 판정표 하나를 받아 경계값을 대조하고, 계산은 직접 해요.
