동료가 떠난 자리, AI가 기억하게 만드는 법: COLLEAGUE.SKILL

들어가며

함께 일하던 유능한 동료가 회사를 떠날 때, 가장 아쉬운 점은 무엇인가요? 그 사람이 가진 업무 노하우, 복잡한 상황을 판단하는 기준, 그리고 특유의 꼼꼼한 코드 리뷰 방식이 한꺼번에 사라진다는 사실 아닐까요?

보통 이런 정보는 깔끔하게 정리된 매뉴얼이 아니라, 여기저기 흩어진 슬랙 대화, 이메일, 코드 주석 속에 섞여 있습니다. AI에게 이런 '사람의 전문성'을 배우게 하고 싶어도, 지금까지는 그저 막연한 '페르소나(Persona)'를 흉내 내게 하는 정도가 고작이었죠. 그런데 최근 arXiv에 올라온 'COLLEAGUE.SKILL' 논문은 이 문제를 아주 영리하고 실용적인 방식으로 해결했습니다. 사람이 남긴 흔적을 모아 '수정 가능한 소프트웨어'로 변환하는 기술입니다.

왜 기존 방식은 답답했을까?

지금까지 AI를 특정 인물처럼 행동하게 만드는 방식은 주로 '프롬프트 주입'이었습니다. "너는 지금부터 10년 차 시니어 엔지니어처럼 말해"라고 지시하는 식이죠. 하지만 이런 방식에는 치명적인 단점이 있습니다.

첫째, 내용이 불투명합니다. AI가 왜 그런 판단을 내렸는지, 어떤 근거로 답하는지 알 수 없습니다. 둘째, 수정이 어렵습니다. AI가 틀린 말을 해도 프롬프트를 다시 짜는 것 외에는 뾰족한 방법이 없습니다. 셋째, 재사용이 안 됩니다. 다른 AI 모델이나 다른 프로젝트에 그 노하우를 그대로 옮겨 심기가 매우 까다롭습니다.

우리가 진짜 원하는 건 '그 사람의 말투'를 흉내 내는 배우가 아니라, 그 사람의 '업무 기준'을 정확히 수행하는 도구입니다.

핵심 아이디어: '흔적'을 '패키지'로 바꾸다

COLLEAGUE.SKILL의 핵심은 간단합니다. 흩어진 업무 기록(Trace)을 사람이 읽고 수정할 수 있는 표준화된 '스킬 패키지(Skill Package)'로 증류(Distillation)하는 것입니다.

이 시스템은 AI에게 그 사람의 정보를 무작정 기억하라고 하지 않습니다. 대신, 입력된 자료를 바탕으로 두 가지 트랙을 만듭니다.

1. 능력 트랙(Capability Track): 업무 방식, 기술적 기준, 의사결정 원칙 등 '무엇을 할 것인가'를 담습니다.
2. 행동 트랙(Behavior Track): 소통 스타일, 규칙, 피드백 반영 방식 등 '어떻게 행동할 것인가'를 담습니다.

이 결과물은 단순한 AI 기억 장치가 아니라, 우리가 컴퓨터에서 파일을 관리하듯 수정하고, 버전을 되돌리고, 다른 에이전트에 설치할 수 있는 하나의 '제품'이 됩니다.

어떻게 동작하나?

시스템은 크게 다섯 단계를 거쳐 작동합니다. 복잡해 보이지만, 사실 우리가 업무용 문서를 만드는 과정과 매우 비슷합니다.

flowchart TD
  A[업무 기록 수집] --> B[능력과 행동 분류]
  B --> C[스킬 패키지 생성]
  C --> D[사용자 피드백 반영]
  D --> E[버전 관리 및 배포]

먼저 슬랙 대화, 이메일, 회의록 같은 자료를 수집합니다. 다음으로 시스템이 이 자료를 분석해 '능력'과 '행동'을 나누어 정리합니다. 이렇게 만들어진 스킬 패키지는 SKILL.md라는 파일로 저장되는데, 사용자는 이 파일을 직접 열어보고 내용을 수정할 수 있습니다. AI가 잘못된 판단을 하면, 마치 문서의 오타를 고치듯 "이런 상황에서는 이렇게 행동해야 해"라고 피드백을 주면 시스템이 이를 반영해 버전을 업데이트합니다.

결과: 그래서 뭐가 좋아졌나?

가장 큰 변화는 **'AI의 행동을 통제할 수 있게 되었다'**는 점입니다.

• 투명성: AI가 어떤 규칙을 가지고 일하는지 문서로 직접 확인할 수 있습니다.
• 수정 가능성: 잘못된 학습을 했을 때, 프롬프트를 처음부터 다시 짜는 게 아니라 해당 부분만 패치(Patch)할 수 있습니다.
• 호환성: 만들어진 스킬 패키지는 다양한 AI 에이전트 환경에서 그대로 불러와 쓸 수 있습니다.

실제로 이 프로젝트는 오픈 소스로 공개된 후 18,500개가 넘는 깃허브 스타를 받으며 큰 관심을 끌었습니다. 단순히 엔지니어의 업무 노하우뿐만 아니라, 유명인의 사고방식을 정리하거나 개인적인 소통 패턴을 관리하는 등 다양한 분야로 확장되고 있습니다.

그래서 뭐가 중요한가?

이 논문이 중요한 이유는 AI 연구의 방향성을 '흉내 내기'에서 '도구화'로 옮겨놓았기 때문입니다. 우리는 더 이상 AI가 사람을 완벽하게 복제하길 바라지 않습니다. 대신, 그 사람이 가진 '유용한 판단 기준'을 투명하게 추출해서 우리가 필요할 때 꺼내 쓸 수 있는 도구로 만드는 것이 훨씬 더 생산적이고 안전합니다.

물론 한계도 있습니다. 시스템이 아무리 정교해도 입력 데이터 자체가 편향되어 있다면 결과물도 편향될 수 있습니다. 또한, 사람의 전문성을 기계적으로 추출하는 과정에서 미묘한 뉘앙스가 손실될 위험도 있죠. 하지만 COLLEAGUE.SKILL은 적어도 그 과정이 '블랙박스' 속에 숨어있지 않고, 우리가 직접 검토하고 수정할 수 있는 상태로 만들었다는 점에서 큰 의미가 있습니다.

이제 AI는 단순히 똑똑한 비서를 넘어, 우리 팀의 노하우를 계승하는 '디지털 동료'가 될 준비를 마친 것 같습니다.