AI 코드 어시스턴트 구축 을 하려는 이유는 단순한 실험이 아닌, 실제 조직 운영의 필요에서 출발했다.
개발 조직에서 AI 활용은 더 이상 선택이 아니다.
특히 코드 어시스턴트 영역은 GitHub Copilot을 필두로 실사용이 본격화되고 있다.
하지만 막상 조직 내에 적용하려 하면 여러 제약과 고민거리가 생긴다.
우리는 이런 현실적인 필요와 한계를 느끼며, 직접 우리만의 AI 코드 어시스턴트 환경을 구축하기로 했다.
상용 서비스가 가진 한계
AI 코드 어시스턴트 들 중에 Copilot, ChatGPT, Cursor 같은 상용 AI 서비스는 분명 뛰어난 경험을 제공한다.
그러나 개발 조직의 입장에서 고려해야 할 몇 가지 이슈가 있다:
| 이슈 | 설명 |
|---|---|
| 보안 | 코드와 내부 지식이 외부 서버로 전송된다는 점에서 민감한 정보를 다루기 어렵다 |
| 커스터마이징 | 우리 조직만의 개발 규칙, 스타일, 도구와 연동하는 데 제약이 많다 |
| 비용 | 사용량이 늘어날수록 예측하기 어려운 요금 부담이 발생한다 |
| 통제력 | 모델 업데이트나 기능 변경이 외부에 의존적이라 장기적인 관점에서 리스크가 있다 |
우리 조직의 니즈: “우리만의 AI 비서가 필요하다”
AI 코드어시스턴트 구축을 하면서 단순한 보안 문제를 넘어서, 우리는 다음과 같은 필요를 느꼈다:
- 개발 문서, 사내 위키, 이슈 트래커 등 내부 지식과 연동된 응답
- VSCode와 연동되면서도 자유도 높은 코드 어시스트 경험
- 사내에서 직접 호스팅하여 운영/로깅/보안 기준을 만족시키는 환경
즉, 외부 솔루션을 쓰는 대신 우리가 정의한 방식으로 움직이는 도구가 필요했다.
선택지 탐색: Dify와 Continue
많은 오픈소스 대안들을 검토했다.
그중에서 우리가 주목한 도구가 바로 Dify와 Continue다.
- Dify: RAG 기반 챗봇 구축을 손쉽게 도와주는 플랫폼. 온프레미스 설치 가능하고, UI/UX가 직관적이다.
- Continue: VSCode 확장으로 작동하는 AI 코드 어시스턴트. 다양한 모델 연동이 가능하고, 오픈소스로 유연하게 조정 가능하다.
이 두 가지를 중심으로 “내부 지식에 기반한, 코드 작성과 문서화까지 지원하는 통합형 어시스턴트”를 만들기로 결정했다.
기대하는 효과
AI 코드 어시스턴트 구축을 통해 직접 구축한 AI 코드 어시스턴트를 통해 기대하는 효과는 다음과 같다:
- 사내 코드 컨벤션에 맞춘 제안 제공
- 조직 내 지식 자산(RAG)과 연결된 자연어 질문 응답
- 비용 예측 가능하고 통제 가능한 AI 인프라 확보
- 개발자 경험 개선과 생산성 향상
다음 회차 예고
다음 글에서는 본격적으로 Dify와 Continue를 설치하기 전에 알아야 할 개념과 사전 지식을 정리해본다.
어떤 모델을 쓸 수 있는지, API 키는 어떻게 관리해야 하는지, 기본 구조는 어떻게 생겼는지를 차근차근 짚어보자.