-
AI 페어 개발 - 비용카테고리 없음 2026. 9. 23. 13:03
수많은 고객사를 접하면서 최근 가장 많이 고민하는 것 중 하나가 AI의 비용이다.
생성형 AI, 특히 정해진 템플릿에 값을 채우는 수준이 아니라 여러 데이터를 검색하고 조합하여 하나의 결과물을 생성하는 시스템은 생각보다 많은 비용이 발생한다.
최근 경험을 기준으로 보면 하나의 보고서를 생성하는 데 약 2,000원 정도가 발생할 수 있다.
물론 이 비용 자체가 반드시 적정하다는 의미는 아니다. 시스템이 충분히 최적화되지 않았기 때문에 발생한 비용일 수도 있고, 개발 구조 자체가 비효율적이어서 높아진 비용일 수도 있다.
하지만 중요한 것은 같은 2,000원을 두고도 바라보는 관점이 완전히 다를 수 있다는 점이다.
누군가는 "보고서 하나에 2,000원이면 별것 아니지 않나?"라고 생각할 수 있고, 다른 누군가는 "보고서 하나 만드는 데 2,000원이나 든다고?"라고 생각할 수 있다.
둘 다 틀렸다고 보기는 어렵다.
사업적인 관점에서는 2,000원이 큰 비용이 아닐 수도 있다. 연간 1억 원을 사용하더라도 기존 업무를 크게 단축하고, 그 효과를 고객이 명확하게 체감할 수 있다면 1억 원은 결국 숙련된 인력 몇 명의 인건비 수준일 수 있기 때문이다.
반면 나는 개발자다.
개발자의 관점에서 보고서 한 장을 생성하는 데 2,000원이 든다면, 이것은 상당 부분 최적화가 필요한 상태라고 본다. 경우에 따라서는 개발 실패에 가깝다고 판단할 수도 있다.
왜 이런 비용이 발생하는지 생각해 보면 생성형 AI 시스템의 구조를 볼 필요가 있다.
일반적인 AI 시스템은 단순히 LLM을 한 번 호출하고 끝나는 구조가 아니다.
Vector, Embedding, Search Index, 데이터 저장소가 필요하고, 최종 결과의 품질을 높이기 위해 여러 단계에서 서로 다른 모델을 호출하거나 동일한 처리를 반복하기도 한다.
예를 들어 검색 기반 보고서 생성 시스템은 대략 다음과 같은 흐름으로 동작할 수 있다.
사용자 질의
→ 검색을 위한 질의 전처리
→ 검색어 및 필터 후보 추출
→ 실제 Search Index 구조에 맞는 검색 키워드 변환
→ 필터 생성
→ LLM을 통한 사전 정합성 검증
→ 질의 또는 문서의 Vector 변환
→ Vector/Keyword/Filter 기반 검색 수행
→ 사용자 의도 재판단
→ LLM을 이용한 검색 결과와 사용자 정의 Rule을 이용한 데이터 조합 및 보고서 생성
→ 결과 적합성 판단→ 필요하면 최대 2~3회 재검색 및 재생성
이 정도의 파이프라인이 만들어지면 하나의 결과를 얻기 위해 여러 번의 모델 호출이 발생하는 것은 자연스럽다.
결국 비용을 줄이기 위해서는 단순히 "더 저렴한 모델을 사용한다"는 접근만으로는 부족하다.
검색 데이터를 만들고 Search Index를 설계하는 단계부터 AI가 어떤 방식으로 데이터를 찾을 것인지 고려해야 한다.
AI 검색은 자연어 질의를 실제 검색 가능한 구조로 변환해야 한다.
예를 들어 사용자가
"컨테이너선에서 엔진 화재가 발생한 필리핀 국적의 선박을 조회해 줘."
라고 질문한다고 하자.
이 문장에서 시스템이 인식해야 하는 정보는 적어도 다음과 같다.
- 선박 종류: Container Ship
- 사고 또는 대상 위치: Engine Room
- 사고 유형: Fire
- 선박 국적: Philippines
이러한 정보가 검색 시점에서 갑자기 만들어지는 것이 아니라, 데이터를 수집하고 색인하는 시점부터 검색 가능한 형태로 구조화되어 있어야 한다.
결국 좋은 AI 검색 시스템은 LLM의 성능만으로 만들어지는 것이 아니다.
어떤 데이터를 어떻게 분류하고, 어떤 필드를 검색 가능하게 만들고, 자연어를 어떤 검색 조건으로 변환할 것인지가 검색 품질과 비용을 동시에 결정한다.
또한 구축 환경이 허용한다면 모든 기능을 AI 서비스 제공자나 클라우드 검색 서비스에 의존할 필요도 없다.
SQL Server, PostgreSQL을 비롯한 여러 데이터 플랫폼에서 Vector 검색 기능을 사용할 수 있고, SQLite 역시 확장 기능이나 별도 Vector 구현을 이용할 수 있다.
Embedding 생성 자체는 외부 모델이나 별도의 Embedding 모델이 필요하지만, 생성된 Vector를 저장하고 검색하는 과정까지 반드시 고가의 클라우드 Search 서비스에 의존해야 하는 것은 아니다.
검색 부분을 내부 시스템으로 충분히 구축하고, 검색 품질 향상에 많은 분석과 개발 시간을 투자한다면 보고서 한 건에 2,000원이 발생하던 구조를 500원 또는 그 이하까지 낮출 가능성도 있다.
하지만 여기에서도 중요한 문제가 하나 남는다.
500원이 과연 정말 저렴한가?
보고서를 연간 3,000건 생성한다면 단순 생성 비용만 계산해도 상당한 금액이 된다. 여기에 Search 인프라, 데이터 저장소, Embedding 생성, 모니터링, 개발 및 운영 비용까지 포함하면 AI 시스템은 결코 저렴한 기술이 아니다.
특히 사용량이 증가할수록 "건당 몇백 원"이라는 숫자가 전체 시스템 비용에서는 전혀 작은 숫자가 아니게 된다.
그래서 나는 AI가 저렴한 기술이라고 생각하지 않는다.
오히려 제대로 사용하려면 상당한 비용이 들어가는 기술에 가깝다.
그럼에도 불구하고 이 방향을 피하기는 어려워 보인다.
이미 세상의 거의 모든 손가락이 이 방향을 가리키고 있기 때문이다.
약 7년 전 누군가 내게 이런 말을 한 적이 있다.
"모든 시스템이 자동화되면 결국 개발자가 필요 없어지는 것 아닌가?"
나는 그때도 그 말의 방향 자체는 틀리지 않았다고 생각했다.
컴퓨터는 본질적으로 계산기다.
인간이 반복해서 수행하던 일을 더 빠르게 계산하고, 더 빠르게 처리하기 위해 만들어졌다.
인류의 기술 발전을 큰 흐름에서 보면 많은 것들이 데이터와 숫자로 변환되고, 인간이 직접 수행하던 작업은 점점 더 빠른 계산과 자동화로 대체되어 왔다.
그것이 기술 발전의 한 방향이라면 AI 역시 그 연장선에 있을 것이다.
사람이 읽고, 찾고, 비교하고, 판단하고, 작성하던 과정의 일부를 이제 컴퓨터가 대신 계산하기 시작한 것이다.
따라서 AI의 확산 자체를 막기는 어려울 것이다.
다만 한 가지는 분명하다.
AI는 마법도 아니고 공짜 노동력도 아니다.
좋은 결과를 얻으려면 좋은 데이터가 필요하고, 좋은 검색 구조가 필요하며, 적절한 모델 선택과 반복적인 최적화가 필요하다.
그리고 그 모든 것에는 비용이 발생한다.
그래서 생성형 AI 시스템을 설계할 때 중요한 질문은 단순히
"AI를 사용할 것인가?"
가 아니다.
오히려 다음의 질문이 더 중요하다.
"어디까지 AI가 해야 하는가?"
"어떤 부분은 기존 시스템으로 처리해야 하는가?"
"한 번의 결과를 만들어 내는 데 얼마까지 지불할 가치가 있는가?"
그리고
"그 비용보다 더 큰 가치를 고객에게 만들어 줄 수 있는가?"
AI는 결코 저렴하지 않다.
하지만 비용 이상의 가치를 만들어 낼 수 있다면, 결국 사용하게 될 것이다.
앞으로의 개발자는 AI를 사용하는 방법뿐만 아니라, AI를 어디에 사용하지 않아야 하는지까지 설계할 수 있어야 한다.