생성형 인공지능(AI)의 도입이 가속화되면서 기업들의 AI 예산 운용에 비상이 걸렸습니다. 과거에는 AI 사용을 적극 장려하는 분위기였으나, 이제는 '얼마나 많이 쓰느냐'보다 '얼마나 효율적으로 쓰느냐'가 중요한 화두로 떠오르고 있습니다. 특히 토큰 사용량 관리가 기업 경영진의 주요 고민거리로 부상하며, AI 비용 절감을 위한 전략 수정이 불가피해지고 있습니다.
AI 비용 급증, 기업들의 고민 깊어지다
생성형 AI 서비스의 토큰 소진 속도가 예상보다 훨씬 빨라 기업들이 곤란을 겪고 있습니다. 일부 기업에서는 월초에 책정된 AI 예산을 1분기 만에 모두 소진하는 사례까지 발생하고 있습니다. 이는 최고 성능의 AI 모델을 업무에 무분별하게 적용하면서 발생하는 현상으로, 특히 스타트업의 경우 AI 구독료가 인건비 수준에 육박하면서 경영 부담이 가중되고 있습니다.
한 스타트업 대표는 "공용 AI 구독 해지, 요금제 상향 조정, 업무 외 사용 자제 공지 등 AI 비용 절감을 위해 다각적인 노력을 기울이고 있지만, 토큰이 빠르게 소진되어 어려움을 겪고 있다"고 토로했습니다. 또 다른 IT 스타트업 대표는 "AI 사용 한도를 최대한 활용하기 위해 새벽에 알람을 맞춰 일어나는 상황"이라며 AI 비용 문제의 심각성을 전했습니다.
'무한정 사용'에서 '효율적 사용'으로 패러다임 전환
과거 실리콘밸리를 중심으로 최고 성능의 AI 사용을 장려하던 분위기는 점차 변화하고 있습니다. 이제 기업들은 AI를 얼마나 많이 사용하느냐보다, 얼마나 효율적으로 사용하여 비용 대비 최대의 성과를 이끌어낼 수 있는지에 집중하고 있습니다. 오픈AI CEO의 발언처럼, AI 예산이 예상보다 훨씬 빠르게 소진되면서 비용 절감 방안 마련이 시급한 과제가 되었습니다.
실제로 우버는 엔지니어들에게 AI 코드를 전면 배포했다가 연간 코딩 예산을 단 4개월 만에 소진한 것으로 알려졌습니다. 국내 기업들도 상황은 마찬가지입니다. 차량 관제 서비스 개발 스타트업의 경우, AI 비용이 4년 만에 10배 증가했으며, 개발자 전원이 최고 요금제 AI를 사용함에도 불구하고 개인 한도가 매달 조기에 소진되어 별도의 공용 계정을 운영하고 있습니다. AI 사용 시마다 팀 채팅방에서 남은 토큰량을 공유하는 것이 일상이 되었습니다.
AI 사용량 통제 및 효율성 평가 도입 확산
AI 비용 부담이 커지면서 일부 기업들은 AI 사용량 자체를 줄이기 시작했습니다. 과거 AI 사용을 적극 독려했던 메타와 아마존은 과도한 사용 장려 정책을 철회했으며, 마이크로소프트(MS) 역시 일부 부서에서 사용하던 AI 코드 라이선스 종료를 결정했습니다. 대신 기업용 AI 에이전트에 더 효율적인 모델을 적용하는 방안을 검토하고 있습니다.
국내 기업들도 AI 사용량 통제를 확산하고 있습니다. 안랩은 특정 AI 도구의 사용량을 주당 제한했으며, 넷마블 역시 직책 및 팀별로 AI 사용 한도를 설정했습니다. 더 나아가 AI 사용 효율성을 인사 평가에 반영하는 사례도 등장했습니다. 삼성전자는 외부 생성형 AI 도입 시, 동일한 성과를 달성했더라도 토큰 사용 비용이 적은 조직을 더 높게 평가하는 '토큰 가성비'를 성과 참고 지표로 제시했습니다.
미래 전망: 최적화된 AI 모델의 시대
업계 관계자들은 AI 비용 예측의 어려움을 토로하며, 첫 청구서를 받아본 뒤 예상보다 훨씬 큰 금액에 놀라는 경우가 많다고 지적합니다. 올해 편성한 AI 예산을 단기간에 모두 소진하는 기업도 있다는 것입니다. 하지만 장기적인 관점에서 볼 때, AI 기술은 더욱 발전하고 최적화될 것입니다.
코인베이스 CEO는 향후 12~18개월 안에 전체 업무의 상당 부분을 저렴하고 효율적인 AI 모델이 처리하고, 고도의 지능이 필요한 특정 업무에만 최신 AI가 활용될 것이라고 전망했습니다. 이는 기업들이 AI 비용 부담을 줄이면서도 생산성을 유지하고 향상시킬 수 있는 기회를 제공할 것입니다.
- 기업들이 생성형 AI 도입 후 예상치 못한 높은 비용에 직면하며 토큰 관리의 중요성이 부각되고 있습니다.
- 과거 'AI 사용 장려'에서 'AI 효율적 사용'으로 패러다임이 전환되고 있으며, 비용 절감을 위한 기업들의 전략 수정이 이루어지고 있습니다.
- AI 사용량 통제, 최적화된 AI 모델 선호, AI 효율성을 인사 평가에 반영하는 등 다양한 방식으로 비용 부담을 줄이려는 노력이 확산되고 있습니다.
- 향후에는 저렴하고 효율적인 AI 모델이 일반 업무를, 고도의 지능이 필요한 업무에만 최신 AI가 활용될 것으로 전망됩니다.