오픈AI 말고도 거대 언어 모델(LLM)들을 선보이는 회사들이 쏟아진다. LLM을 업무용으로 투입해보려는 기업들 입장에선 어떤 LLM을 써야 할지, 또 하고자 하는 일과 쓰려고 하는 LLM 궁합이 좋은지 판단하기가 만만치 않다.
아서(Arthur)는 이와 관련해 기업들이 가려워 하는 것을 긁어주려는 AI 스타트업으로 LLM들 성능을 비교 평가하는 툴을 주특기로 삼고 있다.
아서는 LLM 성능 평가 툴 아서벤치(Arthur Bench)를 오픈소스로 먼저 선보였고 B2B SaaS로도 준비하고 있다. 아서벤치 확산을 위해 아마존웹서비스(AWS), 오픈AI와 경쟁하는 엔터프라이즈 생성AI 업체 코히어 등과도 협력하고 있어 눈길을 끈다.
아
데이터 기반으로 필요에 맞는 LLM을 선택한다
아서벤치는 LLM, 프롬프트 등을 비교하는 도구로 기업들이 실제 시나리오에서 다양한 LLM이 어떻게 작동하는지 평가할 수 있다. 이를 통해 LLM 도입과 관련해 데이터 기반 의사 결정을 내릴 수 있도록 지원한다는게 회사 측 설명이다.
회사 측에 따르면 아서벤치를 기반으로 사용자들은 특정 앱에서 사용할 프롬프트들이 다양한 LLM들에서 어떤 성능을 보여줄지 테스트하고 측정할 수 있다. 예를 들면 사용자는 다양한 프롬프트 100개를 테스트하고 앤트로픽과 오픈AI에서 결과가 어떻게 다른지 파악할 수 있다.
실용적인 측면에서도 아서벤치는 주목할 만 하다.
사실 기업들 입장에선 모든 애플리케이션에 최고 수준 LLM이 필요한 것은 아니다. 경우에 따라서는 더 저렴한 AI 모델로도 충분할 수 있다. 애플리케이션이 일반적인 고객 쿼리에 대한 자동 응답과 같은 간단한 텍스트를 생성하는 경우, 저렴한 모델로도 커버 가능하다. 아서벤치는 예산도 고려해 결과를 보여준다. 오픈AI나 구글 같은 퍼블릭 클라우드 기반 LLM은 프라이버시 측면에서 기업들에게 부담일 수있다. 이를 고려해 아서벤치는 프라이버시와 관련한 평가도 지원한다.
아서벤치는 오픈소스인 만큼, 사용자들은 필요에 따라 자체 기준을 추가해 관심 있는 지표 중심으로 맞춤형 벤치마크를 구성할 수 있다.
아서벤치는 오픈AI, 앤트로픽, 메타 등이 제공하는 LLM들 강점과 약점으 평가하는 연구 이니셔티브인 GAP(Generative Assessment Project)도 공개했다. 이를 통해 LLM들 차이점과 유용한 사례들을 공유해 나간다는 목표다.
LLM 잘 쓰게 하는 B2B SaaS 판 커져
아서에 따르면 다양한 회사들이 이미 아서벤치를 사용하고 있다.
금융 서비스 회사들은 투자 이론 및 분석에 LLM을 활용하면서 아서벤치를 적용했고 자동차 제조사들은 고객 문의에 대한 답변을 제공하기 위한 일환으로 LLM을 활용하는 과정에서 아서벤치를 배치했다.
언론사 악시오스도 제품 개발과 관련해 아서벤치를 사용하고 있다고 한다. 벤처비트 보도를 보면 악시오스는 기능 전반에 걸쳐 LLM에 대한 평가를 확장 및 표준화하고, 의미 있고 해석 가능한 지표로 제품 팀에 성능을 설명할 수 있는 내부 프레임워크를 개발하는 데 아서벤치가 도움이 됐다고 됐다고 전하고 있다.
아서는 아서벤치 외에 기업들이 LLM을 쓰는 과정에서 환각 및 다른 문제가 있는지 모니터링할 수 있는 도구인 아서 쉴드(Arthur Shield)도 제공하고 있다.
아서벤치의 경우 아직까지 오픈소스 소프트웨어로만 제공되고 있다. 무료라고 해도 오픈소스 버전을 직접 관리하는 것이 만만치 않은 기업들도 적지 않을 것이고, 이들 기업을 겨냥해 아서는 SaaS 모델을 제공할 계획이다.
전에도 SaaS 스토리에서 LLM 활용 과정에서 문제가 될 수 있는 부분을 체크할 수 있도록 지원하는 스타트업인 칼립소AI(CalypsoAI) 사례를 소개한 적 있는데, 요즘 글로벌 테크 시장 분위기를 보면 이와 유사한 기업들 움직임이 활발하다. LLM 활용과 관련해 기업들이 직면하고 있거나 직면할 수 있는 다양한 문제들을 해결하는데 초점을 맞춘 B2B SaaS 판이 커지고 있음을 보여주는 장면 같다.
#B2BSaaS #B2BSaaS전략 #아서 #생성AI #LLM #B2BSaaS스타트업
by Sasquachi