지난 한 주 AI 뉴스는 대부분 새 모델 이야기였습니다. 누가 컨텍스트를 몇백만 토큰으로 늘렸고, 누가 점수 몇 점을 더 땄다는 소식이 줄을 이었습니다. 그런데 그 틈에서 성격이 좀 다른 뉴스가 하나 올라왔습니다. 새 모델을 내놓은 회사가 아니라, 남이 만든 모델을 돌려주는 도구를 만드는 회사가 6,500만 달러를 투자받았다는 소식입니다.
7월 9일, Ollama가 시리즈 B로 6,500만 달러를 유치했다고 발표했습니다. Theory Ventures가 라운드를 이끌었고 벤치마크, 8VC, 와이콤비네이터 같은 이름들이 뒤에 붙었습니다. 이번 라운드까지 합쳐 누적 투자금은 8,800만 달러가 됐습니다. 제프리 모건과 마이클 창 두 사람이 2023년 캘리포니아 팔로알토에서 시작한 이 도구는, 회사 소개에 따르면 지금 매달 890만 명의 개발자가 쓰고 있습니다.
숫자만 보면 흔한 스타트업 투자 소식입니다. 흥미로운 건 Ollama가 어떤 도구냐에 있습니다. 이 도구의 존재 이유를 한 줄로 줄이면 "AI 모델을 클라우드에 보내지 않고 내 컴퓨터에서 돌리게 해주는 것"입니다. 그런데 발표된 투자금 사용처에는 클라우드 확장이 들어 있습니다. 클라우드에 가지 말라던 도구가 클라우드를 키우겠다고 나선 셈입니다. 이 어긋남을 따라가다 보면 지금 오픈모델을 쓰는 방식이 로컬 실행과 클라우드 사이에서 어디쯤 자리를 잡아가는지가 드러납니다.
Ollama가 대신 해주는 귀찮은 일들
먼저 이 도구가 정확히 뭘 해주는지부터 짚겠습니다. 요즘 나오는 오픈모델은 대부분 허깅페이스 같은 곳에 가중치 파일을 통째로 올려둡니다. 누구나 내려받아 쓸 수 있습니다. 문제는 그 파일을 받아서 실제로 돌리는 과정이 만만치 않다는 데 있습니다.
내 노트북에서 모델 하나를 직접 띄우려면 넘어야 할 문턱이 여럿입니다. 내 그래픽카드 메모리에 맞는 크기로 모델을 압축한 버전을 골라야 하고, 그걸 읽어 들이는 실행 엔진을 컴파일해야 하고, 파이썬 라이브러리 버전이 엇갈리지 않게 맞춰야 하고, GPU를 제대로 잡는지 확인해야 합니다. 여기서 한 번 삐끗하면 오류 메시지와 씨름하다 하루가 갑니다. 모델을 써보기도 전에 지치는 겁니다.
Ollama는 이 과정을 명령어 한 줄로 줄였습니다. 터미널에 ollama run llama3라고 치면, 알아서 적당한 크기의 모델을 내려받고, 실행 엔진을 준비하고, 바로 대화창을 띄웁니다. 도커(Docker)를 써본 사람이라면 감이 올 겁니다. 도커가 "이 프로그램을 돌리려면 이런 환경이 필요하다"는 골칫거리를 이미지 하나로 포장해줬듯이, Ollama는 "이 모델을 돌리려면 이런 준비가 필요하다"를 명령어 하나 뒤로 숨겼습니다. 앱스토어에서 앱 받듯이 ollama pull로 모델을 받고, 실행 버튼 누르듯이 ollama run으로 돌립니다.
기술적으로 이걸 가능하게 한 두 축이 있습니다. 하나는 양자화된 모델 포맷입니다. 원래 모델의 가중치는 소수점을 32비트로 정밀하게 저장하는데, 이걸 4비트나 8비트로 낮춰 파일 크기를 대폭 줄인 버전을 씁니다. 고해상도 사진을 알아볼 수 있는 선에서 적당히 압축해 용량을 줄이는 것과 비슷합니다. 정밀도를 조금 포기하는 대신, 수십 기가바이트짜리 모델이 개인 노트북 메모리에 들어갈 크기로 줄어듭니다. 다른 하나는 실행 엔진입니다. Ollama는 초기에 llama.cpp라는 오픈소스 추론 엔진을 감싸는 형태로 출발했고, 이후 직접 만든 엔진을 붙여가며 더 다양한 모델과 하드웨어를 지원해왔습니다.
여기에 하나 더, Ollama는 모델을 띄우면 내 컴퓨터 안에 작은 서버를 하나 열어둡니다. 다른 프로그램이 이 서버에 대화를 요청하면 모델이 답을 돌려주는 구조입니다. 덕분에 내가 만드는 앱이 오픈AI API를 부르듯이 똑같은 방식으로 내 노트북 안의 모델을 부를 수 있습니다. 이게 개발자들이 Ollama를 붙박이로 쓰게 된 이유입니다. 클라우드 API를 로컬 모델로 갈아 끼우는 일이 주소 한 줄 바꾸는 정도로 간단해졌으니까요.
'내 컴퓨터에서 돈다'가 사치가 아닌 이유
그런데 클라우드에 잘 나가는 모델을 두고 왜 굳이 내 컴퓨터에서 돌리려 할까요. 답답하게 느껴질 수도 있는데, 여기엔 성능과 무관한 현실적인 벽이 있습니다.
가장 큰 건 데이터입니다. 클라우드 모델을 쓴다는 건 결국 내 데이터를 남의 서버로 보낸다는 뜻입니다. 개인이 취미로 쓸 때는 대수롭지 않지만, 조직으로 오면 이야기가 달라집니다. 은행이 내부 시스템 코드를 외부 AI에 물려 정리시키고 싶어도, 그 코드가 회사 밖으로 나가는 순간 망분리 규정에 걸립니다. 환자 기록을 다루는 병원, 수사 자료를 다루는 로펌도 사정이 같습니다. 이런 곳에서는 모델이 아무리 똑똑해도 "데이터를 밖으로 못 보낸다"는 조건 하나 때문에 클라우드 모델이 후보에서 빠집니다. 내 서버 안에서 도는 모델은 이 벽을 처음부터 넘지 않아도 됩니다. 데이터가 울타리를 벗어날 일이 없으니까요.
비용도 무시하기 어렵습니다. 클라우드 모델은 대체로 쓴 만큼 토큰 단위로 요금을 매깁니다. 몇 번 물어보는 정도면 푼돈이지만, 하루 종일 문서를 분류하거나 로그를 훑는 반복 작업을 수십 명이 돌리기 시작하면 청구서가 빠르게 불어납니다. 이미 사둔 노트북이나 사내 서버에서 모델을 돌리면 그 반복 비용이 전기료 수준으로 내려갑니다. 물론 성능 좋은 GPU를 갖추는 초기 비용은 들지만, 일정 규모를 넘어서면 손익분기가 로컬 쪽으로 기웁니다.
여기에 요즘은 흐름 하나가 더 겹쳤습니다. 지난 몇 주 사이 최상위 모델을 국가 안보나 수출통제 명목으로 묶어두려는 움직임이 부쩍 늘었습니다. 특정 지역에서는 어떤 프론티어 모델을 아예 못 쓰게 될 수도 있다는 이야기가 나옵니다. 이렇게 되면 가장 좋은 모델 하나에 서비스 전체를 걸어두는 설계가 위태로워집니다. 규제로 그 모델이 막히는 순간 서비스도 함께 멈추니까요. 그 대안으로 다시 눈길을 끄는 것이 규제에서 자유로운 오픈모델을 내 인프라에서 돌리는 방식입니다. Ollama에 돈이 몰린 배경에는 이런 공기가 깔려 있습니다. 결국 시장이 값어치를 인정한 건 더 센 모델이 아니라, 성능만으로는 풀리지 않는 데이터와 비용과 규제 문제를 우회하게 해주는 실행 도구였던 셈입니다.
로컬 도구가 클라우드로 간다는 모순
이제 처음의 어긋남으로 돌아가 보겠습니다. Ollama가 밝힌 투자금 사용처는 세 가지입니다. 제품과 오픈소스 커뮤니티에 계속 투자하고, 클라우드 컴퓨팅 규모를 키우고, 핵심 인재를 채용하겠다는 겁니다. 이 가운데 눈에 걸리는 건 두 번째, 클라우드입니다. 내 컴퓨터에서 모델을 돌리자던 도구가 왜 클라우드에 돈을 쓸까요.
이유는 로컬 실행의 한계에 있습니다. ollama run이 아무리 매끄러워도, 결국 내 컴퓨터 성능을 넘어서는 모델은 돌릴 수 없습니다. 요즘 제일 큰 오픈모델들은 수백 기가바이트 메모리를 요구합니다. 웬만한 노트북은커녕 어지간한 사내 서버로도 벅찹니다. 로컬만 고집하면 "작은 모델은 내 기기에서 잘 돌지만, 정작 무거운 일을 시킬 큰 모델은 못 돌리는" 반쪽짜리 도구에 갇힙니다.
Ollama가 그리는 그림은 이 둘을 잇는 쪽으로 보입니다. 가벼운 모델은 지금처럼 내 기기에서 돌리고, 내 기기가 감당 못 하는 무거운 모델이 필요할 때만 같은 명령어로 Ollama가 운영하는 클라우드에 넘겨 돌리는 방식입니다. 쓰는 사람 입장에서는 로컬이든 클라우드든 명령어가 똑같으니 경계를 의식할 필요가 없습니다. 개인 개발자가 익힌 사용법을 팀 단위, 회사 단위로 그대로 확장하는 길이기도 합니다. 890만 명이 이미 로컬에서 손에 익힌 도구가 있다면, 그들이 더 큰 모델을 찾을 때 자연스럽게 같은 브랜드의 클라우드로 넘어오게 만드는 것, 투자자들이 6,500만 달러를 걸 만하다고 본 지점이 여기일 겁니다.
다만 이 전환에는 지켜봐야 할 대목이 있습니다. Ollama의 매력은 "내 데이터가 밖으로 안 나간다"였는데, 클라우드로 무게중심이 옮겨가면 그 매력이 흐려질 수 있습니다. 결국 어떤 작업은 다시 남의 서버로 보내는 셈이니까요. 물론 "평소엔 로컬, 필요할 때만 클라우드"라는 선택지를 한 도구 안에서 주는 것 자체가 편리함이긴 합니다. 하지만 회사가 성장의 축을 클라우드 매출에 둔다면, 무료로 열려 있던 로컬 기능이 앞으로도 지금처럼 대접받을지는 열어둬야 할 질문입니다. 오픈소스로 사용자를 모으고 클라우드로 돈을 버는 구조는 익숙하지만, 그 둘의 이해가 항상 같은 방향을 보지는 않기 때문입니다.
모델이 아니라 모델을 다루는 자리에 돈이 붙었다
이번 투자에서 하나 더 눈여겨볼 대목이 있습니다. 돈이 붙은 곳이 모델 자체가 아니라 모델을 다루는 도구였다는 점입니다.
지난 2년간 관심과 자본은 대부분 더 크고 똑똑한 모델을 만드는 쪽으로 쏠렸습니다. 그런데 모델이 흔해지고 성능이 상향 평준화되자, 병목이 다른 곳으로 옮겨갔습니다. 좋은 모델이 없어서가 아니라, 있는 모델을 내 환경에서 안전하고 값싸게 돌리는 일이 여전히 번거로워서 못 쓰는 경우가 많아진 겁니다. Ollama에 대한 투자는 이 병목에 돈이 반응했다는 신호입니다. 남이 만든 모델을 잘 골라 잘 돌려주는 자리, 즉 모델과 사용자 사이를 매끄럽게 잇는 자리의 값어치를 시장이 인정한 셈입니다.
물론 이 자리를 Ollama가 독차지한 건 아닙니다. 비슷한 결의 도구가 여럿 있고, 클라우드 사업자들도 자체 모델 실행 서비스를 밀고 있습니다. 이번 투자는 Ollama가 그 경쟁에서 앞서려 자금을 확보한 것이지, 승부가 끝났다는 뜻은 아닙니다. 그래도 방향만큼은 분명해졌습니다. 앞으로 한동안은 어떤 모델이 제일 센가만큼이나 그 모델을 어디서 어떻게 돌리는가가 무게 있는 질문이 됩니다. 그러니 이 글에서 짚은 세 가지 벽, 즉 데이터를 밖으로 내보낼 수 없거나, 반복 작업의 토큰 비용이 부담스럽거나, 특정 모델이 규제로 막힐 위험이 있는 조직이라면, 클라우드 API 하나에 기대던 설계를 다시 들여다볼 이유가 생겼습니다. 그 재검토를 가장 낮은 문턱에서 시작하게 해주던 도구가 6,500만 달러를 손에 쥐었다는 것, 이번 소식이 남기는 무게는 거기에 있습니다.