10월 7일 Anthropic이 Claude Haiku 5.5를 내놨습니다. Claude 모델 가운데 가장 작고 가장 싼 등급입니다. 작은 모델 소식치고 반응이 컸습니다. Hacker News의 출시 글은 10월 12일 조회 기준 1,000점을 넘겼고 댓글이 480개 넘게 달렸습니다.
댓글에서 사람들이 붙잡은 건 성능보다 가격표였습니다. 입력 100만 토큰당 0.10달러. 전작 Haiku 4.5의 1달러에서 90%를 깎은 값입니다. 그런데 여기에 조건이 하나 붙습니다. 요청 하나의 프롬프트가 10만 토큰 이하일 때만 이 값입니다. 10만을 넘으면 단가가 다섯 배로 뜁니다.
이 조건 하나를 따라가 보겠습니다. 10만 토큰이라는 선이 정확히 어디에 그어져 있는지, 왜 생각보다 빨리 넘게 되는지, 그리고 모델 이름만 바꿔 끼웠을 때 무엇이 깨지는지.
작은 모델은 원래 무슨 일을 하나
Haiku 같은 소형 모델은 혼자 일하지 않습니다. 식당 주방으로 치면 수석 셰프보다는 재료를 손질하는 보조 쪽입니다. 고객 문의를 "환불", "배송", "기타"로 나누는 분류, 긴 대화 기록을 짧게 줄이는 요약, 데이터베이스에서 필요한 값을 꺼내오는 조회 같은 일을 맡습니다. 한 건 한 건은 단순한데 하루에 수만, 수십만 번 돌아갑니다.
요즘은 쓰임새가 하나 더 붙었습니다. 서브에이전트입니다. Opus나 Sonnet 같은 큰 모델이 전체 계획을 세우고, 잘게 쪼갠 일감을 작은 모델 여러 개에 나눠주는 구조입니다. 큰 모델은 "이 저장소에서 인증 관련 파일을 찾아 요약해 와"라고 지시만 하고, 파일을 하나하나 열어보는 건 작은 모델이 합니다. Anthropic도 발표문에서 Haiku 5.5를 Opus 5.5, Sonnet 5.5 밑에 두고 코딩 서브에이전트로 쓰는 용도를 직접 꼽았습니다.
이런 일에서 먼저 따지는 건 단가와 속도입니다. 수십만 번 부르는 모델이라면 한 번에 0.1센트 차이가 월말에 큰돈으로 돌아옵니다. HN 출시 글 댓글에도 Haiku 4.5가 성능에 비해 비쌌다는 지적과 함께 "이번엔 써볼 만하다"는 반응이 여럿 보였습니다.
가격표를 처음부터 읽어보면
공식 가격 문서를 옮기면 이렇습니다. 단위는 100만 토큰당 달러입니다.
| 구분 | Haiku 5.5 (10만 이하) | Haiku 5.5 (10만 초과) | Haiku 4.5 |
|---|---|---|---|
| 입력 | 0.10 | 0.50 | 1.00 |
| 출력 | 0.50 | 2.50 | 5.00 |
| 캐시 읽기 | 0.01 | 0.05 | 0.10 |
10만 토큰 이하 구간은 Haiku 4.5보다 90% 싸고, 10만 초과 구간은 50% 쌉니다. 비싼 구간도 전작보다는 쌉니다. 눈여겨볼 곳은 두 구간 사이의 간격입니다.
세부 규칙을 정확히 해둘 필요가 있습니다. Anthropic 가격 문서에 따르면 기준은 요청 단위입니다. 대화 전체도, 하루 사용량도 아니고, API 호출 한 번에 들어간 입력 토큰을 셉니다. 이 입력 토큰에는 캐시에서 읽어온 부분과 캐시에 새로 쓰는 부분이 모두 들어갑니다. 프롬프트 캐싱은 반복되는 앞부분을 저장해 두고 싸게 다시 읽는 기능인데, 캐시로 읽었다고 10만 계산에서 빠지지는 않습니다. 캐싱은 단가를 낮춰줄 뿐 구간을 피하게 해주지는 못합니다. 그리고 프롬프트가 10만을 넘은 요청은 입력뿐 아니라 출력과 캐시 단가까지 모두 높은 쪽 가격표를 따릅니다.
숫자로 보면 선이 얼마나 가파른지 보입니다. 입력 9만 9천 토큰에 출력 2천 토큰짜리 요청은 약 0.011달러입니다. 입력이 2천 토큰 늘어 10만 1천이 되면 약 0.056달러가 됩니다. 입력은 2% 늘었는데 요청 한 건의 비용은 다섯 배를 조금 넘게 뜁니다. 한 걸음 차이로 값이 뛰는 낭떠러지에 가깝습니다. 한 분석 블로그(Let's Data Science)도 같은 계산을 들어 10만을 넘는 프롬프트는 다섯 배를 낸다고 정리했습니다.
선을 10만에 그은 근거는 발표문 주석에 있습니다. Haiku 4.5로 들어오던 요청의 약 90%가 10만 토큰 이하였다는 겁니다. 기존 사용자 대부분은 싼 구간에 머문다는 계산이고, 평균 약 75% 싸진다는 회사 설명도 이 분포를 깔고 나온 숫자입니다. 다만 주석은 이 90%를 어느 토크나이저로 셌는지 밝히지 않았습니다. 이게 왜 중요한지는 바로 다음 이야기와 이어집니다.
같은 글이 30% 더 무거워졌다
토크나이저는 모델이 글을 읽기 전에 문장을 잘게 자르는 칼입니다. "안녕하세요"를 한 덩어리로 볼지, "안녕"과 "하세요" 두 덩어리로 볼지를 정합니다. 요금은 이렇게 잘린 조각, 즉 토큰 개수로 매깁니다. 같은 글이라도 칼이 바뀌면 조각 수가 달라지고 청구서도 달라집니다.
Haiku 5.5는 Claude 4.7 이후 큰 모델들이 쓰던 새 토크나이저를 씁니다. 마이그레이션 가이드에 따르면 같은 텍스트가 Haiku 4.5보다 약 30% 많은 토큰으로 계산됩니다. 늘어나는 폭은 내용마다 다르다는 단서가 붙어 있습니다.
이 30%가 10만 기준과 겹치면 계산이 바뀝니다. Haiku 4.5에서 8만 토큰이던 프롬프트는 Haiku 5.5에서 대략 10만 4천 토큰이 됩니다. 글자 하나 안 바꿨는데 비싼 구간으로 넘어갑니다. 입력 비용만 따지면 Haiku 4.5에서 0.08달러, Haiku 5.5에서 약 0.052달러입니다. 여전히 싸긴 한데, 인하 폭은 헤드라인의 90%에서 35% 안팎으로 줄어듭니다.
앞에서 말한 90%의 측정 기준이 여기서 걸립니다. 옛 토크나이저로 세어 10만 이하였던 요청 중 일부는 새 토크나이저로 세면 10만을 넘습니다. 발표문은 평균 75%라는 추정에 토크나이저 변화를 반영했다고 밝혔지만, 구간 경계 근처에 몰려 있던 요청이 얼마나 되는지는 공개하지 않았습니다.
토큰이 늘어나는 길은 더 있습니다. Haiku 5.5는 질문 난이도에 따라 스스로 생각하는 양을 정하는 적응형 사고(adaptive thinking)가 기본으로 켜져 있습니다. 마이그레이션 가이드에 따르면 앞선 턴에서 만든 사고 블록이 대화 맥락에 남아 다음 요청의 입력 토큰으로 다시 잡힙니다. Haiku 4.5는 마지막 턴의 것만 남겼습니다. 턴이 쌓이는 에이전트라면 토크나이저 변화로 설명되는 것보다 입력이 더 불어납니다. 이미지도 비슷합니다. Haiku 5.5는 고해상도 이미지 처리 등급을 써서, 가로 2,000 세로 1,500 픽셀 이미지 한 장이 Haiku 4.5 때보다 약 2.5배의 토큰을 씁니다.
성능은 얼마나 올랐나
성능은 크게 올랐습니다. 다만 아래 수치는 모두 Anthropic이 직접 발표한 것이고, 외부에서 다시 돌려본 결과는 아니라는 점을 감안해야 합니다.
컴퓨터 화면을 보고 마우스와 키보드로 작업하는 능력을 재는 OSWorld 2.1에서 Haiku 5.5는 72.4%를 받았습니다. Haiku 4.5는 15.7%, Sonnet 5.5는 83.9%입니다. 이 점수는 오프라인 부분집합에서 잰 것이라 공개 리더보드 점수와 바로 견줄 수는 없습니다. Artificial Analysis가 44개 직업의 실무 과제로 평가하는 GDPval-AA v2.1에서는 Elo 점수 1,620으로, Haiku 4.5의 735에서 크게 올랐습니다.
Anthropic이 스스로 선을 그은 영역도 있습니다. 터미널에서 여러 단계를 거쳐 코딩 과제를 끝내는 Terminal-Bench 4.0에서 Haiku 5.5는 39.2%, Sonnet 5.5는 70.6%입니다. 발표문은 이런 복잡한 에이전트 코딩에는 Haiku 5.5 대신 Sonnet이나 Opus를 쓰라고 적었습니다. 계획은 큰 모델이, 잔심부름은 작은 모델이 맡는 분업을 회사가 처음부터 전제한 셈입니다.
컨텍스트 창도 넓어졌습니다. 컨텍스트 창은 모델이 한 번에 펼쳐놓고 볼 수 있는 글의 양인데, Haiku 4.5의 20만 토큰에서 100만 토큰이 됐습니다. 그런데 100만 토큰을 넣을 수는 있어도, 10만을 넘는 순간부터는 비싼 구간입니다. 책상은 다섯 배로 넓어졌는데 그중 10분의 1을 넘게 쓰면 자릿세가 다섯 배가 되는 구조입니다. 가격 문서에 따르면 Sonnet 5.5와 Opus 5.5는 100만 토큰 전체를 같은 단가로 받습니다. 이런 구간제는 Haiku 5.5에만 있습니다. HN 댓글에서도 "10만은 너무 낮은 선"이라는 불만과 "서브에이전트로 쓰면 10만 넘을 일이 별로 없다"는 반박이 여러 차례 맞붙었습니다.
모델 이름만 바꾸면 깨지는 것들
Haiku 4.5에서 넘어오는 개발자는 가격보다 먼저 오류를 만날 수 있습니다. 모델 ID 한 줄을 claude-haiku-5-5로 바꾸는 것만으로는 기존 코드가 돌지 않는 경우가 있습니다.
가장 흔히 걸릴 곳은 샘플링 파라미터입니다. temperature, top_p, top_k는 답변의 무작위성을 조절하는 값입니다. Haiku 5.5는 이 셋을 빼고 보내라고 안내합니다. 굳이 넣는다면 temperature는 1, top_p는 0.99만 받습니다. top_k는 어떤 값이든 400 오류를 내고, temperature와 top_p를 함께 넣어도 오류입니다. top_p: 1도 오류라는 점이 의외입니다. 분류 결과를 일정하게 받으려고 temperature: 0을 박아둔 코드가 많을 텐데, 바로 그 코드가 먼저 깨집니다.
두 번째는 어시스턴트 프리필입니다. 프리필은 모델 답변의 첫머리를 미리 적어두고 그 뒤를 잇게 하는 기법입니다. 답을 JSON으로 받으려고 {를 먼저 넣어두는 식입니다. Haiku 5.5는 사고 기능을 꺼도 프리필을 거부합니다. 가이드는 형식을 강제하는 구조화 출력(structured outputs) 기능으로 옮기라고 권합니다.
이 밖에도 손볼 곳이 있습니다. 생각할 양을 budget_tokens로 직접 정하던 방식은 오류가 나고, Low부터 Max까지 다섯 단계인 effort로 조절해야 합니다(기본값 medium). 사고에 쓴 토큰도 max_tokens에 포함되니, 짧은 답변용으로 max_tokens를 빠듯하게 잡아둔 코드는 생각만 하다 답 없이 끝날 수 있습니다. 응답이 사고 블록으로 시작할 수 있어서 첫 번째 블록을 답으로 읽는 코드도 엉뚱한 값을 꺼냅니다. 컴퓨터 사용 도구는 새 툴셋 형식으로 바꿔야 합니다. 기업 고객이라면 Priority Tier가 Haiku 5.5를 지원하지 않는다는 점, Amazon Bedrock에서는 구조화 출력을 쓸 수 없다는 점도 함께 확인해야 합니다.
일정도 있습니다. 모델 문서에 적힌 Haiku 4.5의 은퇴 시점은 "2026년 10월 15일보다 이르지 않음"입니다. 그날 바로 꺼진다는 뜻은 아니지만, Anthropic이 보장한 최소 기간은 이번 주에 끝납니다.
10만 토큰은 설계 조건이 된다
정리하면 Haiku 5.5는 싸고 빨라진 게 맞습니다. 다만 싼 값을 누리려면 요청 하나를 10만 토큰 안에 담을 수 있어야 합니다.
분류나 짧은 요약처럼 원래 입력이 작은 일은 걱정할 게 별로 없습니다. 헤드라인의 90%에 가깝게 누립니다. 갈림길에 서는 쪽은 긴 맥락을 통째로 넣던 작업입니다. 대화 기록 전체를 매번 다시 보내는 상담 봇, 긴 문서를 한 번에 밀어 넣는 요약, 턴이 쌓일수록 사고 블록까지 불어나는 에이전트 루프가 여기 해당합니다.
이런 작업에서 10만 토큰은 비용 항목이기 전에 설계 조건입니다. 큰 문서를 10만 아래 조각으로 나눠 따로 요약할지, 오래된 대화와 사고 블록을 주기적으로 걷어낼지, 아니면 이 일만큼은 구간제가 없는 Sonnet에 맡길지를 정해야 합니다. 큰 모델이 서브에이전트에게 일을 넘길 때도 같은 질문이 생깁니다. 저장소 전체를 실어 보내면 비싼 구간으로 가고, 필요한 파일 몇 개만 넘기면 싼 구간에 남습니다. 맥락을 얼마나 덜어내느냐가 그대로 단가를 정하는 셈입니다.
Anthropic의 평균 75%가 우리 서비스에도 맞는지 가늠하는 기준도 여기서 나옵니다. Haiku 4.5 기준으로 7만 7천 토큰을 넘던 요청은 30% 증가를 거치면 10만 근처에 닿습니다. 그 구간에 몰린 요청이 많다면 평균 인하율은 75%보다 낮아지고, 대부분이 수천 토큰짜리 분류라면 90%에 가까워집니다. 가격표의 90%, 발표문의 75%, 그리고 실제 청구서 사이의 차이는 결국 요청 크기 분포가 정합니다. 그 분포는 Haiku 5.5의 토크나이저로 다시 세어봐야 보입니다.