토큰

정의#

토큰(Token)은 대규모 언어 모델(llm)이 텍스트를 이해하고 생성할 때 사용하는 최소 처리 단위다. 모델은 글자나 단어를 통째로 보지 않고, 내부 토크나이저가 텍스트를 잘게 쪼갠 조각(토큰) 단위로 확률 계산을 수행한다.

감각적으로 얼마인가#

언어	대략적 환산
영어	1 단어 ≈ 1~2 토큰 (평균 약 4자 = 1토큰)
한국어	1 글자 ≈ 1~2 토큰 (조사·어미가 분리되기도 함)
코드	기호·들여쓰기·공백도 모두 토큰으로 계산

• 한국어 단편 소설 1편(약 3만 자) ≈ 3~6만 토큰
• 한국어 책 1권 ≈ 15~30만 토큰
• Claude의 100만 토큰 context-window ≈ 한국어 책 5~7권

왜 중요한가 — 3가지 영향#

1. 비용#

API 사용 요금은 입력 토큰·출력 토큰 수 단위로 청구된다. 같은 질문이라도 긴 문서를 첨부하면 입력 토큰이 폭증한다. 모델별 단가는 claude-models 참고.

2. 속도#

토큰이 많으면 처리 시간도 길어진다. 일반적으로 출력 토큰이 많을수록 체감 대기 시간이 더 늘어난다(입력은 병렬 처리되지만 출력은 순차 생성).

3. 컨텍스트 한도#

모델마다 “한 번에 기억할 수 있는 토큰 수”가 정해져 있다. 이 한도를 넘기면 오래된 내용이 잘려나가거나 요청 자체가 거부된다. Claude의 현재 상한은 100만 토큰 수준으로 업계 최대급이다.

토큰을 절약하는 실전 팁#

• 필요한 부분만 첨부 — 500페이지 PDF 전체 대신 목차로 관심 섹션을 먼저 고른 뒤 부분 첨부
• 대화 분리 — 주제가 바뀌면 새 대화로 시작. 오래된 문맥이 누적되면 토큰이 낭비됨
• 요약 중간 저장 — 긴 대화의 결론을 CLAUDE.md나 메모에 저장하고 대화는 리셋
• 커넥터 절제 — 커넥터 하나당 몇천 토큰이 기본 컨텍스트로 고정된다. 꼭 필요한 것만 연결

prompt과의 관계#

사용자가 입력하는 프롬프트는 모델 입장에서는 입력 토큰 시퀀스다. “프롬프트를 더 자세히 쓴다”는 것은 “입력 토큰을 더 쓴다”와 같은 말이며, 그만큼 비용도 시간도 늘어난다. 과도하게 길 필요는 없고, 필요한 정보만 압축해 전달하는 것이 좋은 프롬프트다.