일반
Token
다른 이름: 토큰
정의
LLM에서 텍스트를 처리하는 기본 단위. 단어의 일부 또는 전체
상세 설명
핵심 개념
Token는 프로그래밍 전반에서 자주 접하게 되는 개념입니다.
실무에서 활용
- 시스템 아키텍처 설계의 기초가 됩니다
- 성능 최적화와 병목 해결에 활용됩니다
- 프로덕션 환경에서 안정적인 운영을 가능하게 합니다
LLM에서 텍스트를 처리하는 기본 단위. 단어의 일부 또는 전체
Token는 프로그래밍 전반에서 자주 접하게 되는 개념입니다.