Nhà phát triển / Token
Bộ đếm token: Đếm token cho các mô hình OpenAI
Đếm chính xác số token trong mọi văn bản như cách các mô hình OpenAI thực hiện, với tokenizer o200k_base dùng cho GPT-4o và các phiên bản mới hơn, cùng cl100k_base dùng cho GPT-4 và GPT-3,5 Turbo. Bạn cũng có thể xem số ký tự, số từ, số ký tự trên mỗi token và từng token được đánh dấu, mà không cần gửi văn bản đi đâu cả.
Bộ đếm token: Đếm token cho các mô hình OpenAI: Văn bản được mã hóa trong trình duyệt của bạn bằng js-tiktoken và các từ vựng ghép cặp byte do OpenAI công bố — chính là những từ vựng mà các mô hình sử dụng — nên số lượng khớp chính xác: "tiktoken is great!" có sáu token trong cl100k_base. Mỗi token được hiển thị dưới dạng một mảnh có màu, giúp bạn thấy các từ phổ biến thường chỉ là một token, trong khi từ hiếm, số và các hệ chữ khác có thể được tách thành nhiều token. Chạy 100% cục bộ trong trình duyệt của bạn, không có tệp nào được tải lên máy chủ.
- Danh mục
- Công cụ lập trình viên
- Lượt chạy
- Trong trình duyệt của bạn
- Chi phí
- Miễn phí · không cần đăng ký
- Trạng thái khả dụng
- Sẵn sàng sử dụng
Chạy hoàn toàn trong trình duyệt của bạn
Số đếm chính xác đối với các mô hình OpenAI sử dụng những bộ mã hóa này, được tính trong trình duyệt của bạn bằng js-tiktoken (MIT) và các từ vựng do OpenAI công bố; văn bản của bạn không được gửi đi đâu cả. Mô hình của các công ty khác sử dụng tokenizer riêng, vì vậy hãy xem các số đếm này là ước tính đối với chúng: trong tiếng Anh, một token thường tương đương khoảng bốn ký tự.
Token và chi phí
Giá của mô hình được tính trên mỗi triệu token đầu vào và đầu ra, vì vậy số lượng token giúp bạn ước tính chi phí của một yêu cầu; hãy kiểm tra bảng giá hiện tại của nhà cung cấp.
Quy tắc ước lượng
Trong tiếng Anh, 100 token tương đương khoảng 75 từ, hoặc bốn ký tự mỗi token; các ngôn ngữ khác và mã thường cần nhiều token hơn cho mỗi từ.
Cách sử dụng
- Dán prompt hoặc văn bản của bạn.
- Chọn tokenizer cho mô hình của bạn.
- Xem số token và cách văn bản được tách thành các token.
Quyền riêng tư và giới hạn
Văn bản của bạn được tách token trong trình duyệt và không bao giờ được tải lên.
Công cụ liên quan
Câu hỏi thường gặp
Công cụ này có đếm token cho Claude, Gemini hoặc Llama không?
Không hoàn toàn chính xác: mỗi công ty sử dụng tokenizer riêng, vì vậy số token của các mô hình khác có thể chênh lệch đáng kể. Hãy dùng số đếm ở đây như một ước tính sơ bộ cho các mô hình đó.
Tại sao tiếng Trung hoặc tiếng Nhật lại dùng nhiều token hơn?
Các từ vựng học những mảnh phổ biến nhất trong văn bản dùng để huấn luyện chúng. o200k_base có nhiều mảnh không phải tiếng Anh hơn cl100k_base, vì vậy cùng một văn bản tiếng Nhật thường cần ít token hơn khi dùng tokenizer này.
Khoảng trắng và ngắt dòng có được tính không?
Có. Khoảng trắng thường được gộp với từ đứng sau, và ngắt dòng cũng là token.
Công cụ miễn phí · trong trình duyệt của bạn lượt chạy · không cần tài khoản