tokenkit 0.1.0.pre.1
TokenKit provides lightweight, Unicode-aware word-level tokenization with pattern preservation, backed by Rust for performance.
Gemfile:
=
インストール:
=
バージョン履歴:
- 0.1.0.pre.1 September 29, 2025 (38.5KB)
Runtime依存関係 (1):
rb_sys
~> 0.9