discourse_ai-tokenizers 0.4.2

A Ruby gem providing a consistent interface for various AI/ML tokenizers including OpenAI GPT, Anthropic Claude, Google Gemini, Meta Llama, Mistral, Qwen, and embedding models like BERT, BGE, and multilingual-E5. Features caching, truncation, token counting, and error handling across different tokenization libraries.

Gemfile:
=

インストール:
=

バージョン履歴:

0.4.2 February 27, 2026 (20.6MB)
0.4.1 February 26, 2026 (20.6MB)
0.4 January 06, 2026 (20.6MB)
0.3.2 December 10, 2025 (20.6MB)
0.3.1 July 07, 2025 (20.6MB)

全てのバージョンを表示（全10件）

Runtime依存関係 (3):

activesupport >= 6.0

tiktoken_ruby ~> 0.0.15

tokenizers ~> 0.6.3

Development依存関係 (2):

rubocop-discourse ~> 3.8

syntax_tree ~> 6.2.0

全ての推移的な依存関係を表示

所有者:

プッシュ者:

作者:

Rafael Silva

SHA 256チェックサム:

累計ダウンロード数 205,877

このバージョンのみ 54,555

このバージョンがリリースされたのは:
February 27, 2026 1:12pm

ライセンス:
MIT

必要なRubyのバージョン: >= 3.2.0

リンク:

ホームページ変更履歴ダウンロード差分をレビューバッジ RSS Analytics 悪用報告被依存関係