Chonkie AI

Chonkie AI は、テキスト分割とデータ前処理に特化した軽量な Python ツールキットで、検索強化生成（RAG）などのアプリケーションに基盤となるインフラを提供します。

多様なテキスト分割手法、ベクトルデータベースとの統合サポート、AI モデルインターフェース、データ前処理ツールチェーンを提供し、開発者がテキストデータを効率的に処理できるようにします。

RAG アプリ、対話システム、テキスト要約、文書分析などの自然言語処理プロジェクトを構築する開発者に適しています。

固定サイズの分割、内容ベースの分割（文・単語ごと）、意味的類似性に基づく高度な分割などをサポートします。

提供された抽象インターフェースを通じて、Chroma、Qdrant などのベクトルデータベースとの接続とデータのやり取りを簡素化し、JSON 形式でのエクスポートをサポートします。

公開情報によれば、Chonkie AI は現時点で無料の製品であり、開発者は PyPI からインストールして利用できます。

OpenAI API 形式に対応したモデルや、埋め込み・意味分割に用いられる VoyageAI などのモデルをサポートしています。

PyPI のプロジェクトページと GitHub のリポジトリから、インストール手順、使用ドキュメント、ソースコードを入手できます。