DuckDB extension for Japanese full-text search with 🛥Vaporetto / Vaporetto による DuckDB + 日本語全文検索拡張機能

SQLite FTS5 extension for fast Japanese full-text search with 🛥Vaporetto / Vaporetto による高速な日本語全文検索を SQLite FTS5 で実現する拡張機能

DuckDB + FTS + Vaporetto を用いた Wasm での Web ブラウザ上での日本語全文検索デモ

beko-translateは、Apple Silicon Mac向けのCLI翻訳ツールです。PDF見開き翻訳機能も同梱してあり原文・訳文を交互に表示できます。

✂️ OpenProvence: Open-Source, Efficient, and Robust Context Pruning for Retrieval-Augmented Generation

⚡Japanese sentence splitting(日本語文境界判定器), 40–250× faster via a Rust-accelerated Python library with near-perfect API compatibility with megagonlabs/bunkai.

JaCWIR: Japanese Casual Web IR - 日本語情報検索評価のための小規模でカジュアルなWebタイトルと概要のデータセット

JQaRA: Japanese Question Answering with Retrieval Augmentation - 検索拡張(RAG)評価のための日本語Q&Aデータセット

YAST - Yet Another SPLADE or Sparse Trainer

YASEM - Yet Another Splade|Sparse Embedder - A simple and efficient library for SPLADE embeddings

記事タイトルがないものを、自動タイトル

Educational content scoring and evaluation code using fineweb-2 (Japanese). Includes training and assessment implementations for content rating tasks.

wikipedia 日本語の文を、各種日本語の embeddings や faiss index へと変換するスクリプト等。

youri-7b を SFT で Q&A + RAG形式に特化したフォーマットで学習

NCD Classifier is a Python library that implements the method proposed in the paper "Low-Resource" Text Classification: A Parameter-Free Classification Method with Compressors".