数据工坊JSON / JSON 格式化
A LITTLE ORDER, A LOT LESS WORK.

文本分块

为检索和 RAG 数据准备按字符分块,支持重叠和位置记录。

01 — 18从一份数据开始,把工作理顺。
支持批处理
INPUT
结果会显示在这里
Ctrl + Enter

所有处理都在当前浏览器中完成。

HOW IT WORKS

使用说明

  1. 按 Unicode 码点计数,不拆开 Emoji 的代理对;设置块大小和重叠长度。
  2. 这不是模型 token 计数器,也不按语义或完整字素切分。最多 2000 块;位置从 0 开始,end 不包含在内。
数据会发送给模型吗?

不会。这些工具在浏览器本地运行,不调用模型 API。

保存这套处理配置

仅保存工具与选项,不保存输入文本和文件内容。最多保留 20 套配置。