文本分块
按长度或分隔符切分文本，便于准备 RAG / LLM 输入。
文本分块（Text Chunking）把长文档切成适合嵌入与检索的片段。合适的分块大小与重叠能提升 RAG 召回质量，减少答案跑偏。
能做什么
- 支持按字符长度、分隔符等方式预览分块结果
- 适合调试 chunk size / overlap 对检索的影响
- 纯前端运行，文本不会上传到服务器
怎么用
- 粘贴或输入待切分的长文本
- 调整分块长度、重叠或分隔规则
- 预览分块结果，确认语义边界是否合理
- 将合适参数应用到你的 RAG 流水线
常见问题
为什么 RAG 需要文本分块？
向量检索通常对短片段效果更好。过大的块会稀释语义，过小的块会丢失上下文；分块是在召回精度与上下文完整性之间做权衡。
分块大小一般选多少？
常见起点是 200–800 tokens（或约 500–2000 字符），再按文档类型与模型上下文窗口微调，并用检索评测验证。
相关文章
- AI切文章就像切西瓜：递归字符分割让机器懂你心 — 你有没有试过给ChatGPT发一篇超长文章，结果它说'太长了，看不完'？就像让人一口吃下整个西瓜一样不现实！递归字符分割技术就像一个贴心的切瓜师傅，知道在哪里下刀才不会破坏瓜的甜美。掌握这项技术，让你的AI应用从'消化不良'变成'营养吸收专家'。 人工智能 文本处理 自然语言处理 机器学习
- 文本分块大揭秘，五种境界让你的RAG系统从菜鸟变大神 — 如果你的AI应用程序返回的答案总是不着边际，问题可能出在文本分块上！本文用轻松幽默的方式，带你玩转从基础到高级的五种文本分块策略，让你的RAG系统检索效率提升10倍。无论你是RAG新手还是老手，这篇文章都能让你事半功倍！
- 切块、清洗、烹饪：RAG知识库构建的三步曲 — 嘿，各位AI技术爱好者们，你是不是经常遇到这样的情况：辛辛苦苦训练的AI助手，面对专业问题时却"一问三不知"或者"胡言乱语"？明明你已经喂了它一堆PDF和Word文档，为啥它就是不会用？ 就像你去米其林餐厅，厨师拿着一堆未处理的食材直接上桌一样荒谬！没错，RAG系统也需要一个"厨房"，而文档处理与知识库构建，就是这个厨房里最重要的"烹饪工艺"！ RAG为什么