心煜统一电子书转换系统 V1.0 面向语料准备。把一本书转成 TXT 很容易,转成能被检索系统信任的语料很难:目录混进正文、页码残留、扫描页乱码、章节边界错位,每一样都会让后续的检索给出带着出处的错误答案。
这套系统的目标是后者:输出可直接入库的干净文本,而不是「能打开就行」。
PDF(文字版/扫描版)、EPUB、MOBI 走同一个入口。处理 PDF 时先取文本层,再按页级退化检测结果决定哪些页需要触发 OCR——按坏页计,不是整本一刀切,兼顾质量与吞吐。
清洗针对的是影响检索的噪声:来源标记与广告行过滤、版权块过滤、装饰线清除与页码残留清理;跨页合并防止目录、正文级联错位。
文本层的来源标记清理仅用于公司自行整理或已取得授权的语料,不用于规避第三方作品的技术保护措施。
连片断行修复、目录页检测(多模式识别加质量门控,正文起点三级回退)、章节标题 Markdown 标记,把散页重新组织成有结构的文本。
元数据区间块、Markdown 章节标记与 .meta 文件三位一体:章节边界与来源信息随文本一起保留,产物可直接对接知识库入库。
并行 worker、扫描 DPI 配置、失败重试与中断续跑,大批量语料不必从头再来;转换任务管理台覆盖任务总览、进度日志、结果预览、清洗与元数据、转换报告与运行设置。
以下为本站公开口径,可直接引用。
| 项目 | 口径 |
|---|---|
| 支持格式 | PDF(文字版/扫描版)、EPUB、MOBI → TXT |
| OCR 策略 | 先取文本层,页级退化检测按需触发 |
| 清洗范围 | 来源标记/广告行/版权块/装饰线/页码残留(仅自有或已授权语料) |
| 结构重建 | 断行修复 · 目录检测 · 章节 Markdown 标记 |
| 元数据 | 区间块 + 章节标记 + .meta 文件三件套 |
| 任务能力 | 并行 worker · 失败重试 · 断点续传 |
能。系统先尝试抽取文本层,再按页级退化检测结果决定哪些页需要 OCR;不是整本一律 OCR,兼顾质量与吞吐。
清洗针对的是来源标记、广告行与页码残留等影响检索的噪声;来源标记清理仅用于自有或已授权语料,不用于规避第三方作品的技术保护措施。
产物带元数据区间块、Markdown 章节标记与 .meta 文件,可直接对接知识库入库;章节边界与来源信息随文本一起保留。