原创 迅读网小说分类下载器20120831 天天向上20120831

这是业余时间帮别人写的一个代码,想到可能有人用得着,就公布出来吧。

偷个懒,介绍神马的直接copy使用说明中的内容

引用:

功能:

批量整理迅读网(http://www.xunread.com)上的小说

特色:

1. 能以3种方式整理小说:整理单本小说、根据url配置文件批量整理、按类别批量整理

2. 支持断点续传、支持增量下载

主文件:

迅读网小说分类下载器.cmd

配置文件:

小说分类配置.ini----------按分类批量下载时必须

小说url配置.ini-----------根据配置文件下载指定的小说时必须

依赖文件:

gawk.exe:用于整理小说信息列表、整理正文内容、更新下载日志等环节

axel.exe:强悍的网络下载工具,号称命令行版本的迅雷。需要文件 cygwin1.dll 的支持。

提取小说列表总页码.awk:统计待下载的小说列表页面的总页码数量

整理小说信息列表.awk:整理出小说信息列表,后续的所有操作都严重依赖这张表,包含 小说唯一标志符、小说名、已下载的初始章节(默认为0)、作者、分类、是否为全文 等字段,主要用于按分类批量整理小说

提取单个小说标题_作者_分类.awk:提取单个小说标题、作者和分类,用于下载单本小说或者根据小说url列表下载小说的下载正文阶段

提取各章节url.awk:获取每篇小说各章节正文页面的下载地址

提取单个小说已完成章节信息.awk:在 下载单个小说文本 或者 根据url下载列表下载小说 的模式下获取已经处理完毕的章节信息,以便能够断点续传

整理正文.awk:提取网页文件中的正文文字,整理成文本格式文件

更新下载日志.awk:当使用增量下载模式时,把以前曾经下载过/提取过正文的日志记录更新为最后一次的数据,用于下载正文页面或提取正文内容两个环节

提取新增加的小说信息.awk:提取新增加的小说信息列表,含新增加的小说和旧有小说的新增加章节两部分,用于增量下载模式

其他文件:

使用说明.txt(本文件)

更新历史.txt

使用方法:

把所有文件释放到同一目录下,然后运行 cmd 文件,按照提示进行操作。

另外,还可以把exe文件及其配套的dll文件放到任一 %path% 目录下,但是,cmd文件和awk文件必须在同一目录下。

【原创】迅读网小说分类下载器[20120831] 天天向上20120831
程序运行大致流程:

① 全新下载模式下:选择相应的下载类别之后,若是按分类批量下载,则程序开始下载该类别所有小说的列表页面,然后获取每篇小说的目录页面(index.html),根据目录页面下载具体章节的正文页面,最后,根据正文页面整理出文本格式的小说文件,每个步骤的操作都写入相应的下载日志文件;若是单本下载、或者按照url列表下载,则直接跳转到获取小说的目录页面(index.html)这个步骤,后续步骤与按分类批量下载相同;

② 增量下载模式下:若是按分类批量下载,则全新下载该类别所有小说的列表页面,然后获取每篇小说的目录页面(index.html),整理出当前的小说列表信息,与上次成功下载/整理的小说列表信息做比较,把上次已经操作过的数据更新到当前小说列表信息文件中,本次操作将只处理新增加的小说及旧有小说中新增加的章节;若不是按分类进行处理的模式,处理过程基本一致,只是操作的对象变成单个小说(按url列表下载N个小说的模式分解成一次只处理一个文件,循环N次处理完毕);

③ 断点续传模式下:读取上次的下载进度,找到续传点,接着下载/整理后续部分

注意事项:

① 本程序支持断点续传,您可以随时终止程序,而无需担心下次会重复/遗漏数据;

② 本程序支持增量下载,您可以在将来的任意时间里下载/整理新增加的小说,无需重复处理已有的数据;

③ "断点续传" 和 "增量下载" 极度依赖下载日志文件,若您需要使用这两个功能,请务必保证下载日志的完整性,切勿随意编辑日志文件;若缺少下载日志文件,有可能以全新下载模式处理数据,会导致重复下载、重复整理;

④ 您可以指定下载时的线程数,在主程序 cmd 文件中修改 threads 的具体值即可(在程序的"初始化全局变量"部分修改),默认为 3 线程,不过html文件较小,调整该参数似乎没有什么效果;您也可以修改下载失败时的重试次数,调整 set "retryTimes=5" 中的数字即可,默认重试5次;

⑤ 每个类别的正文内容保存在 contentFolder 文件夹下单独的文件夹中,以各分类名为文件夹名,再在各类别文件夹创建以"小说名_作者名"为名称的文件夹,在这个文件夹下保存该小说的目录页面文件(index.html)和所有的正文页面文件(1.html、2.html……N.html),该小说的整理结果保存在与该"小说名_作者名"文件夹相同的目录下,并且与文件夹名称相同;也会按照这样的规则创建文件。

⑥ 在程序运行过程中,会在LOG目录下生成以 .log 和 .txt 为后缀的文件,这些文件保存这当前的下载进度信息,是断点续传及增量下载功能的依据,切勿随意编辑。

⑦ 您可以根据配置文件"小说url配置.ini"中的说明随时增减小说url条目,条目数量不限;

⑧ 仅在Win7简体中文旗舰版下测试,理论上支持XP及其之后的系统

Code by namejm 20120812~20120820

更新历史:

引用:

20120831

* 修正了按小说分类配置文件中的分类批量下载小说时,无论选择哪个类别,实际上下载的都是配置文件中最后一个类别的bug

20120823

* 修正了一个因为标题处理不当导致部分小说下载失败的bug

20120820

放出第一个较完善的版本

20120812

开始构思脚本

下载地址:http://dl.vmall.com/c05mwg62rv

  

爱华网本文地址 » http://www.aihuau.com/a/25101013/174750.html

更多阅读

迅雷怎么设置代理下载 精 迅雷精简版 代理

迅雷怎么设置代理下载 精——简介迅雷是我们通常使用的最多的下载工具,但在一些特定场合或者某些需要,我们不知怎么设置她的代理。比如在公司,公司整个是使用代理服务器上网,迅雷的默认设置不能下载,我们怎么设置呢。现在我们一起来学习

迅雷不能自动下载怎么办 迅雷怎么不能下载了

迅雷不能自动下载怎么办——简介习惯了用迅雷的朋友都知道,当我们在浏览网页想要下载资源的时候迅雷会自动为我们自动连接。但是有时因为我们不小心改变了浏览器的设置导致迅雷的这种功能被禁止,那么该如何让迅雷在我们需要的时候自动

酷6网视频怎么下载 酷6视频怎么保存到电脑

酷6网视频怎么下载——简介酷6网的视频清晰度不错,可惜并不像土豆、优酷那样有自带的下载插件,所以只能依靠其他的下载工具了。酷6网视频怎么下载——方法/步骤酷6网视频怎么下载 1、在百度搜索硕鼠,进入官网酷6网视频怎么下载 2、将

暴雪下载器速度慢解决方法 暴雪下载器速度慢

有时候暴雪下载器速度慢的像龟爬,甚至有的时候会中断,下面说下解决方法。刚开始的时候是很慢,请您耐心等待,因为暴雪修复器需要花费一段时间来为传输数据做必要的连接,如果10-15分钟后仍然很慢,请您尝试关闭后台应用程序、防火墙、路由器

糖豆网视频怎么下载 糖豆视频下载器

糖豆网视频怎么下载——简介有时候在糖豆网看到一些视频想下载下来方便浏览,可是糖豆网没有可以直接下载视频的,那要怎么办呢?小编教你一个不需要用软件来下载视频的办法。糖豆网视频怎么下载——工具/原料电脑 糖豆网视频 糖豆网视

声明:《原创 迅读网小说分类下载器20120831 天天向上20120831》为网友绵薄流光年分享!如侵犯到您的合法权益请联系我们删除