论坛的文本的批量下载

hbghlyj · 发表于 2020-3-14 00:33

本帖最后由 hbghlyj 于 2020-3-31 22:41 编辑 有何快捷的方法批量下载论坛的文本？这样在整理的时候直接从里面复制多好啊

样品：(截至20200305)
百度网盘提取码：4x9e
使用方法：在文件夹中选择按名称排序。如果帖子地址为kuing.orzweb.net/viewthread.php?tid=26(只看tid的值，后面还有东西就不用管)，它的第一页保存在"viewthread(26).txt"，第二页保存在"viewthread(26)(2).txt"，以此类推。
指导.jpg

hbghlyj · 发表于 2020-3-14 00:39

我是用按键精灵半自动下载了所有的php(因为迅雷下载它老是出错,可能因为访问太频繁,后来尝试了各种方法,只好这样,但还是老出错,须得有人在旁边看着),然后用vb程序提取出txt,每楼用换行隔开
不好弄的是某些帖子不止一页,但是下载php链接的格式改不了,只好手动把数学区的多页的帖子的除第一页的部分下载下来再手动一个个重命名再与所有的第一页合并(好累啊)

郝酒 · 发表于 2020-3-14 22:22

回复 2# hbghlyj
这个直接找ku版要节约资源些，你这属于暴力爬，Ku版那就是一个导出的是。
论坛的资料加以整理确实会方便大家，赞！

hbghlyj · 发表于 2020-3-31 22:44

今天又优化了一下。把多页的文件重命名了，这样可以显示到一块儿。另外在主楼加入了一个说明。

isee · 发表于 2020-3-31 23:29

这个是多线程的么？会不会被网站封ip段时间？

		自动登录	找回密码
密码			快速注册