才发现在线人数刷新纪录了……

isee

kuing 发表于 2025-3-4 13:40
换域名后，又刷新了：

是不是爬虫来了？

会不会是因快1+1会哦

kuing

hbghlyj 发表于 2025-3-11 02:24
已实现

怎么不见你在 github 上更新代码？我想看实现方式

hbghlyj

kuing 发表于 2025-3-11 12:44
怎么不见你在 github 上更新代码？我想看实现方式

github.com/hbghlyj/kuing.cjhb.site/commit/d64 … 27d9996b3b7b409ce320

hbghlyj

kuing 发表于 2025-3-4 05:40
换域名后，又刷新了：
最高记录是 846 于 2025-3-4.
是不是爬虫来了？

编辑最高记录的方法是：
先用 Javascript 获取 +8 时区 2025-3-4 上午 12:00 的时间戳 1741060800

1. new Date('2025-03-04T12:00:00+08:00').getTime()/1000

Copy the Code

然后执行SQL

1. UPDATE `pre_common_syscache` SET `data` =CAST('846\t1741060800' AS BINARY) WHERE `cname`='onlinerecord';

Copy the Code

hbghlyj

kuing 发表于 2024-3-13 18:28
编辑它干啥？

希望 机器人 不应计入“在线人数”

hbghlyj

kuing 发表于 2025-3-4 05:40
是不是爬虫来了？

现在，我们根据user agent识别爬虫。

测试：在Windows命令行运行

1. curl -A "Googlebot" https://kuing.cjhb.site

Copy the Code

该请求会被识别为爬虫。于是在首页显示的在线会员中增加一个“机器”。

kuing

刚才又一波游客流，而且并没有被识别为机器人。

最新纪录：最高记录是 2782 于 2025-3-29. 直接翻了几翻

hbghlyj

kuing 发表于 2025-3-29 07:58
刚才又一波游客流，而且并没有被识别为机器人。

这些是否来自同一个IP

kuing

hbghlyj 点评
刚才又一波游客流，3003

刚才我在写帖子没注意，也是全是游客，没识别成机器人吗？是不是识别还不完善？cloudflare 的作用又是什么？

hbghlyj

kuing 发表于 2025-3-29 15:19
是不是识别还不完善？

新机器需要手动添加的。已将Algolia Crawler加入UA识别列表

isee

3300了

在线会员 - 207 人在线 - 1 会员(0 隐身), 206 位游客 - 最高记录是 3312 于 2025-4-1.

kuing

isee 发表于 2025-4-2 12:06
3300了

不断刷新纪录，四千+了，据 @hbghlyj 说，现在 algolia 的机器人是天天来的，用于右上角新的搜索引擎。
当然，还有别的机器人也不少，真游客就太少了……

hbghlyj

kuing 发表于 2025-4-3 15:05
现在 algolia 的机器人是天天来的，用于右上角新的搜索引擎

Meta、Amazon 机器人都是不请自来的

而 Algolia 的抓取频率可调
如果拖慢网站，可调低一点
但目前未察觉网站变慢

kuing

hbghlyj 发表于 2025-4-5 02:05
超过 500 时默认折叠首页的在线列表
已去除 $onlinenum < 500 &&

能不能这样：对相同类型的机器人，只显示一个总数，不具体显示出来。
比如显示成 Amazonbot(100) 就表示有 100 个 Amazon 机器人，这样就不占位置了，不然像现在每次看下方都一大堆，感观也不太好。

详细页也可以类似处理（反正显示机器人正在看的帖子也没多大意义，看会员和真实游客的才有意义）

abababa

机器人的频率也太频繁了，论坛更新不怎么频繁，机器人也不用每天都上来吧，一周上来一次就行，能设置这个频率吗？

hbghlyj

kuing replied at 2025-4-5 10:32
显示成 Amazonbot(100) 就表示有 100 个 Amazon 机器人

这个建议很好👍

abababa

hbghlyj 发表于 2025-4-5 20:41
最近常來的 Amazonbot 不是我控制的

以前maven给我讲过一个robots协议，是不是能调这个来控制？比如Request-rate这个，写了是不是就能控制频率了？我不太懂这个，刚才搜索了一下robots协议，发现确实有这个选项。

hbghlyj

感觉目前似乎没有显著拖慢网站，服务器可承担的工作负载，不需要采取措施吧

hbghlyj

一开始有很多 Google 机器人，但现在很少看到
总页面数是有限的，我想一旦爬取完所有页面，爬虫频率就会降低

hbghlyj

abababa replied at 2025-4-5 12:12
论坛更新不怎么频繁

是的，我建议向机器人显示一个专门的页面，列出最近更改的页面链接，避免重复抓取未更改的页面