V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
vilic
V2EX  ›  分享创造

写了个 V2EX 爆贴爬虫,避免错过群体吃瓜事件

  •  1
     
  •   vilic ·
    vilicvane · 2022-03-29 12:28:39 +08:00 · 5834 次点击
    这是一个创建于 1004 天前的主题,其中的信息可能已经有所发展或是发生改变。

    订阅地址 https://www.dingshao.cn/share/channel/FzFypN


    爬虫逻辑:

    • 每五分钟检查一次“全部”帖子列表,推送新增评论达到条件的帖子。
    • 爆贴筛选条件:5 分钟 10 个评论,或 10 分钟 15 个评论,或 30 分钟 20 个评论。

    最近几天爬到的爆贴有:

    • [问与答] 外包公司有个职位去香港,值得去吗( 3 月 29 日,今天)
    • [硬件] 游戏本还是 switch ( 3 月 28 日)
    • [职场话题] 奇葩人接受 Offer 后拖了 28 天然后说不来了( 3 月 24 日)

    脚本源码 https://github.com/digshare-scripts/v2ex-trending/blob/main/src/script.ts

    20 条回复    2022-03-29 20:20:59 +08:00
    Tink
        1
    Tink  
       2022-03-29 12:32:36 +08:00 via Android
    这个时间是根据帖子上面的 x 分钟前吗
    czfy
        2
    czfy  
       2022-03-29 12:34:57 +08:00
    这和 V2EX 自己的 “今日热议主题” 有什么差别吗...
    vilic
        3
    vilic  
    OP
       2022-03-29 12:44:42 +08:00
    @Tink 不是,是计算了每段时间的评论变化数量~
    @czfy 一方面是今日热议通常不够热,另一个是没有推送。我是想比如哪天又爆出了一个职场大瓜的时候第一时间知道。
    madlifer
        4
    madlifer  
       2022-03-29 14:06:01 +08:00   ❤️ 1
    抓住了老万
    xiaocongcong
        5
    xiaocongcong  
       2022-03-29 14:09:56 +08:00
    V2 上真正有料的瓜活不过 5 分钟的,其他不重要的瓜去看热搜就好啦,根本不会错过。
    Mirage09
        6
    Mirage09  
       2022-03-29 14:11:14 +08:00 via iPhone
    不如爬爬水深火热
    vilic
        7
    vilic  
    OP
       2022-03-29 14:12:31 +08:00
    @xiaocongcong 啊,不是有评论不能删帖的吗。
    vilic
        8
    vilic  
    OP
       2022-03-29 14:13:17 +08:00
    @Mirage09 这是个梗吗?没有理解。
    Mirage09
        9
    Mirage09  
       2022-03-29 14:14:59 +08:00 via iPhone   ❤️ 1
    @vilic
    hhh 不是梗,单纯不理解为什么最近好几个 pandemic 相关的贴子都进了水深火热
    也许管理员不想看到人间疾苦吧
    xiaocongcong
        10
    xiaocongcong  
       2022-03-29 14:18:26 +08:00
    @Mirage09 网控现在不能发关于任何负面的东西,讨论都不行
    Licsber
        11
    Licsber  
       2022-03-29 14:19:10 +08:00   ❤️ 1
    @vilic #8 水深火热是 v2 的隐藏节点
    @Mirage09 #9 很显然 OP 不知道水深火热的意思
    xiaocongcong
        12
    xiaocongcong  
       2022-03-29 14:23:17 +08:00
    @vilic 有幸回过两贴,还是不讨论这些了
    drush
        13
    drush  
       2022-03-29 14:25:05 +08:00   ❤️ 1
    vilic
        14
    vilic  
    OP
       2022-03-29 14:31:04 +08:00
    @Mirage09 @drush 原来如此,谢谢了,好吧看来我混 V2EX 还是太水了。
    vilic
        15
    vilic  
    OP
       2022-03-29 14:32:55 +08:00
    @Licsber 是的,见笑了哈哈。
    rain423
        16
    rain423  
       2022-03-29 15:25:15 +08:00   ❤️ 1
    有 nga 的爆贴备份吗?
    vilic
        17
    vilic  
    OP
       2022-03-29 15:38:14 +08:00
    @rain423 有道理,我加个 TODO 。
    PerFectTime
        18
    PerFectTime  
       2022-03-29 16:03:54 +08:00
    然而并不是不能删帖,全凭喜好
    pengtdyd
        19
    pengtdyd  
       2022-03-29 19:30:31 +08:00
    今日热议主题 不是有这个吗,为啥要花时间做无用功
    vilic
        20
    vilic  
    OP
       2022-03-29 20:20:59 +08:00
    @PerFectTime 🤔
    @pengtdyd 我平时水 V2EX 的时间不多,更多是想有热点的时候推给我。今日热议对我来说太多了,而且不是主动推送的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2718 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:40 · PVG 20:40 · LAX 04:40 · JFK 07:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.