V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
sdjl
V2EX  ›  问与答

有没有办法第一时间获得国内各大新闻网站发布的文章?(5 秒内)

  •  
  •   sdjl · 2 天前 · 1631 次点击
    如题,需要监控各大新闻网站,如腾讯新闻、网易新闻等等,可能上百个。

    有没有办法在这些网站发布文章的几秒内就能获得文章推送?(对方发布的所有文章)

    主要是有个客户向我提出这个需求~~我也不知道可不可以,问问大家。
    23 条回复    2024-09-28 11:11:43 +08:00
    Baymaxbowen
        1
    Baymaxbowen  
       2 天前
    舆情系统?
    kzfile
        2
    kzfile  
       1 天前
    不就是 rss 吗,当然,某些网站没有也可以自己配置
    https://docs.rsshub.app/zh/guide/
    sdjl
        3
    sdjl  
    OP
       1 天前
    @kzfile 这个是主动推送吗? 需要 3 秒内及时推送。
    kzfile
        4
    kzfile  
       1 天前
    @sdjl 是用户主动拉数据.如果你自建服务,缓存过期时间可以自己调,缓存已过就从对应服务获取最新的
    sdjl
        5
    sdjl  
    OP
       1 天前
    @kzfile 如果我一秒钟拉取一次,不会被对方封 IP 么?
    sdjl
        6
    sdjl  
    OP
       1 天前
    也可以购买第三方的服务哈,如果有的话。
    renmu
        7
    renmu  
       1 天前 via Android
    @sdjl 肯定会啊
    falcon05
        8
    falcon05  
       1 天前 via iPhone
    这不就是爬虫吗?怕封就搞 ip 池
    sdjl
        9
    sdjl  
    OP
       1 天前
    @falcon05 爬的成本太高,就是看看有没有其他方案
    shuxhan
        10
    shuxhan  
       1 天前
    @kzfile #2 rss 有延迟,秒级响应不可能做到的
    shadowyue
        11
    shadowyue  
       1 天前
    你把新闻 APP 的推送通知打开,大新闻会给你推
    gechang
        12
    gechang  
       1 天前   ❤️ 1
    秒级获取需要投入 ip 池,否则肯定被封,人家也不可能让你白嫖
    sdjl
        13
    sdjl  
    OP
       1 天前
    @shuxhan
    @gechang

    是的,我也是这样认为的。但是客户让我问问有没有解决方案,我来找大家帮帮忙。
    googlefans
        14
    googlefans  
       1 天前
    不怕报警吗?打击这种未经同意恶意爬取的
    wzbrbj
        15
    wzbrbj  
       1 天前
    TG 的新闻频道还不够你用么?
    geekyouth
        16
    geekyouth  
       1 天前
    今日热榜官网,满足你的需求
    https://tophub.today/
    crysislinux
        17
    crysislinux  
       1 天前 via Android
    这种肯定只能一直爬。别人有更新又不会告诉你
    a1b2c3T
        18
    a1b2c3T  
       1 天前
    @wzbrbj #15 一开始我订阅了好多新闻频道,还有 rss 也弄了好多,后来发现没啥屌用,少看点新闻 哪怕几个月半年不看对自己的生活没有一点影响==,后来就想起来去翻一翻
    luodeyitian
        19
    luodeyitian  
       1 天前
    正常的新闻发布没那么高的频率,哪怕财联社的电报平均也得 20 秒一个。而且你去爬别人的新闻肯定要加 ip 池的。
    YJi
        20
    YJi  
       1 天前
    上百个平台全量数据么? (全量肯定做不到)
    还是针对特定频道,特定用户的定向监测?比如某些官媒,某些大 V 这种。
    apple
        21
    apple  
       1 天前
    这种级别的爬虫,属于违法范围了
    people0000future
        22
    people0000future  
       1 天前
    可以参考一下隐订阅 https://yinrss.com/?media=&keyword=
    sdjl
        23
    sdjl  
    OP
       1 天前
    @apple 法律有规定怎么爬算违法? 怎么爬不算违法?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3587 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 05:28 · PVG 13:28 · LAX 22:28 · JFK 01:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.