V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
vitovan
V2EX  ›  分享创造

金头条 - 股票即时新闻爬虫

  •  1
     
  •   vitovan · 2016-08-08 09:33:39 +08:00 · 5380 次点击
    这是一个创建于 3065 天前的主题,其中的信息可能已经有所发展或是发生改变。

    跳过正文:

    http://new.jtoutiao.com

    公众号:

    预览:

    能干啥:

    • 添加自选股,获得即时新闻。

    • 其他附加功能(全网热点、限售解禁预警、机构内参、异动个股等等)

    技术栈:

    • 爬虫: Python 3 - Celery - re2 - BS4 - Supervisord - Elixir

    • 后端: Python 3 - Tornado - PostgreSQL

    • 前端: Angular 2 - SystemJS

    项目状态:

    beta ,服务器随时挂掉 :-D

    缺钱、缺人,聊一聊?邮件(base64): YXdlc29tZXZpdG9AbGl2ZS5jb20=

    技术坑:

    • Angular 2 毛病多多呀,用作 Production 很是费劲:

    • PostgreSQL

      • 想不起来有什么可吐槽的,就是 XX 云的 RDS 太贵了,性能也不敢恭维。
    • Celery

      • Pros: 爽!分布式任务调度,加上 Flower 这个控制台,很方便呀~
      • Cons: 我是不知道为什么, worker 莫名的就那么消失了,要不然也不会非要再用什么 Supervisord 。
    • Tornado

      • Pros: @gen.coroutine 好用!
      • Cons: 没什么不好的,刚接触 ioloop 概念的时候很不适应,这个是 Tornado 自创的么(挖鼻孔)?
    • Elixir

      • Pros: erlang 美化版,好用呀~ 文档什么的也赞爆了:Kernel – Elixir v1.3.2
      • Cons: 不知道为什么写着写着就恶心了,感觉语言中人为干预的太多了,预设模式太多了。可能设计出来的语言就有这毛病吧。尤其是用Postgrex这个库的时候越用越难受,也说不上为啥。
      • 总结:瞎折腾这些新鲜玩意儿,有这功夫咋不用 Java 呢?咋不去上天呢?

    讨论:

    大家有啥想聊的一起聊一聊,瞎吵吵架呗~

    41 条回复    2016-08-24 10:51:07 +08:00
    vimffs
        1
    vimffs  
       2016-08-08 09:56:40 +08:00 via Android   ❤️ 1
    感谢分享! 1024
    GreatMartial
        2
    GreatMartial  
       2016-08-08 09:58:49 +08:00 via Android
    一个人做的吗?
    GhostEX
        3
    GhostEX  
       2016-08-08 09:59:15 +08:00
    新闻抓取的范围是哪些网站?
    shaohuifan
        4
    shaohuifan  
       2016-08-08 10:00:56 +08:00 via iPhone
    楼主,想找人一起玩?
    vitovan
        5
    vitovan  
    OP
       2016-08-08 10:02:18 +08:00
    r#2 @GreatMartial 一个技术(Me)+ 一个产品兼前端(Partener)
    vitovan
        6
    vitovan  
    OP
       2016-08-08 10:03:15 +08:00
    r#3 @GhostEX 这......几乎全网的中文金融网站吧,大大小小一百多个。
    vitovan
        7
    vitovan  
    OP
       2016-08-08 10:05:57 +08:00
    r#4 @shaohuifan 不知道呀,缺钱缺人的迷茫期么,发上来随便聊聊。
    tkpc
        8
    tkpc  
       2016-08-08 10:09:01 +08:00
    @vitovan 和选股宝 华尔街见闻的 差异点在哪呢
    从网站没看出来
    vitovan
        9
    vitovan  
    OP
       2016-08-08 10:16:20 +08:00
    r#8 @tkpc 哈哈哈哈!哈哈哈哈!

    我竟无言以对(转身捂脸状)。
    shaohuifan
        10
    shaohuifan  
       2016-08-08 10:31:58 +08:00 via iPhone
    @vitovan 现在股市不好,把期货带上吧
    vitovan
        11
    vitovan  
    OP
       2016-08-08 10:37:10 +08:00
    r#10 @shaohuifan 期货是不是新闻不多?
    duolai798
        12
    duolai798  
       2016-08-08 10:45:31 +08:00
    这东西是创业路子吗?感觉离实用还很远,怎么熬到赚钱的时间点是个问题。如果只是玩玩基本上只能自己玩玩了。
    GhostEX
        13
    GhostEX  
       2016-08-08 10:47:52 +08:00 via iPhone
    @duolai798 大多数类似创业项目都是不盈利的....
    GreatMartial
        14
    GreatMartial  
       2016-08-08 10:54:31 +08:00
    @vitovan 不容易,支持楼主。 不知道你们的产品和其他家比优势在哪呢?
    vitovan
        15
    vitovan  
    OP
       2016-08-08 11:15:53 +08:00
    r#14 @GreatMartial 哈哈哈哈~我也说不上来呀,或许是不上心吧,也不是在用生命去做这件事,成不成随便了~
    xujif
        16
    xujif  
       2016-08-08 11:25:05 +08:00
    我们也在做这个
    vitovan
        17
    vitovan  
    OP
       2016-08-08 11:26:37 +08:00
    r#16 @xujif 自己烧钱呢?
    duolai798
        18
    duolai798  
       2016-08-08 11:38:22 +08:00
    @vitovan 创业项目不盈利不代表没有规划如何盈利以及在哪个时间点盈利 你这个只能算是玩票性质 如果没有经验 这东西基本做不下去 这类 2C 的产品前期就是要做用户量 估计你等不到那一天就没兴趣和信心了
    GreatMartial
        19
    GreatMartial  
       2016-08-08 11:41:05 +08:00
    @vitovan 额,股市数据的集合类应用应该很多了。
    如果你们能加上数据分析,通过数据给小白荐股,还是有市场的。
    不过估计技术方面相当难了, 2333

    可以换个思路,有没有兴趣做个足彩的数据聚合,通过历史数据分析,然后给用户推荐购买,这个比起你们现在的项目,可行性更高,而且有市场空白,个人觉得。
    vitovan
        20
    vitovan  
    OP
       2016-08-08 11:42:27 +08:00
    r#18 @duolai798 我觉得,你讲得很对。
    vitovan
        21
    vitovan  
    OP
       2016-08-08 11:44:04 +08:00
    r#19 @GreatMartial 足彩不跟国内股票一样是瞎胡闹么?不知道有没有实用价值呀(对彩民)?
    tkpc
        22
    tkpc  
       2016-08-08 11:47:32 +08:00
    @vitovan 足彩就是骗局 在冠军杯期间就看出来了 赔率高的大热门的队都输掉了 伤心的不要不要的 而且还是国内足彩 你懂的...
    tkpc
        23
    tkpc  
       2016-08-08 11:48:12 +08:00
    @GreatMartial 足彩类的才多 你以为 500.com 怎么来的
    GreatMartial
        24
    GreatMartial  
       2016-08-08 13:06:10 +08:00
    @vitovan 我有朋友玩足彩,而且足彩有很多人是玩外盘,赔率比国内良心很多。
    有人分析,足彩的庄家设计赔率,通过动态调整,引导用户,保证有一个大概率的收益平衡,而且收益率远没有摇号的彩票那么高。
    一个单场一定有赢的玩家,规模化的输多赢少,庄家就有了稳定的收益了。
    如果能做到跟着庄家走,赚钱的概率应该就很稳定了。
    以上是我的个人理解,求各位轻拍。
    GreatMartial
        25
    GreatMartial  
       2016-08-08 13:08:03 +08:00
    @tkpc 我知道 500 ,没有用过,不知道有没有推荐的业务...
    mahone3297
        26
    mahone3297  
       2016-08-08 13:40:56 +08:00
    @vitovan >这......几乎全网的中文金融网站吧,大大小小一百多个。
    请教,这么多网站,一个个抓?累不累?
    tony1016
        27
    tony1016  
       2016-08-08 16:00:56 +08:00
    不好意思,我一点,不小心点挂了
    yakiang
        28
    yakiang  
       2016-08-08 17:01:09 +08:00
    话说为什么国内不同股票网站会有不同的交易数据呢,比如新浪、同花顺、东方财富等网站对于同一支股票的大单交易的明细和数量是不同的,都不知道哪个靠谱了
    noder
        29
    noder  
       2016-08-08 17:31:14 +08:00
    为什么不试试 riotjs
    vitovan
        30
    vitovan  
    OP
       2016-08-08 17:36:42 +08:00
    r#27 @tony1016 哈哈,不碍事~
    vitovan
        31
    vitovan  
    OP
       2016-08-08 17:37:33 +08:00
    r#28 @yakiang 时间差问题吧~很难说谁的更及时。
    vitovan
        32
    vitovan  
    OP
       2016-08-08 17:37:57 +08:00
    r#29 @noder 没用过,去看看。
    vitovan
        33
    vitovan  
    OP
       2016-08-08 17:40:15 +08:00
    r#26 @mahone3297 还好吧,写好每个网站的适配模型,平时维护一下就好了,网站不改版或者改变防抓策略的话,维护工作不算大。
    ob
        34
    ob  
       2016-08-08 23:46:02 +08:00 via Android
    不错啊,只支持 a 股?
    vitovan
        35
    vitovan  
    OP
       2016-08-09 05:05:56 +08:00
    r#34 @ob 嗯~
    xujif
        36
    xujif  
       2016-08-09 07:38:59 +08:00 via iPhone
    @vitovan 老板掏钱,不要荐股,有法律风险
    vitovan
        37
    vitovan  
    OP
       2016-08-09 07:44:50 +08:00
    r#36 @xujif 多谢。
    yfmir
        38
    yfmir  
       2016-08-09 09:24:43 +08:00
    @GreatMartial 其实有这东西了,硬广一下,球球是道
    GreatMartial
        39
    GreatMartial  
       2016-08-09 23:26:05 +08:00 via Android
    @yfmir 额,我去关注一下,谢谢
    aaronrzh
        40
    aaronrzh  
       2016-08-10 23:45:44 +08:00
    关注一下
    kunee
        41
    kunee  
       2016-08-24 10:51:07 +08:00
    没看懂价值在哪里?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2691 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 10:00 · PVG 18:00 · LAX 02:00 · JFK 05:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.