V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
magicdu
V2EX  ›  Python

写个爬虫往 wordpress 发文章当毕业设计是不是有点勉强 :)

  •  
  •   magicdu ·
    magicdu · 2017-03-03 16:05:47 +08:00 · 11732 次点击
    这是一个创建于 2857 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近老师在催毕设进度,花了几天赶制了一个

    项目地址:

    https://github.com/MagicDu/wpspider

    wordpress 博客示例:

    http://itfin.magicdu.cn/

    求各位大神指导一下,有什么要改进的内容,或者有什么关于毕业设计的建议

    ps :小站请勿攻击

    66 条回复    2017-05-18 14:25:25 +08:00
    ss098
        1
    ss098  
       2017-03-03 16:24:47 +08:00
    我觉得 ... 是有点勉强。
    guokeke
        2
    guokeke  
       2017-03-03 16:29:19 +08:00 via Android
    就代码量来说,有点少。毕业论文咋写啊。。
    coderluan
        3
    coderluan  
       2017-03-03 16:29:51 +08:00   ❤️ 1
    看你什么学校,老师什么要求了,你这个需求懂的人确实感觉勉强,不懂的人(别告诉他们用 wp ):

    ”我草,你做了个这么漂亮的网站,后台居然这么复杂,牛逼“

    不是我夸张,但是现在有些大学老师除了自己教那点东西之外什么都不了解。
    murmur
        4
    murmur  
       2017-03-03 16:31:30 +08:00
    勉强么?用 matlab 做个 qpsk 仿真都能本科毕业,只要你论文凑得够字数

    毕业论文干啥的没有,做程序的、做调研的、给老师做课件的
    iiduce
        5
    iiduce  
       2017-03-03 16:32:57 +08:00
    觉着二本及以下大学本科足够了,注意界面美化,再扯上高大上的理论,优秀毕业设计不是梦。
    magicdu
        6
    magicdu  
    OP
       2017-03-03 16:40:51 +08:00
    @guokeke 我已经尽我所能冗余了一些代码了
    woniu127
        7
    woniu127  
       2017-03-03 16:45:12 +08:00
    我觉得 ... 有点勉强
    smgui
        8
    smgui  
       2017-03-03 16:54:57 +08:00
    看学校,我们学校更烂的都可以
    dsg001
        9
    dsg001  
       2017-03-03 16:57:27 +08:00
    @magicdu 全部用标准库实现试试 ←_←
    jinhan13789991
        10
    jinhan13789991  
       2017-03-03 16:59:13 +08:00
    这算啥,我同学毕业设计项目为《梦三国-从注册到创建人物》,关键是老师给他过了,也算是互联网相关的毕设啊
    jinhan13789991
        11
    jinhan13789991  
       2017-03-03 16:59:38 +08:00
    我这是大专~
    magicdu
        12
    magicdu  
    OP
       2017-03-03 17:00:42 +08:00
    @dsg001 嗯,这个想法好 QAQ
    dreamwar
        13
    dreamwar  
       2017-03-03 17:08:08 +08:00
    @jinhan13789991 #10 66666
    swuzjb
        14
    swuzjb  
       2017-03-03 17:10:08 +08:00
    起个好听的题目 比如自动新闻采集汇总系统
    magicdu
        15
    magicdu  
    OP
       2017-03-03 17:12:05 +08:00 via Android
    @swuzjb 我是不是该找个 UC 或者今日头条的人来给起毕设题目啊 😄
    Moming
        16
    Moming  
       2017-03-03 17:12:55 +08:00
    听说过学校有人用 Excel 处理下数据吹一波就过了的……
    jinhan13789991
        17
    jinhan13789991  
       2017-03-03 17:13:09 +08:00
    对,起个好名字,α智能信息收集系统——新闻篇
    akira
        18
    akira  
       2017-03-03 17:14:06 +08:00
    给新闻再加个权重,立马就高大上了。

    热点新闻分析系统。
    社会舆论采集与分析系统。

    就本质而言,其实所有的聚合类所做的事情,和你这个没有区别的。
    viko16
        19
    viko16  
       2017-03-03 17:14:28 +08:00   ❤️ 1
    取决于你的毕业论文,只要敢吹,一个全新安装的 WordPress 都能吹出一个省级项目来
    coderluan
        20
    coderluan  
       2017-03-03 17:15:40 +08:00   ❤️ 4
    @magicdu UC 今日头条那套 V2 都会

    《震惊,大学生设计大数据高并发安全可靠实用美观的一站式自动化新闻采集归类发布系统,教授们赞不绝口,称其为中国的年轻乔布斯》
    jingliang
        21
    jingliang  
       2017-03-03 17:15:42 +08:00
    直接问导师,导师会告诉你行不行。。
    ytmsdy
        22
    ytmsdy  
       2017-03-03 17:19:53 +08:00
    分布式舆论采集分析系统。
    ren2881971
        23
    ren2881971  
       2017-03-03 17:22:28 +08:00
    看你们学校导师的水平了。 我当时随便吹个数据库加密 虎的导师一愣一愣的。。
    luo123qiu
        24
    luo123qiu  
       2017-03-03 17:24:04 +08:00
    @jinhan13789991 这波 6666 ,我服!
    ilotuo
        25
    ilotuo  
       2017-03-03 17:24:40 +08:00
    用一大篇扯 wordpress 的原理和发展.妥妥优秀
    pepesii
        26
    pepesii  
       2017-03-03 17:43:05 +08:00 via iPhone
    瞎扯就行啦
    nevin47
        27
    nevin47  
       2017-03-03 17:46:03 +08:00
    @coderluan 就服你啊
    JasperYanky
        28
    JasperYanky  
       2017-03-03 17:47:56 +08:00
    分布式大数据分析与采集系统
    pyufftj
        29
    pyufftj  
       2017-03-03 18:02:27 +08:00
    @coderluan 6666666666
    pyufftj
        30
    pyufftj  
       2017-03-03 18:05:07 +08:00
    现在的大学老师,一部分人实在是太水了,前沿的东西一点不懂,每天看几篇朋友篇里发的文章就以为自己跟得上形势了,掌握的还是一二十年的那一套,说句不好听的就是误人子弟。关键是还没法与他们交流,拿身份压人。。(毕设经历过这些)
    andyL
        31
    andyL  
       2017-03-03 18:07:59 +08:00
    毕业设计都这么屌~ 差距呀
    gladuo
        32
    gladuo  
       2017-03-03 18:18:12 +08:00   ❤️ 2
    调用个 nlp / ml 做个文摘,推荐 blabla ,再多花半个小时,毕设就高端的飞起来
    chairuosen
        33
    chairuosen  
       2017-03-03 18:19:03 +08:00
    给这个爬虫做个配置 config 的后台,可以在 web 端添加自定义规则
    codeyung
        34
    codeyung  
       2017-03-03 18:20:25 +08:00
    看学校吧 一般都很松
    jiangzhuo
        35
    jiangzhuo  
       2017-03-03 18:20:50 +08:00
    毕业设计是个啥? 写篇论文不就行了吗 [doge]
    isb
        36
    isb  
       2017-03-03 18:24:59 +08:00
    我当初爬微信公众号,用搜狗的 api....特别简单。。而且格式好处理。。各种分类你根据搜狗的分就好了。。

    985 211 就当我没讲
    jimmy66
        37
    jimmy66  
       2017-03-03 18:25:00 +08:00 via iPhone
    挺好啊,比较实际。除了有些强校的计算机专业,不过本科毕业设计还能有多高的要求。更多的是一波吹牛逼的很虚的“学术产品”。楼主做这么实在的,倒是有可能格格不入。遇到迂腐的或者不懂的,优秀可能比较难获
    jimmy66
        38
    jimmy66  
       2017-03-03 18:26:02 +08:00 via iPhone
    不过->不然
    DlYgod
        39
    DlYgod  
       2017-03-03 18:50:30 +08:00   ❤️ 1
    @jimmy66 #38 活捉!
    Yourdaye
        40
    Yourdaye  
       2017-03-03 19:06:13 +08:00
    用 wordpress 显得有点 low 了,你应该用 Djiango 撸一个,或者自己写个框架
    holajamc
        41
    holajamc  
       2017-03-03 19:16:19 +08:00   ❤️ 1
    某学长毕设

    vs2015 ASP.NET 默认项目
    将英文修改为中文,成功毕业
    jimmy66
        42
    jimmy66  
       2017-03-03 19:33:31 +08:00 via iPhone
    @DlYgod 抱住ʚ⠒̫⃝ɞ
    qfdk
        43
    qfdk  
       2017-03-03 19:37:55 +08:00
    太 low 了,其实你应该对你爬来的数据分析一下马上就高大上了,说爬来的文章投资有可靠什么的,通过机器学习和语义分析推荐靠谱投资股票
    leisurelylicht
        44
    leisurelylicht  
       2017-03-03 19:41:16 +08:00
    看学校层次,我毕业的时候有一半同学都是做个网站,还比你的烂,都毕业了。
    YvesX
        45
    YvesX  
       2017-03-03 19:48:08 +08:00 via iPhone
    上面都在说别人,我来自我检讨一下……
    上学期末的实践作业,我就是靠说得比唱得好听,拿下了据说是班里唯一的好判定……
    (那会儿实在没精力认真做了,南无胡阿门克巴)
    crayygy
        46
    crayygy  
       2017-03-03 19:56:19 +08:00 via iPhone
    我正在做的毕业设计,让我想死的感觉都有
    ic3z
        47
    ic3z  
       2017-03-03 19:58:05 +08:00 via Android
    想想今日头条就不勉强了
    freethink
        48
    freethink  
       2017-03-03 19:59:50 +08:00
    @leisurelylicht 这才是真正的明白人,严进严出,才是真正的名校。
    doctorlai
        49
    doctorlai  
       2017-03-03 20:10:45 +08:00
    我在英国 2006 年的 本科论文: 中国象棋 Chinese Chess
    软件下载: https://steakovercooked.com/?do=Application&rid=delphi.chess&lang=ch
    zichen
        50
    zichen  
       2017-03-03 20:28:36 +08:00
    帝都某 985 的表示当年毕设分配的题目是一个物流管理系统,现在一想随便找个 CMS 框架搞搞就行了,那会儿不懂。
    DaCong
        51
    DaCong  
       2017-03-03 20:53:26 +08:00
    网页左下角:
    NewsPlus is an all purpose WordPress theme designed for online magazine, technology blog, news and editorial ventures. The theme is fully responsive, retina ready, and supports proportional layout scaling. Key features include language localization, optimization for SEO and Micro-Formats, RTL support, visual short-codes, custom templates and much more.
    至少交上去之前把这个改掉,老师再水,这点英文应该是懂的。
    zhengdou
        52
    zhengdou  
       2017-03-03 22:12:01 +08:00
    今年老师不想带毕业设计让我们带,,,我给的第一个题目就是拿 Flask 弄个博客,第二个题目就是爬数据来展示,美其名曰“基于网络爬虫的热点新闻获取及可视化系统的设计与实现”。。。
    bearqq
        53
    bearqq  
       2017-03-04 08:07:29 +08:00 via Android
    我为了将(爬虫)文章导进博客,就自己写了个博客,顺便摆脱了世界最好语言的束缚,可以运行在超低端的 vps 和 gae 上了
    →_→
    bearqq
        54
    bearqq  
       2017-03-04 08:14:08 +08:00 via Android
    不用 xml-rpc 库,构造个内容也就一个请求搞定的事,做毕设真的合适吗?
    要不还是从爬虫上下功夫,思考一下架构,多适配些网站,做好监控页面,再参考前面多少楼起个高大上的名字?
    feibilanceon
        55
    feibilanceon  
       2017-03-04 09:57:46 +08:00 via iPhone
    大二时候 Web 开发课的期末作业就做了一个 wordpress+爬虫的自动聚合新闻站。
    andysheng
        56
    andysheng  
       2017-03-04 09:58:59 +08:00 via iPhone
    本科毕设只要老师说行 再水都没问题
    David6516
        57
    David6516  
       2017-03-04 10:47:41 +08:00
    学校老师又不懂啥,自己会的那点东西都老掉牙了,过时了,混混过去 SO
    log4geek
        58
    log4geek  
       2017-03-04 11:32:44 +08:00
    可以了。只要你的程序是真正能跑起来的,水平就已经超过一半的人了。
    说到爬虫,分享下个 Python 爬虫的文章 http://log4geek.cc/2017/03/%e9%9b%b6%e5%9f%ba%e7%a1%8012%e5%a4%a9%e4%bb%8e%e5%85%a5%e9%97%a8%e5%88%b0%e7%b2%be%e9%80%9apython%e7%88%ac%e8%99%ab/
    aitaii
        59
    aitaii  
       2017-03-04 11:48:54 +08:00 via Android
    我们班有个同学,毕设答辩的时候场下的老师表示听不懂在讲什么 太高深了
    AlexH
        60
    AlexH  
       2017-03-04 12:24:30 +08:00 via Android
    @log4geek 感谢分享。
    log4geek
        61
    log4geek  
       2017-03-04 13:50:50 +08:00
    @AlexH 不客气~
    toono
        62
    toono  
       2017-03-04 17:53:43 +08:00
    可以有一段思考人生的冗余代码 (逃
    Hihh
        63
    Hihh  
       2017-03-04 18:57:42 +08:00
    1.看学校层次,看导师认不认可
    2.看论文怎么吹,侧重点是爬虫还是 WordPress 的展示
    woshinide300yuan
        64
    woshinide300yuan  
       2017-03-04 20:29:05 +08:00
    嘿嘿,吹唄,现在都是靠这个。往大数据,宏观上凑。
    LINAICAI
        65
    LINAICAI  
       2017-03-07 02:23:11 +08:00
    吹得好就是大数据,吹的不好就是一个 POST 请求
    lulinux
        66
    lulinux  
       2017-05-18 14:25:25 +08:00
    这么好的东西没有人感谢?特地来谢一次!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2729 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 13:53 · PVG 21:53 · LAX 05:53 · JFK 08:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.