用 python 只搞爬虫有没有职业前途？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3968 天前的主题，其中的信息可能已经有所发展或是发生改变。

好多人是因为爬虫学python的，我也是这样的
研究过相关的多线程，异步，协程等解决方案

也尝试接触过python的其他方向，比如Django,bottle开发web应用，用pyqt开发GUI程序

感觉还是喜欢做爬虫或采集，不过这方面招人比较少，好多都是招Django开发的，大家有好的建议吗？

Python

爬虫

django

14 条回复 • 1970-01-01 08:00:00 +08:00

pyKun

2014-02-18 20:46:18 +08:00

做 OpenStack 来吧

Shared

2014-02-18 20:53:19 +08:00

如果你就喜欢研究爬虫不如更深入些，好多搜索引擎公司会要你的

pc10201

2014-02-18 21:03:33 +08:00

@Shared 我顶多只能算采集吧，离搜索引擎级别的爬虫还有一些距离，大公司估计都是用java或c++来做爬虫的，google现在都很少用python了~

h2ero

2014-02-18 21:05:03 +08:00

现在写爬虫都用Golang 早先是用的python

itfanr

2014-02-18 21:11:58 +08:00

@h2ero 写爬虫Go有什么优势？

tioover

2014-02-18 21:13:17 +08:00

@pc10201 你既然喜欢爬虫那么可以往数据挖掘这条路上走下去啊，如果单纯爬虫的话……我不太清楚，不过感觉似乎没什么内容的样子

senggai

2014-02-18 22:39:47 +08:00

终极爬虫 http://blogread.cn/it/article/6407?f=wb#original

bengol

2014-02-19 00:46:11 +08:00

@tioover 单纯的大规模爬虫就是走的计算和存储的方向了

cassiuschen

2014-02-19 01:06:12 +08:00 via iPhone

@itfanr 1、Go性能比python高我想这基本上应该没有争议；2、Go对于多线程并行和互联网的支持是从设计语言的时候就在考虑的了…

pc10201

2014-02-19 09:28:11 +08:00

@senggai 这个我会，适合数据无法从源码中直接获取的情况，缺点是速度相当慢~

wangfengmadking

2014-02-19 11:10:23 +08:00

爬虫语言不是问题，最主要的还是谁的ip资源多^.^

wangfengmadking

2014-02-19 11:12:15 +08:00

关于lz的问题，我基本觉得只搞爬虫没有多大前途，基本上没有技术门凯。

bcpxqz

2014-02-19 16:05:40 +08:00

@wangfengmadking ip资源的问题你怎么搞定的？想买代理吧，又找不到靠谱的，rouji的话更又不可能。

wangfengmadking

2014-02-19 20:09:39 +08:00

@bcpxqz 因为我是个人自己爬数据用，不是工业级的。所以直接用的免费代理cyberhost。