• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 3605 天前的主题，其中的信息可能已经有所发展或是发生改变。
各位技术猛士：
寻求一位搭档，帮忙监测几个网站的活跃度、交易量等。待跟踪数据都是在网页上有展示的公开数据，无须hack。能者不难，但求搭档。
要求：
技术能力强，搞定技术方面的各种问题，如多IP、验证码等；
自我驱动，自己发现问题解决问题，自我约束时间实现需求，自我驱动改进程序以匹配目标网站发展更新；
责任心强，细心周全，自我苛求抓取数据的正确、全面、客观；
易于沟通；
有一定的资源积累或相关经验，因为我无法帮你学习提高；
最好在上海，确实有能力&有诚意也可外地。
回报：
常年合作，兼职SOHO，薪酬月付。年终根据监测结果对相关投资决策的贡献，支付奖金，奖金将以人民币十万为单位。
背景说明及合作愿景：
对冲基金是最简单暴力的钱生钱的行业。华尔街上对冲基金行业年收入千万美元的从业者比比皆是，是顶级商学院学生工作首选目标。中国对冲基金行业尚处初期但正在高速发展。我有幸在一家实力强劲但也竞争激烈的基金工作，觉得十分有趣大有可为。若你是实力干将&合作愉快，将来(2~3年后)我自己做对冲基金时，诚邀合伙加入负责各项技术。届时您将轻松实现财务自由。
此次我是自己出资寻找长期搭档，你的酬劳将与我的投资组合收益相关，搭档关系，远非一般兼职可比，望你我自此结缘。
若有意，请邮件至：lixiangprime#foxmail.com
请简单介绍自己的教育及工作背景，详细介绍你的技术能力、合作意愿。
来信必复，春节后定下合作伙伴。
寻求一位搭档，帮忙监测几个网站的活跃度、交易量等。待跟踪数据都是在网页上有展示的公开数据，无须hack。能者不难，但求搭档。
要求：
技术能力强，搞定技术方面的各种问题，如多IP、验证码等；
自我驱动，自己发现问题解决问题，自我约束时间实现需求，自我驱动改进程序以匹配目标网站发展更新；
责任心强，细心周全，自我苛求抓取数据的正确、全面、客观；
易于沟通；
有一定的资源积累或相关经验，因为我无法帮你学习提高；
最好在上海，确实有能力&有诚意也可外地。
回报：
常年合作，兼职SOHO，薪酬月付。年终根据监测结果对相关投资决策的贡献，支付奖金，奖金将以人民币十万为单位。
背景说明及合作愿景：
对冲基金是最简单暴力的钱生钱的行业。华尔街上对冲基金行业年收入千万美元的从业者比比皆是，是顶级商学院学生工作首选目标。中国对冲基金行业尚处初期但正在高速发展。我有幸在一家实力强劲但也竞争激烈的基金工作，觉得十分有趣大有可为。若你是实力干将&合作愉快，将来(2~3年后)我自己做对冲基金时，诚邀合伙加入负责各项技术。届时您将轻松实现财务自由。
此次我是自己出资寻找长期搭档，你的酬劳将与我的投资组合收益相关，搭档关系，远非一般兼职可比，望你我自此结缘。
若有意，请邮件至：lixiangprime#foxmail.com
请简单介绍自己的教育及工作背景，详细介绍你的技术能力、合作意愿。
来信必复，春节后定下合作伙伴。
第 1 条附言 · 2015-02-12 20:10:25 +08:00
标题可能有误解。
基础酬劳按月支付，如果爬虫合适，可以月付1万。
年底奖金，10万 * N，取决于对我业绩的帮助。N从0到10吧，先。
其实做得好，酬劳真不是问题。
基础酬劳按月支付，如果爬虫合适，可以月付1万。
年底奖金，10万 * N，取决于对我业绩的帮助。N从0到10吧，先。
其实做得好，酬劳真不是问题。
第 2 条附言 · 2015-02-13 11:23:14 +08:00
统一回复：
验证码，多IP等技术方面的问题：
我只是提出来而已，因为这些问题我不懂，需要你自己解决。我不希望，到时候你和我说，因为有验证码做不了了，或者因为IP被封做不了了。发现问题解决问题的人，才是被欣赏和珍惜的。实际需求中也不一定会遇到这些问题。
数据分析及验证问题：
我有第三方数据公司提供的付费报告，只是这些报告及时性不够（大概一个季度一期），且不是独家的，所有人看到的都一样，关系好的可能还能提前一周拿到。如果我的决策都是基于这些报告，我也就分分钟可以滚蛋了。
我也有一些目标公司业务线的朋友，偶尔问些经营情况，同行相互交流，大概的数也差不了太多。
这些口径的数，都将和通过爬虫获取的数交叉对比。一段时间下来，就知道爬虫的数靠谱不靠谱，该如何修正。
数据分析这些，当然，都是我必须自己做的。
另：
收到一些邮件，抱歉，今天是我年前最后一个工作日，比较忙。邮件稍晚回复。
倾向于BAT或其他互联网公司工作的朋友，这样我们很容易会有共同的圈子，有利于我们以后长期合作。
感谢大家的兴趣。
顺祝春节快乐！
验证码，多IP等技术方面的问题：
我只是提出来而已，因为这些问题我不懂，需要你自己解决。我不希望，到时候你和我说，因为有验证码做不了了，或者因为IP被封做不了了。发现问题解决问题的人，才是被欣赏和珍惜的。实际需求中也不一定会遇到这些问题。
数据分析及验证问题：
我有第三方数据公司提供的付费报告，只是这些报告及时性不够（大概一个季度一期），且不是独家的，所有人看到的都一样，关系好的可能还能提前一周拿到。如果我的决策都是基于这些报告，我也就分分钟可以滚蛋了。
我也有一些目标公司业务线的朋友，偶尔问些经营情况，同行相互交流，大概的数也差不了太多。
这些口径的数，都将和通过爬虫获取的数交叉对比。一段时间下来，就知道爬虫的数靠谱不靠谱，该如何修正。
数据分析这些，当然，都是我必须自己做的。
另：
收到一些邮件，抱歉，今天是我年前最后一个工作日，比较忙。邮件稍晚回复。
倾向于BAT或其他互联网公司工作的朋友，这样我们很容易会有共同的圈子，有利于我们以后长期合作。
感谢大家的兴趣。
顺祝春节快乐！
 |
1
oldream OP 为什么一个回复都没有？我哪里写的有问题么？
这个网站是我3年前还在做风投时留意过的，现在人气不在了么？ plus 我知道很多技术大拿都对金钱无所谓。其实，用技术和眼光赚钱，是一件很有成就感的事情；然后用钱做更多有意义的帮助社会的事情，是一件乐事。 |
 |
2
binux 2015-02-12 19:46:16 +08:00
『薪酬月付。年终根据监测结果对相关投资决策的贡献，支付奖金』
薪酬 到底多少 |
 |
3
DearMark 2015-02-12 19:47:34 +08:00 via Android
没贡献，没钱拿。
|
 |
4
GTim 2015-02-12 19:49:58 +08:00
先发最难的监测网站出来，大家可以评估下难度
|
|
7
oldream OP @GTim how about Jumei.com?
|
 |
8
threezhiwang 2015-02-12 20:08:39 +08:00
诶，其实抓回来还得滤噪声，还得合理建模
还有一个只差程序猿的梗 |
|
9
oldream OP @threezhiwang 什么梗？
|
|
19
oldream OP @Gauin 做过VC有啥牛逼 做过VC还不做了做HF，才牛逼。。。哈哈哈 做VC很煞笔的 我投的企业美国上市了，我也没分到什么钱，做HF就不同了，每年分钱的
|
 |
21
JackBlack2006 2015-02-12 20:47:00 +08:00
我只会看科技公司的季度财报, 还是美国硅谷几个公司, 搞对冲肯定是不行的 ...
|
|
22
oldream OP @JackBlack2006 看季报访谈公司管理层 这些都是我的事 是我的工作 我需要的是一个靠谱的爬虫为我提供我想要的数据
|
|
23
JackBlack2006 2015-02-12 20:53:42 +08:00
@oldream 不好意思啊, 爬虫不是机器人么? Google 搜索不都是用的爬虫抓取网页内容么? 所以我看到一楼就觉得很困惑...
|
|
24
oldream OP @JackBlack2006 你这句话让我很困惑。。。
|
 |
25
xiaoyaoking 2015-02-12 21:05:56 +08:00 via Android
可以聊聊，爬虫天天在写，最大的一个爬Appstore的app排行，数据库55g。其他就是爬爬数据做做垃圾站神马的。
|
|
26
oldream OP @xiaoyaoking 那太好了。给我发封邮件？
|
 |
27
pljhonglu 2015-02-12 21:16:04 +08:00
我就是上来混脸熟的~LZ 咱俩头像。。。
|
|
30
JackBlack2006 2015-02-12 21:20:03 +08:00
|
|
32
oldream OP @JackBlack2006 你做的项目如果靠谱 这年头 最不缺的就是风投 风投到处看项目 生怕错过了next big thing
|
|
34
xiaoyaoking 2015-02-12 21:31:19 +08:00 via Android
邮件已发，手机上的简单写了几句。 刚才也仔细看完了帖子，不过涉及验证码，月薪一万估计难招大神，毕竟ocr单一门水很深，不过可以花点钱买点服务来解决。
|
|
35
oldream OP @binux 我被你的blog和技术唬到了。。。所以，sale下自己。如果你想给自己的生活工作状态埋下一些改变的可能性，你可以认真考虑下我的提议。
|
 |
37
Catstyle 2015-02-12 21:51:04 +08:00
mark
爬下来还得建模和过滤，工程不小 |
 |
38
tearsinchina 2015-02-12 22:06:23 +08:00
在北京的可以么？
验证码的问题，花钱买服务可以解决 多ip，让人也要花钱买ip了 -- 剩下的，技术都可以解决。 话说。从你的描述上看并不清楚采集下来数据，然后打算怎么办？可能这个才是最难的。 |
 |
39
nsa 2015-02-12 22:09:19 +08:00 via iPhone
每个点给一个具体的参考标准。
More is different. |
|
40
JackBlack2006 2015-02-12 22:39:04 +08:00
@oldream 我不这么认为, 因为我的项目不是科技行业的, 而且发展周期有点长
|
 |
41
fishlee 2015-02-12 23:10:16 +08:00 via Android
监测的频率，验证码的复杂度，数据的应用这几个放面
|
 |
42
revir 2015-02-12 23:13:49 +08:00
专业写爬虫的路过， 楼上有人说的对， 数据采集很简单， 难的是采集之后怎么处理。
|
 |
43
sumhat 2015-02-12 23:36:57 +08:00
难点不是把数据爬下来，而是怎样解释数据。每个网站都要依可用数据分别建模，工程量不少。
|
|
45
oldream OP @tearsinchina 没那么复杂。。我只是把可能面临的困难写出来了 你给我发封邮件 如果已发就算了 收到的邮件我都回复了
|
 |
50
lusin 2015-02-12 23:56:17 +08:00
当你有这个数据了，发现已经有很多人用的比你的这个数据更全面更先进了
窃以为现在的世界，你想到的一个方法加头脑能赚大钱的，基本别人已经在使用很久了 |
|
58
lusin 2015-02-13 00:19:21 +08:00
10*n n可能是0，笑的我不能睡觉啊
|
 |
59
Wy4q3489O1z996QO 2015-02-13 00:32:31 +08:00  1
|
|
60
oldream OP @lusin 你这几句话，实在没什么逻辑，本来懒得回应，但我也觉得自己刚才言语失敬，解释两句。
爬虫自身并不会赚钱，看谁用。对冲基金赚钱 ＝ 本金 * 投资收益 * 业绩费。没有本金是扯淡。我做这个程序，是为了在我做投资决策的时候多一个数据维度，或者在拐点时提供及时的业绩预警。但是本质上，有没有这个程序，我的工作职责依然是要做出投资决策，这个数据维度本质上是辅助性的。and，我当然不指望10万搞定数据，我们基金每年买数据和研究报告的花费是千万级别的，但那是基金层面的 & 大的Fund投资圈通用的。我写得很清楚，我是个人出资找一个搭档，换个说法，我在给我自己找个助理，多一个数据维度。我还请了帮我处理文字整理类工作、摘要投行研究报告的助理，我还在很多消息源上有出资获得信息，这些都是我个人出资的。我是为了提高自己的综合能力以及释放自己的时间。当然了，你也可以觉得我是瞎折腾。 VC投项目上市了，不知道你为什么觉得是loser。做VC拿不到real money的，real money我是指千万美元为单位的，因为VCPE fund有8年的fund life，还有vesting，carry分配机制不健全，国内VC行业没几个人拿过carry的，除了top fund的executive manager，所以才有那么多大佬要自立门户，比如今天爆出来的刘二海离开君联自己创业。你爱信不信。HF是按年算的，年年分carry。隔行如隔山，看的出来你对VC不太懂 & 有点盲目崇拜。我是主动从Very Top VCPE fund出来的，你或者不信，或者不理解，没关系。 就解释这么多。对话语言不通，多说无益。 |
|
61
lusin 2015-02-13 00:43:05 +08:00
|
|
62
oldream OP @lusin 你可能不知道&不理解，投资JD的兄弟，2006年投资，2013年离职，至今不知道分不分得到他应得的几千万美元的奖金的兄弟的情况吧？哈哈，还有投资58+VIPS，但现在离开DCM的兄弟。。。DCM更惨，global fund，中国区只有2个partner能分carry。VC分钱，需要等到Fund清算，再加上一系列IF满足。
当然了，他们都走了上自己能把握分钱机制的道路。 最后一句：嗯，我是Loser。100%。 |
 |
65
Daddy 2015-02-13 01:30:54 +08:00
@oldream 你到底是对冲投资，还是VC风投，两码事~
大概明白你意思，其实就是找个机器爬信息，保证能更快速度获利信息面的变化，避免后知后觉判断错误 |
 |
66
jiangzhuo 2015-02-13 01:34:40 +08:00
原来写爬虫和数据建模写好了 还能干这个
这是在上学的时候完全想不到的啊 |
 |
67
wankaizhang 2015-02-13 01:46:39 +08:00
@oldream，你好，我在BAT做过爬虫项目，也承担过创业公司10亿级别的爬虫设计研发，我想我们可以谈谈
|
 |
68
GeekGao 2015-02-13 02:13:19 +08:00
目前在某上市的互联网金融公司做类似项目，不过签署了竞业禁止协议。(我估计啊，你要爬的数据源极有可能是包括我们的
|
|
69
nsa 2015-02-13 03:39:09 +08:00 via iPhone
@oldream 比如楼上几位说的，爬虫设计：10亿级别；数据源具体到哪些（这个先说出来有关系吗？）；总之，尽量具体。数据正确还是合适？怎么检验，有商业服务还是自己设计检验方法？需要数理统计，时序分析之类的专业知识吗？
|
 |
70
Stof 2015-02-13 04:02:48 +08:00
其实听起来都蛮简单的，只是做起来有点难。
像楼主说的那些要求其实没必要都提出来，通过聊天就可以判断对方是否具备这种资质。 像“多IP”最基本的可以省略掉，“验证码”的话，有现成的方案，所以也不难。 |
 |
71
d0o0g 2015-02-13 08:08:33 +08:00
专注爬虫三十年，楼主联系我
|
 |
73
Loker 2015-02-13 08:46:35 +08:00
在做同样的东西！！
|
 |
74
wdlth 2015-02-13 08:51:51 +08:00
但是公开的表面的东西很多都是虚假的数据，你确定通过公开的数据就能准确的分析么？
|
 |
75
nooper 2015-02-13 08:56:46 +08:00 via iPhone
都别吵。哈哈。难点是消息确实会有相应。而不是抓到了消息但是没有资金流还是白搭。真正灵通的是别人早早的就比市场知道很多了。人家都有内部消息。外部的永远赶不上内部的。有很多消息是资金量涌入，那帮分析师在放个新闻出来晃晃。券商拉涨据说有人8月份就很清楚的不行了
|
|
76
nooper 2015-02-13 09:01:34 +08:00 via iPhone
我认识的大神都是靠择时和高频取得了超额回报率
|
 |
77
icinessz 2015-02-13 09:08:27 +08:00
爬虫简单，常年手上一堆在跑，收集数据简单，后期分析楼主有考虑过么，这属于职责范围内不？而且看你提供的example，估计对时效性要求不高吧。
|
 |
78
fyooo 2015-02-13 09:12:17 +08:00 1
不明觉厉
|
 |
79
youyang 2015-02-13 09:31:56 +08:00
看着好诱惑 ( ⊙ o ⊙ )啊！
|
 |
80
kingname 2015-02-13 09:35:49 +08:00 via iPad
常年scrapy+redis +MongoDB 爬虫在跑，最近刚学R语言。
|
 |
81
cyang 2015-02-13 09:51:11 +08:00
曾在某比价网站工作,主要负责价格爬取,图片价格识别,数据维护等工作,和您提的要求较为符合,简历已发您邮箱,请查收
|
 |
83
xunyu 2015-02-13 10:20:07 +08:00
jumei这个很好爬，正式的网站是哪些呢？
|
 |
84
eary 2015-02-13 10:33:54 +08:00
听起来楼主应该是私募操盘手吧。
|
 |
85
surefire 2015-02-13 10:36:43 +08:00
不明觉厉，帮顶
|
 |
86
Yannis1990 2015-02-13 10:43:21 +08:00
@romotc 赞那句话，麻烦问下出处
|
|
89
oldream OP @wankaizhang 好的 麻烦给我发封邮件
|
|
91
oldream OP @nsa 比如楼上几位说的，爬虫设计：10亿级别；数据源具体到哪些（这个先说出来有关系吗？）；总之，尽量具体。数据正确还是合适？怎么检验，有商业服务还是自己设计检验方法？需要数理统计，时序分析之类的专业知识吗？
-- 数据量级，有大有小，最难的目标公司，可能要到10亿级别。但我不是要照搬别人的数据，我需要的是统一口径的统计数据，理论上是可以找到巧妙的方法的。 数据正确和合适，这个不矛盾吧？ 检验倒简单了，我日常工作，就是会通过访谈、沟通知道一些数据的。其实大概季报前一个月，这个季报的大概情况，机构投资者，都是知道大概的。只是有时候，消息源会混乱。但是有数据了，cross check一下，也就知道个差不多了。 数理统计、时序分析这些，应该都是不需要的。 |
|
92
oldream OP @nsa
数据量级，有大有小，最难的目标公司，可能要到10亿级别。但我不是要照搬别人的数据，我需要的是统一口径的统计数据，理论上是可以找到巧妙的方法的。 数据正确和合适，这个不矛盾吧？ 检验倒简单了，我日常工作，就是会通过访谈、沟通知道一些数据的。其实大概季报前一个月，这个季报的大概情况，机构投资者，都是知道大概的。只是有时候，消息源会混乱。但是有数据了，cross check一下，也就知道个差不多了。 数理统计、时序分析这些，应该都是不需要的。 |
 |
93
Kabie 2015-02-13 11:01:37 +08:00
取数据已经是最简单的一环了吧。。。
问题是要分析吧…………这是你自己来么。。。 |
 |
94
lbp0200 2015-02-13 11:07:38 +08:00
mark，做过一些爬虫，有钱怎么都好说
|
 |
97
andy1987 2015-02-13 11:28:29 +08:00
爬虫的话，曾经用nodejs和py做过，有想法总是好的，对于这个想法是不是能按照预定的路线发展那是另外一回事了，希望楼主能找到合意的拍档
|
 |
98
crazycookie 2015-02-13 13:56:23 +08:00
无锡，可以约等于上海吧
已邮件 |
 |
99
frankzeng 2015-02-13 14:01:44 +08:00
真好，心动了。数据取下来，可以展现成各种曲线，报表。加上一些算法，根据历史数据预测未来的相关的趋势，最好能做成智能的，帮你投资。
|
 |
100
mornlight 2015-02-13 14:20:22 +08:00
看楼主发帖内容觉得是比较靠谱的，但需求和难度不够明确。
我是不敢接这样的活的，这楼后面回复的人里有一些爬虫高手应该能满足你。 |
Select Language