V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  vtwoextb  ›  全部回复第 16 页 / 共 17 页
回复总数  326
1 ... 8  9  10  11  12  13  14  15  16  17  
2017-10-09 19:23:44 +08:00
回复了 ifkite 创建的主题 程序员 [V 友尝鲜版] 一个轻量级 web 应用框架
不错 好像 web 开发用 python 的公司比较少,借楼宣传一下 很久以前我写的 php 小框架 https://github.com/hizdm/sphp
2017-10-09 17:02:33 +08:00
回复了 chen2016 创建的主题 程序员 写爬虫的时候你遇到过哪些厉害的反爬手段?
京东防爬, 我用的是 动态 ip 策略 https://github.com/hizdm/dynamic_ip
2017-09-29 15:04:58 +08:00
回复了 dubuqingfeng 创建的主题 PHP 腾讯开源了一款高性能的超轻量级 PHP 框架, Biny
合适自己的就是最好的框架 我自己写的 5.3 版本时代的 框架 https://github.com/hizdm/sphp 还简单 安全 用起来简单就好
采集的对象没有反应,有可能你的被禁止可以用这种策略: https://github.com/hizdm/dynamic_ip 如果是脚本超时了你可以设置一下时间,或者加一些判断
2017-09-13 16:18:45 +08:00
回复了 woshinide300yuan 创建的主题 NGINX 这种爬虫是不是无解?
如果不停的换 ip 是没有方法防的 , 我的抓取就是用的动态 更换 ip,动态更换 IP 策略 DEMO https://github.com/hizdm/dynamic_ip
2017-08-24 13:56:34 +08:00
回复了 vtwoextb 创建的主题 HTML 一款 Typecho 的主题 - Simple
2017-08-18 09:15:18 +08:00
回复了 ericgui 创建的主题 程序员 MySQL 难题求思路:怎样用 PHP 每日内网同步一个 4.3G 的表?
首先说你数据库就不能存 doc pdf 这样的文件,其次要真想同步 简单的 shell 一行就可以了
2017-08-04 13:48:09 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
@tammy 击掌^_^
2017-08-04 13:47:45 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
@fuxkcsdn 欢迎优化
2017-08-03 18:08:57 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
@lianxiaoyi 重新拨号不错 可以减少路由器重启的时间
2017-08-03 18:08:10 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
@UnisandK 这个可以单独申请一条线 毕竟有的公司好多数据是靠抓取的啊
2017-08-03 10:01:51 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
@king2014 是的 有的网站判断很严格 比如 京东 豆瓣
2017-08-03 09:57:28 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
@king2014 是的 原理就这么简单 程序里面 为了安全 加了 ping 网络通不通
2017-08-03 09:49:34 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
@oh 这只是提供一个策略和一个可执行的 demo,然而现在有很多公司需要抓取数据(服务器可以放在自己的公司用路由器链接然后再 Rsync 到远程服务器),这个程序我试验过,目前跑在自己家的 树莓派上 效果还不错,这个主要用于我的一个商品比价的网站上,已经运行一年多了!
2017-08-03 09:38:15 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
$errNum 是你按照自己的情况定,比如你认为程序采集某个链接的内容 设定采集 10 次有$errNum 次不成功,就认为得重新换一个 ip 比较保险;

运营商好像可以买动态的 ip
2017-08-03 09:20:57 +08:00
回复了 helica 创建的主题 云计算 vultr 东京 5 刀服务器巨卡,还是我使用姿势不对?
我用的 Linode 在上面只搭了一个 vpn
2017-08-03 09:13:24 +08:00
回复了 vtwoextb 创建的主题 PHP 写了一个动态获取 IP 爬虫抓取内容的 DEMO......
@Tink 不是 这个要看自己的路由器 重新启动的地址 (在浏览器 按 F12 点击重新启动 查看 请求的链接地址)
1 ... 8  9  10  11  12  13  14  15  16  17  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2800 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 28ms · UTC 02:54 · PVG 10:54 · LAX 18:54 · JFK 21:54
Developed with CodeLauncher
♥ Do have faith in what you're doing.