这是一个创建于 458 天前的主题，其中的信息可能已经有所发展或是发生改变。
对于生产环境不允许 exec 函数调用外部程序的情况？
以前知道有 goridge 这种东西 需要 go 启动服务并保持常在
php 再用 http get/post 方式调用 go 服务 这样不是很烦？
比如要用 go 爬 1 万条数据 每次都传 1 万条 这样调用的话无法显示进度 比如每隔一秒向浏览器显示爬了多少条数据
 |
1
Rache1 2023-09-27 14:54:44 +08:00
FFI
|
 |
2
maocat 2023-09-27 15:00:39 +08:00
加中间件，消息队列
|
 |
3
codehz 2023-09-27 15:14:57 +08:00
每次开进程损耗更大吧（）
|
 |
4
8355 2023-09-27 15:20:55 +08:00
消息队列是主流方案，方便快速扩容，无法独立部署的话可以用 redis stream 5.0 就可以用了。
性能很快，指令都是 o1 ，消息量大的话不如 kafka 或者 mq ，每天百万级没大问题，前期有量可以切独立 redis 便宜的狠。 |
 |
6
Gota 2023-09-27 15:23:53 +08:00 via iPhone
可以放个 Redis 在中间，共享状态，消息队列，广播事件 Redis 都支持，很适合用在爬虫这样的异步任务平台。
|
 |
7
Nazz 2023-09-27 15:33:23 +08:00
使用 sidecar 部署, 通过 http 通信
|
 |
8
QlanQ 2023-09-27 15:38:37 +08:00
你的这种方式，进度条准吗？
进度条是在浏览器显示的与，go 和 php 的交互方式没有什么关系吧 |
 |
9
skiy 2023-09-27 15:47:02 +08:00
走 RPC ？或者走 MQ （ MQTT ）。进度条不了解……这东西不要求精准啊。很多熟悉让你进度到 90%，就在那里卡你好久……
|
 |
10
awalkingman 2023-09-27 15:51:17 +08:00
进度条是锦上添花，最核心的是把任务完成了，进度条显示一个大概就好了。
通信的话，找个中间件解耦一下是最方便的。 |
 |
11
zzzkkk OP 进度条就是页面用 ajax 请求一个文本文件
server 端 go 每隔一秒去更新这个文件 爬了多少条 还有另一个文本文件 写了总数 这进度是精准的 就几个用户的系统 同一时间只有一个人执行爬虫 搞什么中间件 消息队列 |
|
12
zzzkkk OP 还好现在 server 都是我控制
想起刚从业时 往图片写文字 gd 扩展用得焦头烂额 都是因为自己没服务器权限 要是自己能管服务器 用 imagick 扩展一下子就解决了 |
|
13
Gota 2023-09-27 16:21:48 +08:00 via iPhone
如果是临时用用的项目当然无所谓，正经项目里还是不建议用本地文件存状态。
|
 |
14
devopsdogdog 2023-09-27 16:26:03 +08:00
|
 |
15
sunmoon1983 2023-09-28 08:08:07 +08:00
grpc ?
|
 |
16
dif 2023-09-28 09:47:38 +08:00
跨语言目前我用的是 grpc ，java <> python
|
|
17
zzzkkk OP java <> python 用 grpc 交互？
|
 |
18
guoguoyu 2023-10-31 09:27:22 +08:00
go -> redis <- php-workerman -> 进度条 搞定
|
Select Language