如何将加拿大服务器上总计 200T 的文件传输到国内？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 932 天前的主题，其中的信息可能已经有所发展或是发生改变。

网络环境

加拿大服务器公网 10G 带宽国内服务器公网 5G 带宽

遇到的问题

由于链路距离过长，直接下载速度只能达到 100Mbps

以了解过的解决方法

购买阿里云 OSS ，通过闪电立方将数据传输到阿里云 OSS 美国节点上，然后数据内部同步到国内的 OSS 节点，最后用国内服务器下国内 OSS 节点上的数据，这个方案价格太高，需要支付存储包流量包费用近 20W
购买阿里云 CDN 服务，这个方案能否实现还不清楚

第 1 条附言 · 2022-06-10 10:26:18 +08:00

感谢各位的解答。首先200T的数据是确有其事并非杜撰，其次最新进展是已经联系香港电信运营商开通一台1Gbps带宽的服务器进行测试，加拿大到香港最大带宽能达到多少还需测试，如果能跑满1Gbps就将国内服务器寄过去下载好再托人带回国内，最后说明一下我的测试方法

用speedtest测试线路带宽是否达标
从香港节点用axel多线程下载加拿大的数据

第二点应该用iperf3测试香港到加拿大节点带宽，但是加拿大运营商负责人没有同意使用iperf3测试

各位除网络链路之外可能会提到的瓶颈

cpu是48核心的处理器，所以cpu性能是够的
磁盘做了阵列，写入速度能达到16Gbps/s（注意是小b，换算成大B是2GB/s）

OSS

服务器

节点

公网

174 条回复 • 2022-06-20 17:49:31 +08:00

1 2

❮

❯

wy315700

2022-06-08 14:04:36 +08:00 via iPhone

买硬盘存进去然后找个人坐飞机带回来

throns

2022-06-08 14:06:19 +08:00

@wy315700 现在回国的成本也很高，机票都要大几万

mosfet

2022-06-08 14:08:17 +08:00

固态硬盘，快递回去

C603H6r18Q1mSP9N

2022-06-08 14:08:51 +08:00

买硬盘，加密数据，然后快递寄回来

lower

2022-06-08 14:09:42 +08:00

@wy315700 机票得估计 6w+，买硬盘也得 2w+，算下来也得小十万了……🤣

j0ck1e

2022-06-08 14:10:44 +08:00

@shanghai1998
@mosfet
硬盘里面有数据过国内海关可能不让过，而且这次传输完后以后可能还会传输一点数据

8520ccc

2022-06-08 14:10:49 +08:00

预算多少？外包吗？我可以承接这个服务需要可以联系我

lxr760

2022-06-08 14:12:18 +08:00

感觉装硬盘里快递回来反而比走网络传输要来的快

hoythan

2022-06-08 14:17:25 +08:00

把文件拆分成 1gb/份分批上传下载。

GeorgeGalway

2022-06-08 14:20:09 +08:00

你好移民考虑一下

hoythan

2022-06-08 14:21:31 +08:00

购买 10 个 1tb 不限速网盘账号 VIP 。文件拆分成 1gb/ 份上传到网盘，国内下载。下载完毕清空网盘循环往复。

docx

2022-06-08 14:25:47 +08:00 via iPhone

找个速度快的服务器中转？

huaes

2022-06-08 14:30:57 +08:00

去江浙找个机房下，内地机房就有这个毛病速度就是不如出海口速度快

hoythan

2022-06-08 14:34:06 +08:00

我家 1000mb 宽带，试过网盘下载 1tb 文件要 4 个小时。写了个小工具下载完毕就删除网盘内容。

用的是企业版百度网盘，免费版容量只有 50gb 。但是优势是不限速。写了个小工具自动删除下载完毕的文件，然后另外一边排队上传。

你 200tb 不算上传时间光下载得一个月。优势是基本上不花钱。

hoythan

2022-06-08 14:36:17 +08:00

@hoythan 哦 5g 能跑满的话一周就够了。

pxiphx891

2022-06-08 14:40:37 +08:00

第一步，把 200T 的文件切割成 1MB 的片段，共计 2 亿片
第二步，号召 2 亿网友，每人帮你从加拿大机器下载 1MB ，然后上传到国内服务器
第三步，合并 2 亿切片
如果你能免费号召到 2 亿网友，我可以号召 2 个 v 友免费给你编写转发软件。
按照你 10G 的公网下载带宽，预计需要 44 小时。

BingoXuan

2022-06-08 14:41:47 +08:00

刻录在空白的蓝光光盘里面，然后重新打包一下，当成普通空白蓝光光盘发快递就行

pxiphx891

2022-06-08 14:42:56 +08:00

或者数据加密后装磁带里呢？海关检查磁带吗？

huaes

2022-06-08 14:44:13 +08:00

你看全国各地机房速度天差地别，哪怕电信专线它也是过 163 汇聚，速度上不去的，CN2 倒是可以做到全国速度差不多，但是得加钱加钱加钱

paopjian

2022-06-08 14:46:07 +08:00

巨量数据还是空运比较方便,或者找个人去香港下好再入境?

junas7

2022-06-08 14:46:15 +08:00

@pxiphx891 哈哈哈把大象装到冰箱里有需要几步呢

superchrisliu

2022-06-08 14:46:25 +08:00

@pxiphx891 开发转发软件我也要参加！！

makelove

2022-06-08 14:53:05 +08:00

国内的云服务下载似乎是不用流量钱的吧，在云上建一堆轻量机子一起下载占满 10G 应该很轻松

j0ck1e

2022-06-08 15:01:57 +08:00

@huaes 国内服务器在江苏

j0ck1e

2022-06-08 15:03:19 +08:00

@hoythan 从加拿大上传到网盘估计够呛，国内国外通用的网盘几乎没有

mingl0280

2022-06-08 15:06:22 +08:00

买固态，快递。这是最便宜的方案了。

i0error

2022-06-08 15:10:03 +08:00

周经问题。。。要不提问前先搜索一下？

huaes

2022-06-08 15:10:19 +08:00

@j0ck1e 去上海机房，要么就联系电信直接去电信机房下，线路问题他们会给你解决的，费用绝对比其他方案小

6IbA2bj5ip3tK49j

2022-06-08 15:12:42 +08:00

试试澳门 /香港中转？
加拿大-光纤-澳门 /香港-人肉-国内

vocaloid

2022-06-08 15:14:20 +08:00

搞个短期 iplc 不过价格估计也要小几万

zhs227

2022-06-08 15:17:11 +08:00

上次那个哥只有 30T ，这回 200T 了。传送大量数据确实是成本非常高。还是能寄就寄。

Titzanyic

2022-06-08 15:20:16 +08:00

- 搭建 Aspera 可以点对点高带宽利用率，解决传输效率的问题；
- 200T 存储也是个问题；
- 普通的千兆宽带总时间也很长，还需要千兆以上的带宽；

huaes

2022-06-08 15:20:53 +08:00

反正国内机房都要过 163 汇聚，接入线路也是分国内外优化的，这是机房跟运营商谈的你解决不了，去香港也是一样的，不如直接找运营商，跳过中间商

huaes

2022-06-08 15:22:24 +08:00

@Titzanyic 这是出海啥技术方案都没用的，宽带再大也给你 QOS

bxb100

2022-06-08 15:26:40 +08:00

好像往国内单 IP 传输流量过大有可能直接被黑洞

hyrepo

2022-06-08 15:34:25 +08:00

可以看看 AWS Snowball ，适用于 10TB-10PB 级别的数据迁移，AWS 会直接给你寄个硬件过来，你传完数据给他们寄回去，然后他们帮你同步进 AWS 里，没记错的话他们也支持云上的数据往线下迁移。

ymmud

2022-06-08 15:38:40 +08:00

国内多弄点机器 bt 下载

ayukas

2022-06-08 15:44:01 +08:00

我看还是买个 SSD 然后复原包装标签冒充新品再附个 invoice 最便宜

txydhr

2022-06-08 15:44:25 +08:00 via iPhone

任何网络都跑不过装满硬盘的卡车

zanzhz1101

2022-06-08 15:44:51 +08:00

我觉得直接上 bt 吧，自己搭个 tracker ，开几个服务器作为中转，问题应该不大

leavic

2022-06-08 15:50:46 +08:00

加密分包压缩成 2000 份，找几百个网友众包下载然后上传拼接

zanzhz1101

2022-06-08 16:02:27 +08:00

@txydhr 他这个可能得上船或者飞机哈哈

zanzhz1101

2022-06-08 16:05:29 +08:00

@j0ck1e 上 bt 吧，开几个 ovh 和 do 的机器，几个大盘鸡 10T 的也没多少钱，分片下载，自建个 tracker ，国内也整几台设备分片，会快不少

hichinaman

2022-06-08 16:08:23 +08:00 via iPhone

我在香港使用宽频光纤可否帮到你？

zanzhz1101

2022-06-08 16:09:14 +08:00

@hichinaman 往国内的速度估计一般吧，流量大了容易被 q

cmdOptionKana

2022-06-08 16:11:28 +08:00

空运贵也许可以考虑船运？

cloudsigma2022

2022-06-08 16:13:31 +08:00 via iPhone

就没人关心，200t 是个什么数据，视频吗？ sex?

libook

2022-06-08 16:13:48 +08:00

可以咨询一下海关，如果邮寄这种存有业务数据的硬盘入境的话，需要走哪些手续，这块能搞定的话，也就十几块硬盘的事情了。

实在想要用网络传输，估计就得找运营商谈了，跑满带宽也得三天左右才能传完。

zengguibo

2022-06-08 16:25:57 +08:00

20T 的硬盘一个 4000 块，只需要 10 块*4000= 4 万块，再加上运费，拷完再将硬盘卖掉，估计费用可以接受

www5070504

2022-06-08 16:26:49 +08:00

所以更想要的速度还是价格便宜

lslqtz

2022-06-08 16:27:11 +08:00

多线程跑啊……

lslqtz

2022-06-08 16:27:53 +08:00

@zanzhz1101 BT 其实比多线程拉慢。

liprais

2022-06-08 16:28:20 +08:00

寄个硬盘是最快的

infuse

2022-06-08 16:28:26 +08:00 via iPhone

@zengguibo #49 硬盘不允许国际快递

zanzhz1101

2022-06-08 16:28:26 +08:00

@lslqtz 但其实可以多设备跑满呀，快速拉出来

lslqtz

2022-06-08 16:29:06 +08:00

@zanzhz1101 点对点不会存在多设备，这不是点对多点的需求

abc0123xyz

2022-06-08 16:29:36 +08:00

@pxiphx891 #16 都能号召 2 亿网友了，还差这点钱，直接割 2 亿韭菜

zanzhz1101

2022-06-08 16:31:31 +08:00

@lslqtz 单链路多线程不一定跑的满

lslqtz

2022-06-08 16:32:33 +08:00

@zanzhz1101 我德国服务器到国内轻松跑满 100MB/s 。

sampeng

2022-06-08 16:33:43 +08:00

任何国家的数据，原则上是不允许你跨国家直接人肉带。
所以只有下载这一条路。。。

sbrdfewxf

2022-06-08 16:35:05 +08:00

Resilio

datou

2022-06-08 16:35:28 +08:00

200T 还是打包分卷多线程直连慢慢往回拖吧

zanzhz1101

2022-06-08 16:42:26 +08:00

@lslqtz 本地单设备能跑满 5G 吗，不太现实

infuse

2022-06-08 16:46:09 +08:00 via iPhone

在加拿大、美国等地区找 10 台服务器。最好买高带宽保障的。然后这些数据分批次、先在四台机器之间来回打。等出种之后、用大陆的服务器 Peer 他们。

Ashore

2022-06-08 17:07:24 +08:00

好奇是什么数据

lchynn

2022-06-08 17:07:48 +08:00

@pxiphx891 不用 2 亿网友，哪怕有 200 万网友愿意用这个转发软件帮助下载，期间能插入广告的话，应该有 2000 个公司肯做这个软件。

SenLief

2022-06-08 17:10:30 +08:00

我们这边的带宽有大带宽的嘛？没有的话可以去澳门那边啊，现在过去又容易。

fregie

2022-06-08 17:46:10 +08:00

把数据存进一堆蓝光光盘或者大容量硬盘中作为 OLD_DATA ，然后在硬盘中放一个 inscryption 游戏，伪装成游戏运回国内

ShuA1

2022-06-08 17:55:41 +08:00

顺丰在北美有业务，考虑一下吧

c0xt30a

2022-06-08 17:57:35 +08:00

可以考虑：
1. 在国外机器上开几（十?）个 syncthing 把文件分开扔进去。
2. 在国内多台机器上开 syncthing ，每台机器同步一个 repo 。

AlphaTauriHonda

2022-06-08 17:58:34 +08:00 via iPhone

在比赛数据量吗？都到 200T 了，分明是超英赶美，放传输卫星。

邮寄硬盘吧，这个最快。

rrZ2C

2022-06-08 18:00:02 +08:00

我 X..... 就算是买硬盘都得好多钱

louisxxx

2022-06-08 18:04:10 +08:00

GIA 宽带能跑几 Gbps 一秒；

louisxxx

2022-06-08 18:08:18 +08:00

GIA 宽带能跑几 Gbps 一秒 1Gbps GIA 宽带要 5K 刀 /月。还得传半个月。即使用硬盘存了寄回来，你也要考虑数据往硬盘里写和从硬盘里读取出数据，也需要非常久的。
数据传到 XG 然后人带硬盘回来应该不错

louisxxx

2022-06-08 18:10:26 +08:00

@sampeng 可以发快递，批量订购硬盘一次都是上百块跨国发货的。但是数据你得加密，不然有很大地风险

lower

2022-06-08 18:10:29 +08:00

@pxiphx891 发布一种私有的种子和种子专门下载器，骗大家就说全是珍藏的小电影，吸引人来下载；然后下载器偷偷来搞分布式转发。。

sampeng

2022-06-08 18:22:38 +08:00

@louisxxx 200T 数据通过硬盘运回来难得不是怎么运，可以发快递也是要看对应国家的相应政策，有些国家连服务器都不让出来。另一方面。。你要把 200T 数据弄出来，硬盘不可能就准备 200T 的硬盘。压缩问题？加密问题？怎么冗余存储。但凡中途有一块硬盘出因为运输出故障，这 200T 就白瞎。还要校验 200T 数据的有效性，不可能完全不校验的。。。。

数据传输的商业服务真不是白收你这份钱的。

rayn32

2022-06-08 18:25:14 +08:00

直接在这服务商买台服务器，这个流量便宜些
https://www.maxihost.com/

zeusho871

2022-06-08 18:28:06 +08:00 via Android

说个方案，买腾讯云轻量云中转到你服务器，100 块钱一个月我记得是 6mbps 带宽 1000g 流量，通过腾讯云中转到国内服务器，只需要 200 台这种轻量就可以达到 1200mbps 带宽，传输 200*1000g 数据(轻量服务器貌似是出流量计费)，找代理买可能还可以打折，就是不知道会不会是假带宽。具体细节可能还要优化下。楼主可以看看....

louisxxx

2022-06-08 18:41:12 +08:00

@zeusho871 腾讯云那机器 1 天里有半天连接国外就几十 KB/s

Xusually

2022-06-08 18:42:46 +08:00

@infuse 怎么可能？我手里海淘的硬盘是怎么来的呢？
每年美亚、德亚大容量硬盘都算镇店之宝了

zeusho871

2022-06-08 18:45:09 +08:00 via Android

@louisxxx 不至于，买深圳或者香港的速度跑满没问题。。。主要没国外机器给我测，现在手里就有几十台。。。。

NoahNye

2022-06-08 18:46:17 +08:00 via iPhone

ipfs 可以试试

huaes

2022-06-08 18:50:09 +08:00

@zeusho871 不提香港大口子机器贵的要死，走不走港深还是个问题，绕上海还是被 QOS 的死死的，哪怕移动这种直连的跑到 1G 也不错了，说真的不如直接找运营商在他们机房下

teasick

2022-06-08 18:59:31 +08:00

每个 G 10 块钱众包给网友帮忙下载，也就 200 万块钱

msaionyc

2022-06-08 19:04:10 +08:00 via iPhone

两百个 one drive 账号应该就可以了

kxjhlele

2022-06-08 19:23:57 +08:00 via Android

私聊我，给你开个国内 ftp ，你测试一下速度。感觉合适在继续讨论

ToBeHacker

2022-06-08 19:25:37 +08:00

优化 TCP 的参数 5g 的带宽多跑跑就可以了

winglight2016

2022-06-08 19:58:29 +08:00

lz 去 tb 搜一下代下载服务就知道这事儿多简单了

spacezip

2022-06-08 20:07:12 +08:00

踏实找个物流公司正经报关进来

12101111

2022-06-08 20:14:40 +08:00

硬盘不抗震, 买磁带, LTO8 不压缩能存 12T, 压缩之后更大, 十几卷磁带就能带回来.
不过海关如果知道这是存储设备可能会检查内容

acupnocup

2022-06-08 20:40:35 +08:00

磁带机，飞机或者海运带回来。

xuchenkai

2022-06-08 20:58:10 +08:00

200T ，大也不算大，几个网盘帐号即可

aru

2022-06-08 21:03:15 +08:00

申请几条联通宽带，直接下载就行了
服务器记得开启 bbr

bullfrog

2022-06-08 21:04:41 +08:00

两个服务器直接连，用 lftp ，开几十个线程，就跑满了

Buges

2022-06-08 21:06:48 +08:00 via Android

1. 很多存储提供提供商提供邮寄硬盘服务，你可以把硬盘寄到他们的数据中心然后从他们服务器上拉下来。
2. （两边在线存储都够的情况下）直接开个支持分片、校验、多线程传输的协议慢慢拉回来就是了，bt 、bt sync 等都可以。你还可以在其他有更多出国口宽带的服务器上辅种加速。

cxytz01

2022-06-08 21:13:11 +08:00

如果你愿意花时间研究的话，推荐你看看 filecoin ，目前有免费的存储提供商： https://plus.fil.org/ 。

这只是我的小小建议，价格可能会便宜过中心化的存储服务商，但是速度嘛，可能你得找存储提供商聊聊。

wsycqyz

2022-06-08 21:17:14 +08:00

欢迎使用 Azure 导入 /导出服务
可将磁盘驱动器寄送到 Azure 数据中心，从而安全地将大量数据导出到 Azure Blob 存储和 Azure 文件。此外，还可以使用此服务将数据从 Azure Blob 存储传输到磁盘驱动器，然后再寄送到本地站点。
存储价格参考： https://azure.microsoft.com/en-us/pricing/details/storage/blobs/，目测 200T 不到 500$
另，一块磁盘收取 80$处理费。

cxytz01

2022-06-08 21:17:31 +08:00

目前还不清楚你文中提到：由于链路距离过长，直接下载速度只能达到 100Mbps 。这个所谓的直接下载是使用什么方式进行直接下载？如果是 ftp ，http 这种，都是单线程的，不知道是否可以吃满本地亦或者 server 二者中最小的那个 IO ，如果吃不满，需要考虑多线程下载。

100

fs418082760

2022-06-08 21:23:18 +08:00

做成种子发到 P 站，然后通过 P2P 回传...

1 2

❮

❯