这是一个创建于 1716 天前的主题，其中的信息可能已经有所发展或是发生改变。
人在帝都，公司在南京有个项目，几百台服务器掉电了，因为要省钱没装 ups，导致文件系统损坏，ES 启动不了，甲方要求下周前恢复。目前组里只有我对 ES 还算稍微熟悉一点，所以也就只有我去了。但是老婆担心去火车站风险太大，说啥不让去，还让我辞职不干了。但我真担心辞职了现在这情形不太好找工作啊。大龄野生码农，又没刷过什么题，感觉找工作好费劲啊。到底是去还是不去啊。
btw，有大佬见过这种情况么，
- hdfs 的 datanote 读写 blk 和 ES 扫文件读写_state 的时候都会报 input/output error 。这种情况除了 unmount 硬盘 fsck 一下还有别的解决方案么？
- fsck 会损失数据么？目前磁盘是 ext4 文件系统，10 个 4T 的盘做了 raid0 。
第 1 条附言 · 2020-04-18 15:35:32 +08:00
承蒙各位关心，已经远程搞定了，目前看来应该是不用去了。
btw，我不是去解决重装系统和磁盘的问题，并且也不是我一个人去。。是一个组。我只是比较熟悉 Elasticsearch，主要就负责解决如何尽量保留 Elasticsearch 数据的问题，大家各自有分工，我并不会承担数据丢失的责任（要负责也是我们架构师负责😂）。
目前是这样搞的，感谢“向日葵”。先将没问题的几台机器筛出来，然后关闭集群 allocation 和 rebalance，并把所有问题机器的 ip 都用 filter exclude 掉。这时候打开主分片的 allocation，主分片会自动往没问题的机器上 relocate 。经过了一晚上，现在数据已经都到没有问题的节点上啦~。最后再把问题设备下线，交给硬件厂商检测，重装。再让新机器加入集群，配置改回，重置副本。任务完成~！
btw，我不是去解决重装系统和磁盘的问题，并且也不是我一个人去。。是一个组。我只是比较熟悉 Elasticsearch，主要就负责解决如何尽量保留 Elasticsearch 数据的问题，大家各自有分工，我并不会承担数据丢失的责任（要负责也是我们架构师负责😂）。
目前是这样搞的，感谢“向日葵”。先将没问题的几台机器筛出来，然后关闭集群 allocation 和 rebalance，并把所有问题机器的 ip 都用 filter exclude 掉。这时候打开主分片的 allocation，主分片会自动往没问题的机器上 relocate 。经过了一晚上，现在数据已经都到没有问题的节点上啦~。最后再把问题设备下线，交给硬件厂商检测，重装。再让新机器加入集群，配置改回，重置副本。任务完成~！
 |
101
pkwenda 2020-04-17 15:37:40 +08:00
翻页
|
 |
102
ladeo 2020-04-17 15:47:02 +08:00 via Android  1
不提出差的事情。从技术角度我不看好楼主能修复数据。还是找专业的数据修复吧。
|
 |
103
jsnjfz 2020-04-17 15:49:26 +08:00
input/output error 基本要挂了，我刚碰到这问题，直接找数据公司了，建议楼主不要去跳这个坑，这已经不是 ES 的问题了，文件系统损坏很烦
|
 |
105
alienx717 2020-04-17 16:12:59 +08:00
不用 ups 的公司都有坑，老哥，撤
|
 |
106
hehewf 2020-04-17 16:21:32 +08:00
听老婆的安全些。
|
 |
107
kebumail 2020-04-17 16:23:01 +08:00 via Android
南京做的蛮好的，我老婆单位现在天天在高铁站抓湖北出来的去隔离
|
 |
108
kisshere 2020-04-17 16:23:40 +08:00 1
10 块为了读写速度同时为了省钱，做 RAID0，居然是生产环境，居然没上 UPS，居然没有备份，这老板是个狼人
|
 |
109
avaJ 2020-04-17 16:23:47 +08:00
老婆赚的比你多都支持你离职，还有啥好说的，在家带孩子不香吗？ 羡慕的一批啊 兄弟
|
 |
110
Keyes 2020-04-17 16:27:47 +08:00 via iPhone
看看分区是不是 ro 了，这 raid0 神操作我建议你不要去，去了也是背锅侠，找个理由推掉吧，跟疫情没什么关系
|
 |
111
ily433664 2020-04-17 16:28:23 +08:00
raid0 一时爽，数据火葬场
|
|
112
Keyes 2020-04-17 16:28:42 +08:00 via iPhone
顺便，找个糕层过去摆摆态度赔钱了事吧
|
 |
113
defunct9 2020-04-17 16:30:44 +08:00
修不回来了，重做服务器就行了
|
 |
114
ares586 2020-04-17 16:33:23 +08:00 2
跟领导讨论一下，有没有远程视频之类的方案，指导当地的技术人员修复。
不要听网友的，别轻易辞职或者轻易离婚，哈哈。 你有一个好老婆，祝你们幸福 |
 |
115
llussy 2020-04-17 17:01:50 +08:00
input/output error 这种我都是 fsck 修复 可能会丢一些数据，就算修复好了后面也得换块新盘，不然再出问题的几率太大。
|
 |
116
tailf 2020-04-17 17:10:29 +08:00
RAID 0 大概率废了
|
 |
117
zlmdaybreak 2020-04-17 17:18:37 +08:00 1
申请高铁商务吧，人少点风险会低很多
|
 |
118
openbsd 2020-04-17 17:22:01 +08:00
膜拜大神
生产系统 没 UPS 10 个 4T 做 RAID0 这心是有多大 ？ 我司 DEMO 都不敢这么玩 |
 |
119
yufeng0681 2020-04-17 17:30:31 +08:00
南京找个兼职的，帮你进机房，把你的远程环境弄好，还行？
或者是甲方的某个处得不错的，给个大红包，让他做。 |
 |
120
v2student 2020-04-17 17:36:35 +08:00
风险倒是不大，但是公司没什么补贴，过去没弄好，说不定还背锅，且还要回来隔离，且还要承担夫妻闹变扭等等
换我，我是不去的 |
 |
121
jasonding 2020-04-17 17:49:39 +08:00
记得前两天看了个新闻，说一个哥们被公司安排出差，然后出差回来被隔离 14 天，然后公司说他旷工超过三天把他开除了，没有补偿那种。
|
 |
122
dreamage 2020-04-17 18:38:17 +08:00
@yufeng0681 你觉得 LZ 有本事远程修复么，就算去了现场也是白搭吧，还是别坑别人了
|
 |
123
shm7 2020-04-17 18:38:30 +08:00
带着老婆出差
|
 |
125
nguoidiqua 2020-04-17 18:56:12 +08:00 via Android 1
工作再难找也不会比老婆更难找，更别说好老婆了。
|
 |
126
CFO 2020-04-17 18:58:11 +08:00 via Android
羡慕楼主 你老婆对你挺好的
|
 |
127
UxCZbWShjEsL 2020-04-17 19:04:52 +08:00 via iPhone
歪个楼，只有我看成出轨的吗……
|
 |
128
pcbl 2020-04-17 19:07:42 +08:00 via Android
羡慕楼主，有个疼你的老婆。这样的工作以后还能找得到，这样的媳妇就很难了。
|
 |
129
railgun 2020-04-17 19:15:55 +08:00
有一说一，去都不去就辞职，在我看来有点不负责任。这样不欢而散以后做背调的时候估计会有麻烦。
|
 |
130
nanguaboy 2020-04-17 19:31:04 +08:00 via Android
都不用想 听老婆的。
|
 |
131
NSChris 2020-04-17 19:31:27 +08:00
不就出个差..
我们部门 10 几个全出差就剩 1 、2 个在家了，做好防护没那么可怕 |
 |
132
Junh 2020-04-17 19:34:15 +08:00 via iPhone
没老婆，咱也不敢问，咱也不敢说
|
 |
133
hantsy 2020-04-17 20:30:38 +08:00
不能远程搞下吗？
|
 |
134
xyjincan 2020-04-17 21:32:16 +08:00 via Android
我们碰到几次掉电都是换上新硬盘，，，
|
 |
135
xiaoxixi 2020-04-17 21:33:56 +08:00
出差回来隔离还不是美滋滋
|
 |
136
bigk2017 2020-04-17 22:12:33 +08:00 1
圈外人，我明天 18 号高铁南京，做好防护措施没事，之前 2 月底到 3 月底之间在太湖西山岛里待了一个月，江苏整体是很好的。但是当时我是开车去的，13 个小时，一个人真要疯，就算有自定速巡航也要疯。但是回北京隔离 14 天是没跑的，只是江苏不算疫区，基本上居家隔离就可以。我觉得可以跟公司提出在疫情期间外出的危险性，差旅报销，以及回来之后隔离费用的报销。如果这条大概率通不过，跟公司申请视频连线对方行不行，我完全跟 it 行业不沾边，纯属误打误撞到这个论坛的。给您参考。
|
 |
137
Scala00 2020-04-17 22:21:50 +08:00 via Android
离婚，哪来那么多破事
脑子是个好东西，希望你也有（天龙人就是了不起🐴） |
 |
138
gefranks 2020-04-17 22:59:10 +08:00
这么大容量的 raid0 还用在生产环境里,还不配 UPS.
从楼主问的 FSCK 这问题来看,还是直接找数据恢复公司,别自己乱动,自己没数据恢复的经验和不精通文件系统原理的话乱搞本来能恢复的数据也搞报销了. |
 |
139
cabing 2020-04-17 23:03:03 +08:00
远程视频不行么。
抠搜搜的感觉公司。 你负责 es 软件还要过去修理硬件？ 有备份吗？ |
 |
140
buttenkill 2020-04-17 23:30:30 +08:00 1
老板：这种老婆你怎么不和她离婚。
|
 |
141
yousabuk 2020-04-17 23:55:22 +08:00
还跑来问？有啥可问的，听老婆的。
|
|
142
yousabuk 2020-04-18 00:01:18 +08:00
老婆心疼你，担心你，不管出于何种想法，总归就是利好的一面。
老板就不一样了，对老板利好的一面只有不对他（老板）造成损失这一条。你感染不感染的，老板是不关心的，又不需要老板花钱给你看，隔离了正好可以不给你隔离期间的工资，损失为：0 ； |
 |
144
xcstream 2020-04-18 04:39:57 +08:00
找专业的 不然容易把数据弄坏
|
 |
145
shiyouming91 2020-04-18 06:46:24 +08:00 via iPhone
10 盘 raid0 ？你可以查查每个盘的 mtbf 然后计算一下每年阵列崩溃的概率...直觉告诉我是不可接受的...
|
 |
146
netnr 2020-04-18 06:53:13 +08:00
你老婆很爱你啊
|
 |
147
wwhc 2020-04-18 07:07:34 +08:00
"10 个 4T 的盘做了 raid0"，这个是真的嘛？你没写错吧？
|
 |
148
ivyliner 2020-04-18 07:58:29 +08:00 via Android
楼主对 es 熟悉所以你才去，但是这个是文件系统问题，那就不一定你去吧。你去了能干啥？ fsck 一下？要是不行的话你还能做什么？
|
 |
149
01802 2020-04-18 08:12:51 +08:00 via Android
是当初不买 ups 或者埋了其他坑的人让你去背锅吧，最后甲方怪罪下来，呵呵
|
 |
150
hackerwin7 2020-04-18 08:20:10 +08:00 via iPhone
raid0 + replica0 感觉这件事之后你可以评估下现有集群的高风险点给甲方，然后推动改进
|
 |
151
Ranler 2020-04-18 08:40:09 +08:00
南京没事的，都开始推餐饮堂食和周末周边游了
|
 |
152
frittle 2020-04-18 08:53:53 +08:00
重点是你没相关经验，没把握，万一数据全丢了让你负责吗？
|
|
153
frittle 2020-04-18 08:57:07 +08:00
若楼主真非去不可的话，最好和公司签一份有效的协议，说明你没相关经验，不背锅。
|
 |
154
longsays 2020-04-18 10:05:36 +08:00 via Android
@frittle 同意，不谈疫情风险和后续隔离，单独数据丢失就够一壶了，尤其还是 raid0，一锅端，甲方数据没了，肯定找人背锅，还不如不去，本身也不是精通的专家
|
 |
155
a852695 2020-04-18 10:25:51 +08:00
主要是怕你最近出去酒店找，很不安全啊，大兄弟
|
 |
156
StephenHe 2020-04-18 14:47:38 +08:00
现在出门没事了啊，最近一个月出门三次了(不过没有和任何人密切接触)，要自觉做好防护。
|
 |
157
iasuna 2020-04-18 15:15:10 +08:00 via iPhone
这么麻烦的事也往自己身上揽
去了能保证修好吗 不能保证的话 我感觉会背锅 不是你的职责让你去？我感觉这种公司很麻烦啊 |
 |
158
anUglyDog 2020-04-18 17:34:18 +08:00
好多地方都清零了,现在火车真的没有那么不安全.以这个理由不让你出差我真的鄙视.
|
 |
159
gosas 2020-04-18 17:40:25 +08:00
看描述 楼主修复不了这数据。 来南京基本上风险还是很小的 做好防护就可以了。
|
 |
160
winterfell30 2020-04-18 21:13:52 +08:00 via Android
@avaJ 可别，前两天被提离婚的热帖这么快就忘了嘛
|
|
161
avaJ 2020-04-19 12:55:01 +08:00
@winterfell30 #160 一个嫌弃你 一个不嫌弃你 都不同性质 怕啥。
|
Select Language