故事从一张机票开始
2019年11月12日,晚上11点47分。
上海浦东机场T2航站楼,春秋航空的值机柜台前,一个35岁的男人正在打电话。他的声音压得很低,但语气近乎崩溃:
“你说什么?文件没了?”
电话那头是他的合伙人老陈,声音也带着颤抖:”我也不知道怎么回事……今天下午还能打开的,刚才要用的时候,提示文件已损坏。我找IT看,说是磁盘坏了,数据全丢了……”
打电话的人叫林凯,是一家工业设计公司的创始人。他的公司叫”华创设计”,专注做非标自动化设备的外观设计,员工38人,年营收4000万左右。
那个文件,是他花了4个月、熬了无数个夜做出来的投标方案。11月15日,也就是3天后,国内某头部新能源汽车厂商要在他们公司采购一批非标工装夹具,标的金额是3000万。这是华创创立以来接到的最大单子。
林凯挂掉电话,在机场大厅站了很久。他取消了当晚的航班,回到公司,叫上了所有核心成员。
那一夜,没有人回家。
事故还原:4个月的努力是怎么没的
11月8日,事故前4天
华创设计的方案已经进入最终冲刺阶段。林凯和技术总监老陈每天工作到凌晨2点,改了至少20版。
方案的核心文件叫NEEV-2020-工装夹具方案-V21.0.pdf,存在公司的NAS里,路径是\\192.168.1.200\投标项目\NEEV-2020\最终方案\。
这个文件夹的权限设置是这样的:
- 林凯(创始人):完全控制
- 老陈(技术总监):读写
- 设计主管老周:读写
- 设计师小吴:读写
- 行政小顾:读写(因为她要帮忙整理打印材料)
5个人,全部读写权限。没有版本控制,没有备份,没有权限分级。
林凯后来对我说:”那时候觉得,大家都是自己人,设什么权限啊,方便最重要。”
11月9日,下午3点
设计师小吴在修改方案第21版的封面排版。她的电脑是Mac,用SMB协议访问NAS。
改完之后,她把文件另存为NEEV-2020-工装夹具方案-V21.0.pdf,覆盖了原来的版本。
但她不知道的是,公司那台用了6年的群晖NAS,硬盘已经出现了坏道——IT没有监控,硬盘没有告警,系统只是默默地把小吴的新文件写到了坏道上,然后……显示写入成功。
11月10日,上午
IT小何在巡检时发现NAS的1号盘报红。他向老板申请换盘,得到的回复是:”这个设备还能用,先等等,年底采购的时候一起换。”
他没有做数据迁移。他甚至没有告诉林凯和老陈这件事。
11月12日,下午4点
老陈要用方案,给客户发预览。他打开NAS路径,找到文件,双击——
“文件已损坏,无法打开。”
他以为是网络问题。试了三次,一样。
他慌了,叫来IT小何。小何检查后,脸色铁青:”1号盘彻底坏了,上面所有数据……可能都丢了。”
2号盘上有部分数据,但那个包含最新V21.0版本的文件夹,只存在1号盘上。
更糟糕的是——公司从来没有做过自动备份。
那一夜:绝望的24小时
11月12日,晚上8点
林凯召集了所有核心成员开会。
“我需要一个坏消息和一个更坏的消息。”他说。
坏消息:方案文件丢了。
更坏的消息:没有备份。
会议室里沉默了整整3分钟。
设计师小吴突然哭了出来:”对不起……是我覆盖的……我以为我保存成功了……”
林凯没有责怪她。他知道自己也有责任。”哭没有用,现在想怎么救。”
11月12日,晚上9点
老陈提出:能不能找数据恢复公司?
IT小何打了3个电话。第1家说恢复费用5万起,不保证100%恢复;第2家说最快3天;第3家说可以尝试,但需要把NAS寄过去。
3天。客户11月15日就评标了。
11月12日,晚上10点
林凯决定两手准备:
第一路:找专业数据恢复公司,同时联系客户,看能不能推迟评标时间。 第二路:技术团队全力重做,用最快速度还原V20版本,然后在此基础上重做V21版本。
第二路的问题是——V20版本到最后V21版本之间,有大量的技术参数修改和方案调整,这些内容都在脑子里,没有文档记录。
设计主管老周说:”我尽量……但很多东西真的是边做边改的,有些参数我当时为什么要那么设,我现在都想不起来了。”
林凯的心沉了下去。
转折:客户那边的消息
11月13日,上午9点
林凯给客户采购负责人打电话,解释了情况,请求推迟评标时间。
采购负责人姓王,40岁,声音很职业化:
“林总,我理解你的困难。但这个项目的时间节点不是我一个人定的,是整个采购计划的一部分。推迟意味着我们要重新走一遍内部审批流程,至少需要两周。”
“但你们现在的情况……”王总顿了顿,”说实话,即便你们15号交上来,质量我也很难保证。4个月赶出来的东西,48小时重做,你敢给我用吗?”
林凯握着电话的手在发抖。
王总最后说:”我给你一个建议:你们这次先退出竞标,好好准备,下次机会来了再投。”
挂掉电话,林凯在办公室里站了很久。
他走出办公室,对等候在那里的团队说了一句话:
“这次,我们输了。”
代价:比3000万更贵的东西
直接损失
11月15日,客户公示:华创设计退出本次竞标,标的由另一家公司以2850万的价格拿下。
这2850万,原本可能是华创的。
华创当年的营收:3700万(比前一年下滑了8%,林凯说很大程度是这次事件的影响)。如果当时拿下NEEV这个客户,华创的营收本可以突破5000万。
粗略估算直接损失:至少300万(利润损失)。
间接损失
- 员工士气。小吴在那之后一个月内提出了离职,林凯挽留了3次才留下。老陈连续失眠了两个月,每次提到这件事都自责。
- 公司声誉。消息在业内传开了——华创连文件都管不好,你敢把几千万的项目给他们?
- 客户信任。已经合作的3个老客户,听说了这件事之后,有2个在续约时压了价,还有一个在合同里加了”数据安全保障条款”。
真正的代价
林凯后来对我说:”最让我难受的不是丢了这一单。是我突然意识到,我们以为自己是个’正规公司’,其实在数据管理上,我们就是个草台班子。”
“38个人,4个月,加班加点做出来的东西,就这么没了。没有备份,没有版本控制,没有权限管理。我那时候才明白,我们天天喊’数字化转型’,连最基本的文件管理都没搞清楚。”
复盘:如果能重来
事后,林凯请了一个咨询公司做了全面复盘。结论让他脊背发凉:
问题1:没有备份 公司NAS用了6年,从来没有做过任何形式的自动备份。IT小何说”以前没出过事”,所以没人觉得这是个问题。
问题2:没有版本控制 所有人都用”覆盖”而不是”另存为新版本”来保存文件。文件名的V21.0只是一个约定,没有任何人强制执行。文件被覆盖之后,历史版本全部丢失。
问题3:没有权限分级 5个人全部是读写权限,意味着任何一个人都有能力意外覆盖或删除核心文件。没有只读账户,没有审计日志,没有操作记录,出了问题根本不知道是谁干的。
问题4:没有异常监控 硬盘报警被无视了,没有人把”磁盘健康状态”当回事。NAS的日志显示,硬盘从报红到彻底损坏,中间有至少72小时的窗口期,但没有人处置。
问题5:没有灾难恢复预案 出了问题之后,所有人都是”临场想对策”,没有任何应对流程,没有联系人清单,没有优先级排序,浪费了大量宝贵时间。
改变:林凯做了什么
第一件事:换掉了NAS
林凯说:”我以前觉得NAS就是服务器,便宜够用。现在我知道,NAS和家庭路由器的区别,就是’数据资产’和’电子垃圾’的区别。”
他换了企业级存储,带有硬盘健康监控和自动告警功能。
花了多少钱?18万。
第二件事:上了企业云盘
林凯经过多方对比,选择了巴别鸟企业云盘。
“我选它就三个原因:第一,有版本控制,文件修改自动生成历史版本,想回滚随时可以;第二,有权限管理,不同角色看到不同内容,核心文件可以设’禁止下载’;第三,有日志审计,谁在什么时间看了什么文件,一清二楚。”
“现在我公司的所有投标文件,都设置了’只读权限+水印+禁止下载’,只有我和老陈有编辑权限。任何操作都有记录,有问题可以追溯。”
花了多少钱?企业版年费8万。
第三件事:建立了数据备份制度
林凯请了一个IT顾问,帮他设计了完整的备份方案:
- 核心文件自动双写:本地存储 + 异地云存储
- 每周一次全量备份
- 每天一次增量备份
- 每季度一次恢复演练
“第一次做恢复演练的时候,我们发现备份有3个G的数据是坏的。那时候离NEEV事件才过去两个月,我的腿都软了。后来才发现,是备份软件配置有问题,修好了。现在每季度都做恢复演练。”
花了多少钱?IT顾问费 + 云存储空间 = 每年6万。
第四件事:给团队做了数据安全培训
林凯专门请人给全员做了一次培训,内容包括:
- 文件命名规范(为什么要用版本号,为什么要另存为)
- 权限意识(为什么不能所有人都可以读写核心文件)
- 备份意识(为什么不能把文件只存在本地电脑)
“小吴后来和我说,她当时以为自己’保存成功了’,结果文件损坏了,她根本不知道。现在她每次保存文件,都习惯性地看一眼同步状态。”
数字会说话
林凯后来给我算了一笔账:
直接损失:
- 丢单损失(利润):300万
- 客户流失:约50万/年
- 声誉损失(难以量化)
安全投入:
- 企业级存储:18万(一次性)
- 企业云盘:8万/年
- 备份方案:6万/年
- IT顾问:10万(一次性)
- 安全培训:3万(一次性)
总计安全投入:45万(一次性)+ 14万/年
“你说划算不划算?”林凯苦笑,”NEEV那一单丢了300万利润。相当于我把安全投入花出去,还能再投一个半NEEV项目。”
“但这不是钱的事。是你知道了——你的数据比你想象的更脆弱,而你没有第二次机会。”
尾声
2021年11月,我联系林凯做回访。
他告诉我,华创设计在那次事件之后,又参加了一次NEEV的竞标。这次,他们拿下了。标的金额是2200万。
“你知道这次我们为什么能赢吗?”他说,”不是因为我们方案做得比竞争对手好多少。是因为评标的时候,对面那家公司的方案有2页是错的,明显是复制粘贴的时候出了问题。”
“而我们的方案,每一个数字,每一个参数,都能追溯到是谁在什么时候改的、为什么改、改之前是什么。”
“评委问我们怎么做到的。我说:我们吃过亏。”
写给读到这里的你
林凯的故事不是一个孤例。
我后来陆续接触了十几家有过类似经历的中小企业,丢过投标文件的、丢过源代码的、丢过客户资料的不一而足。共同点是:
他们大多数都曾经觉得,数据管理是”IT的事”,是”等公司做大了再说的事”。
直到出事了,才知道:
- 一份文件丢失的代价,可以吃掉一个中型公司全年的利润
- 一份机密文件泄露的代价,可以毁掉一个客户的信任
- 一套不完善的权限体系,随时可能变成埋在你公司里的定时炸弹
而这些问题,预防的成本,往往不到损失的一个零头。
你不需要等到损失300万才开始重视你的数据安全。
从今天开始:
- 核心文件做版本控制
- 核心人员权限分级
- 自动备份,不要相信”我手动备份就行”
- 定期恢复演练,确保备份真的能用
这四条,每一条都可以救你的命。
希望你永远不需要用到第4条。