第5章 第一场真正的测试
宏远制造的厂区比林默想象中更大。
上午八点半，他们进入生产车间的时候，第一条生产线已经开始运转。
机械臂不断重复着抓取、定位、安装的动作，流水线两侧的工人穿着统一的工作服，偶尔有人停下来检查零件，然后继续工作。
空气里有金属、机油和高温设备混合在一起的味道。
周启抱着电脑走在林默身后。
“这里就是三号线。”
他看了一眼手机上的资料。
“主要负责轴承组件装配，每天大概八千到一万两千件。”
林默没有马上回答。
他站在生产线旁边看了一会儿。
摄像头的位置、光照角度、设备震动、传送带速度，这些东西都和实验室完全不同。
实验室里的测试数据非常干净。
现实却不是。
“他们之前给我们的数据有多少？”
“照片三十多万张。”
“全部？”
“目前拿到的是过去两年的历史数据，还有一部分实时数据。”
林默点了点头。
“先别跑模型。”
周启愣了一下。
“现在不跑？”
“先看数据。”
“不是已经清洗过了吗？”
“谁清洗的？”
“宏远那边。”
林默看了他一眼。
“那就更要重新看。”
周启沉默了几秒。
他已经慢慢习惯了林默这种做事方式。
林默从来不相信“别人已经处理过了”这句话。
尤其是数据。
因为一旦数据在进入模型之前就已经被人为处理过，那么模型最后得到的结果，很可能只是人为筛选出来的答案。
这不是人工智能。
这是换了一种形式的人工统计。
他们在现场待了两个小时。
林默没有碰模型，只让周启记录环境参数。
温度、湿度、照明强度、摄像头曝光、设备震动频率、传送带速度，以及每一个班次的操作人员。
周启越记越奇怪。
“林哥，你真觉得这些东西都跟裂纹识别有关？”
“我不知道。”
“那为什么全记？”
林默看着流水线。
“因为不知道。”
周启没听懂。
林默却没有解释。
如果他们已经知道答案，就没必要做测试。
真正困难的问题，恰恰是那些不知道答案的问题。
上午十一点，第一轮数据终于整理完成。
周启启动ZERO Edge测试版本。
屏幕上出现一个非常简单的界面。
样本总量：30,482
训练集：24,386
验证集：3,048
测试集：3,048
没有炫目的界面，也没有复杂的功能。
这是林默刻意要求的。
他们现在没有钱做漂亮的产品。
甚至没有钱犯太多错误。
ZERO Edge的第一目标只有一个。
能不能真正解决客户的问题。
模型开始运行。
最初的几个小时，一切都很顺利。
91.4%。
这是第一轮训练后的识别准确率。
周启看着数字。
“比我们之前预估的高。”
林默没有高兴。
“继续。”
“继续训练？”
“不是。”
林默指了指屏幕。
“换数据。”
周启皱眉。
“为什么？”
“如果一直用同一批数据训练，最后得到的不是模型能力，是记忆能力。”
周启很快反应过来。
“过拟合。”
“对。”
下午三点，他们换了一批完全没有参与训练的历史数据。
准确率下降到了87.8%。
周启脸上的表情明显变了。
“掉这么多？”
“正常。”
“可是客户不会接受。”
林默靠在椅子上。
“所以现在才是真正的测试。”
下午四点二十七分，第二轮测试开始。
这一次，他们完全不看历史标签。
所有结果都由模型自己判断。
林默要求周启把人工确认结果暂时锁起来。
周启问为什么。
林默只说了一句话。
“如果我们提前知道答案，就会不自觉地帮助模型。”
三个小时后，测试结束。
准确率93.7%。
周启长长吐了一口气。
“终于上来了。”
林默看着报告。
93.7%的数字下面，还有一行数据。
误报率：3.1%。
漏检率：2.6%。
他皱了皱眉。
“还是不够。”
“这已经比宏远原来的人工质检高了。”
“我们不是来证明人工不行的。”
林默合上电脑。
“我们是来证明ZERO Edge能不能让他们更稳定。”
周启没有说话。
晚上七点，刘海峰过来了。
“怎么样？”
林默没有直接回答。
他把报告递过去。
“目前还不能交付。”
刘海峰看了一眼。
“93.7还不能交付？”
“不能。”
“为什么？”
“因为我们发现模型会把一些摄像头产生的差异，当成产品本身的差异。”
刘海峰愣了一下。
“什么意思？”
林默指着其中一组图片。
两张照片里的零件看起来几乎完全一样。
但拍摄角度不同。
“这张照片是A摄像头拍的。”
“这张是B摄像头。”
“模型在识别过程中，对B摄像头拍出来的样本给出了更高的风险判断。”
刘海峰慢慢皱起眉。
“你的意思是，它认的是摄像头？”
“有这个可能。”
车间里机器还在不断运转。
刘海峰沉默了很久。
最后问：
“那你准备怎么办？”
林默看向周启。
“重新做数据清洗。”
周启点头。
“需要多久？”
“至少两天。”
刘海峰看了看时间。
“我给你们三天。”
林默没有讨价还价。
“可以。”
刘海峰准备离开的时候，忽然停下来。
“林总。”
“嗯？”
“这东西如果真能做成，对我们帮助很大。”
林默看着他。
“所以我们才不能拿一个看起来不错的数字交差。”
刘海峰点了点头。
等人离开以后，周启才开口。
“林哥。”
“什么？”
“如果最后做不出来呢？”
林默收拾电脑。
“那就承认做不出来。”
“公司现在可没多少时间了。”
林默停了一下。
“我知道。”
他看向窗外。
宏远厂区的灯一盏盏亮了起来。
他们现在只有不到四十万元现金。
星云科技的项目已经暂停。
公司最多撑一个月。
而ZERO Edge，可能是他们最后一次真正翻身的机会。
但林默很清楚。
真正的产品，从来不是第一次测试成功。
真正的产品，是失败以后，还能继续把问题解决掉。