学习回归分析篇---之实验数据整理

概要

本篇介绍的是我对回归分析的理解，在我的认识中，这是工艺优化的理论基础之一。

回归分析解决的是将实验数据归纳成为响应变量关于实验因子的预报方程的一门技术。 这个预报方程如果反映了过程的机制，那么，就可以从这个关系找到优化工艺条件。 这就产生了三个问题：如何使预报方程反映过程机制？如何从试验数据找到这个预报方程？如何从预报方程找到优化工艺？这就是工艺优化的数学原理。也就是试验分析与设计的内容。

回归分析是试验分析最基本的方法之一。试验设计与试验分析方法紧密相关，回归分析与回归试验设计有一定的对应关系，回归分析理论是试验设计的理论基础。

学习回归分析，了解回归分析过程，可以更好地掌握回归分析技术，做好试验的分析与设计工作。 学习回归分析，可以理解为什么要研究正交试验设计和弱相关试验设计。 学习回归分析，了解回归分析的操作过程，理解为什么提倡向后逐步回归分析，了解它如何选择显著因子。 可以更好地利用这一技术为工艺参数优化服务。

计算技术飞速发展，试验设计与分析方法已经程序化。使用计算机帮助实验设计，分析实验数据几近举手之劳。应用者不必掌握这些理论的细节，但如有所了解，建模会更贴近过程机制，试验设计会做得更好， 会得到更好的预报方程，优化效果会更好，应用会更自如。

1. 整理实验记录

实验模型提供输出 X，从 X 设计一组实验。 一组或一个阶段实验完成之后，n 个实验的记录应该加以整理。设实验包含 m 个实验变量(x₁,x₂,...,x_m)， q 个响应变量(y₁,y₂,...,y_q)。 整理结果如以下的一张表：

这个整理过程是十分重要的，不管是回归分析还是方差分析（ANOVA）或其他数据处理方法， 都必须把数据整理成这个样子并放在文件中，以备分析时使用。回归分析程序直接调用这个文件进行分析。 即使不做计算分析，这样整理也有很多好处。将实验数据条理化的同时，思维也条理化了。 研究者把问题放在心里，凭借自己的知识和智慧，经常咀嚼试验数据和观察到的现象， 带着问题做实验，观察实验，带着问题读书，横挑鼻子竖挑眼，也会有所发现。 整理并分析试验数据是开发过程必不可少的手段和方法。 从数据整理中找到合理的实验模型，找到好的工艺条件是可能的， 例见一次橡胶质量攻关的故事。 这种从现有数据的整理归纳中找优化工艺条件的方法是迫不得已的，带有被动性，称为被动数据处理方式。 我们现在要说的是主动实验设计。即，从实验模型到系统设计，再到实验设计和数据处理，都是主动的，有目的，有计划，有步骤。 关于如何做试验设计的问题，我们以后介绍。

实验的产物是有用的，但实验的主要产物是数据和知识。这些数据和知识将导出科学结论， 和对下一步试验的决策。从长远看，本次试验的结果是下一步试验的基础，是整体结果的一部分。 这是比产品本身更重要得多的东西。只有这样才能制造出质优价廉的产品。 因此，对待实验数据必须慎之又慎。

数据记录的基本要求是真实、准确。错误的数据将给试验分析带来干扰，甚至诱导出错误结论。 操作参数离预先设计发生了偏差，是多少就记多少。操作固然要精细，严谨，准确。 操作发生偏差或者误差不能完全避免。有时，偶然的错误也可能带来积极的结果。 因此，重要的是真实地记录，便于查找现象的原因。 若故意将假的数据加以记录，造成的损失是长远的，难以弥补的。 真实性、可靠性有疑问的数据会严重干扰计算结果，这样的实验要在备注栏中加以注明。 所以，数据要做预处理，要筛选。 除了那些察觉到异常而不能修正的试验，将它标记不参与计算之外，凭主观意志删除数据也是不妥的。 都可能拔高或贬低某个因素的作用，表现在干扰因子的效应估计，影响科学结论。 数据取舍应依据一定的准则，遵守修约规则。随意删除主观上不满意的数据带来的结论是不准确的，虚伪的。 这方面的知识，请阅读有关标准和专著。

参 考

[1]. 肖明耀编著,《实验误差估计与数据处理》,科学出版社,北京,1980

[2]. 张尧庭编著,《数据的统计处理和解释》,中国标准出版社,北京,1997