Array ( [article_id] => 171 [article_title] => 曲线回归分析 [article_keyword] => 曲线回归分析,回归曲线分析,二次曲线回归 [article_description] => 曲线回归分析描述变量之间的非线性关系的一种回归模型。 [article_detail] => 描述变量之间的非线性关系的一种回归模型。 [article_content] => <div class="rightwrap collegeDetail"> <h1 class="algorithmName"> 曲线回归分析 </h1> <div class="clearfix topcontent"> <p> 一 定义：回归分析（Regression Analysis）是一种统计学上的分析数据的方法，目的在于了解两个或多个变量之间是否相关以及相关方向与强度，并建立数学模型以便观察特定的自变量与需要预测的因变量之间的关系。具体的说，回归分析可以帮助了解在一个或多个自变量变化时因变量的变化量。 </p> <p> 二 回归问题的分析方法：1）收集数据；2）建立一个适合相关问题的回归函数；3）通过学习已有的数据，对函数的未知参数进行估计；3）回归方程及回归系数的显著性检验；4）利用这个模型去预测/分类新的数据。 </p> <p> 三 回归分析的原理：目的是为了找出一个最能够代表所有观测资料的函数，用这个函数来表示因变量与自变量的关系。回归的基本模型一般可以表示为：Y=f(X ,u)，其中Y为因变量，X为自变量，u为未知参数。 </p> <p> 四 回归分析方法分类：根据用途可以有多种分类，单变量的线性回归模型，多变量的线性回归模型，广义线性回归模型，概率单位回归模型，逻辑回归模型，曲线回归模型，岭回归模型，主成分回归模型等。 </p> <p> 五 回归分析算法背景： </p> <p> 回归分析核心思想是采用最小二乘法原理来求解回归系数，最小二乘法思想背景：1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯计算了谷神星的轨道并进行了分析。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。 </p> <p> 高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。 </p> <p> 1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。 </p> <p> 六 参考资料： </p> <p> · 中央大学数学系教材-最小二乘法 </p> <p> · 最小二乘法 - 维基百科，自由的百科全书 </p> <p> · http://www.physics.csbsju.edu/stats/least_squares.html </p> <p> · http://www.orbitals.com/self/least/least.htm </p> <p> · PlanetMath上最小二乘法 </p> <p> · 马克威分析系统使用教程——http：//www.tenly.com </p> </div> <div class="lemma_catalog clearfix"> <h2 class="block_title"> 目录 </h2> <div class="lemma_list"> <a href="#a_2">1、算法描述</a><a href="#a_15">2、相关应用</a><a href="#a_18">3、参考资料</a><a href="#a_20">4、实例</a><a href="#a_35">5、输入输出</a><a href="#a_39">6、相关条目</a><a href="#a_41">7、优缺点</a> </div> </div> <a name="a_2"></a><a class="para_title"><span class="number">一</span>算法描述</a> <p> 1.1 算法摘要 </p> <p> 曲线回归是用来描述变量之间的非线性关系的一种回归模型。通过合适的变换，能够将曲线模型转化为线性模型。可以说非线性回归模型是线性回归的扩展，也是传统计量经济学的一种结构分析模型。 </p> <p> 在现实经济生活中，很多现象之间的关系不是线性关系，对这种类型的现象的分析预测一般要应用非线性回归预测，通过变量变换，将非线性的模型转换为线性回归模型。因而，可以用线性回归方法解决非线性回归预测问题。 </p> <p> 选择合适的曲线类型不是一件轻而易举的工作，主要依靠专业知识和经验。常用的曲线类型有幂函数、指数函数、抛物线函数、对数函数和S型函数等。 </p> <p> 1.2 算法原理 </p> <p> 线性回归具有一定的局限性，因为现实中的问题很多属于非线性的关系，要求解这类问题，可以将非线性回归模型转化为线性模型求解。非线性模型的类型有很多种，一般常用的有：抛物线函数、双曲线函数、幂函数、指数函数、对数函数以及多项式方程。常用的非线性方程表达式一般为： </p> <img src="/uploadfile/article/2016-12-10/fenxi/image038.png" />、Y=a+b*(1/X)、Y=a+X1b1+X2b2+…..+Xkbk、Y=abx、Y=a+bln(X)、Y=a+bZ,其中Z=1/X或者Z=lnX。 <p> <br /> </p> <p> 将非线性模型转换为线性模型求解，首先要选择适当的非线性回归方程，这个过程可以通过散点图来研究，具体的回归方程为：Y=f(x;a,b)，其中a,b分别为回归方程的未知参数。为了求解未知参数的估计值，往往可以先通过变量置换，把非线性回归化为线性回归，再利用线性回归的方法确定参数及b的估计值。下面列举几个常用的曲线模型的变换方式： </p> <table class="college_table"> <tbody> <tr class="thead"> <td> 曲线方程 </td> <td> 变换公式 </td> <td> 变换结果 </td> </tr> <tr> <td> <img src="/uploadfile/article/2016-12-10/fenxi/image039.png" /> </td> <td> X=1/x; </td> <td> Y=1/y </td> </tr> <tr> <td> Y=a+bx </td> <td> <img src="/uploadfile/article/2016-12-10/fenxi/image040.png" /> </td> <td> X=lnx </td> </tr> <tr> <td> ; </td> <td> Y=lny </td> <td> Y=a’+bX </td> </tr> <tr> <td> (a’=lnx) </td> <td> y=a+blnx </td> <td> X=lnx </td> </tr> <tr> <td> ; </td> <td> Y=y </td> <td> Y=a+bX </td> </tr> <tr> <td> <img src="/uploadfile/article/2016-12-10/fenxi/image041.png" /> </td> <td> X=x; </td> <td> Y=lny </td> </tr> <tr> <td> Y=a’+bX </td> <td> (a’=lnx) </td> <td> <img src="/uploadfile/article/2016-12-10/fenxi/image042.png" /> </td> </tr> <tr class="lasttr"> <td> X=1/x; </td> <td> Y=lny </td> <td> Y=a’+bX </td> </tr> </tbody> </table> <p> <br /> </p> <a name="a_15"></a><a class="para_title"><span class="number">三</span>相关应用</a> <p> 线性回归不能解决所有问题，对有的问题可以通过函数的转换，在一定范围内将因变量和自变量的关系变为线性关系；但这种转换可能导致更复杂的计算或者失真；所以可以用曲线拟合的方法，建立简单且合适的模型。 </p> <p> 曲线回归的第一步骤是将数据简单的绘制在图形上，并观察数据的分布情况以便确定所应采取的模型。利用曲线估计可以方便地进行线性拟合、增长曲线拟合、指数拟合、对数拟合等。 </p> <a name="a_18"></a><a class="para_title"><span class="number">四</span>参考资料</a> <p> 1马克威分析系统使用教程——http：//www.tenly.com </p> <a name="a_20"></a><a class="para_title"><span class="number">五</span>实例</a> <p> 示例数据为，在彩色显影中，析出银的光学密度与形成染料的光学密度的试验数据如下： </p> <table class="college_table"> <tbody> <tr class="thead"> <td> x </td> <td> y </td> </tr> <tr> <td> 0.05 </td> <td> 0.1 </td> </tr> <tr> <td> 0.06 </td> <td> 0.14 </td> </tr> <tr> <td> 0.07 </td> <td> 0.23 </td> </tr> <tr> <td> 0.1 </td> <td> 0.37 </td> </tr> <tr> <td> 0.14 </td> <td> 0.59 </td> </tr> <tr> <td> 0.2 </td> <td> 0.79 </td> </tr> <tr> <td> 0.25 </td> <td> 1 </td> </tr> <tr> <td> 0.31 </td> <td> 1.12 </td> </tr> <tr> <td> 0.38 </td> <td> 1.19 </td> </tr> <tr> <td> 0.43 </td> <td> 1.25 </td> </tr> <tr class="lasttr"> <td> 0.47 </td> <td> 1.29 </td> </tr> </tbody> </table> <p> 求银的光学密度与形成染料的光学密度的回归方程。 </p> <p> 首先判断回归方程的类型，画出数据的散点图： </p> <img src="/uploadfile/article/2016-12-10/fenxi/image043.png" /> <p> 由散点图知，可设回归方程为：<img src="/uploadfile/article/2016-12-10/fenxi/image044.png" />(b&lt;0)，其中a和b为参数，对两边取对数则，lny=lna+b/x;作变量代换X=1/x, Y=lny. (A=lna)则上述回归方程变换为：Y=A+bX </p> <p> 对数据进行变换，得到的结果如下所示： </p> <table class="college_table"> <tbody> <tr class="thead"> <td> X </td> <td> Y </td> </tr> <tr> <td> 20 </td> <td> -2.303 </td> </tr> <tr> <td> 16.667 </td> <td> -1.966 </td> </tr> <tr> <td> 14.286 </td> <td> -1.47 </td> </tr> <tr> <td> 10 </td> <td> -0.994 </td> </tr> <tr> <td> 7.143 </td> <td> -0.528 </td> </tr> <tr> <td> 5 </td> <td> -0.236 </td> </tr> <tr> <td> 4 </td> <td> 0 </td> </tr> <tr> <td> 3.226 </td> <td> 0.113 </td> </tr> <tr> <td> 2.632 </td> <td> 0.174 </td> </tr> <tr> <td> 2.326 </td> <td> 0.223 </td> </tr> <tr class="lasttr"> <td> 2.218 </td> <td> 0.255 </td> </tr> </tbody> </table> <p> 经计算得到：<img src="/uploadfile/article/2016-12-10/fenxi/image045.png" />=7.946，<img src="/uploadfile/article/2016-12-10/fenxi/image046.png" />；<img src="/uploadfile/article/2016-12-10/fenxi/image047.png" />，<img src="/uploadfile/article/2016-12-10/fenxi/image048.png" />； </p> <img src="/uploadfile/article/2016-12-10/fenxi/image049.png" /> <p> 样本的相关系数为：r=-0.998，查表得到，相关系数的绝对值大于临界值，说明Y和X之间的线性相关关系特别显著。再来估计a和b的值。 </p> <img src="/uploadfile/article/2016-12-10/fenxi/image050.png" />;<img src="/uploadfile/article/2016-12-10/fenxi/image051.png" /> <p> 则Y关于X的线性回归方程为：Y=0.548-0.146X；换回原变量得到原始数据的线性回归方程为： </p> <img src="/uploadfile/article/2016-12-10/fenxi/image052.png" /><a name="a_35"></a><a class="para_title"><span class="number">六</span>输入输出</a> <p> 输入变量类型：整型、浮点型（注：自变量可为一个或多个，但因变量只能一个） </p> <p> 输入数据尺度：标量型 </p> <p> 输出结果：曲线回归的回归系数，以及回归方程。 </p> <a name="a_39"></a><a class="para_title"><span class="number">七</span>相关条目</a> <p> 非线性回归、最小二乘法、变量变换、曲线回归图 </p> <a name="a_41"></a><a class="para_title"><span class="number">八</span>优缺点</a> <p> 优点：用线性回归方法解决非线性回归预测问题，而现实中绝大多数的问题均为非线性问题，因此该算法使用范围相对广泛。 </p> <p> 缺点：如何选择合适的曲线类型，这是一件有难度的事情，需要依靠专业知识和经验。另外变量转换后会加大计算复杂度和计算量。 </p> </div> [is_show] => 1 [cat_id] => 58 [article_img] => [article_order] => 1 [article_time] => 1481353879 [isdel] => 0 )
曲线回归分析

曲线回归分析

一 定义：回归分析（Regression Analysis）是一种统计学上的分析数据的方法，目的在于了解两个或多个变量之间是否相关以及相关方向与强度，并建立数学模型以便观察特定的自变量与需要预测的因变量之间的关系。具体的说，回归分析可以帮助了解在一个或多个自变量变化时因变量的变化量。

二 回归问题的分析方法：1）收集数据；2）建立一个适合相关问题的回归函数；3）通过学习已有的数据，对函数的未知参数进行估计；3）回归方程及回归系数的显著性检验；4）利用这个模型去预测/分类新的数据。

三 回归分析的原理：目的是为了找出一个最能够代表所有观测资料的函数，用这个函数来表示因变量与自变量的关系。回归的基本模型一般可以表示为：Y=f(X ,u)，其中Y为因变量，X为自变量，u为未知参数。

四 回归分析方法分类：根据用途可以有多种分类，单变量的线性回归模型，多变量的线性回归模型，广义线性回归模型，概率单位回归模型，逻辑回归模型，曲线回归模型，岭回归模型，主成分回归模型等。

五 回归分析算法背景：

回归分析核心思想是采用最小二乘法原理来求解回归系数，最小二乘法思想背景：1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯计算了谷神星的轨道并进行了分析。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中，而法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，见高斯-马尔可夫定理。

六 参考资料：

· 中央大学数学系教材-最小二乘法

· 最小二乘法 - 维基百科，自由的百科全书

· http://www.physics.csbsju.edu/stats/least_squares.html

· http://www.orbitals.com/self/least/least.htm

· PlanetMath上最小二乘法

· 马克威分析系统使用教程——http：//www.tenly.com

目录

1、算法描述2、相关应用3、参考资料4、实例5、输入输出6、相关条目7、优缺点
一算法描述

1.1 算法摘要

曲线回归是用来描述变量之间的非线性关系的一种回归模型。通过合适的变换，能够将曲线模型转化为线性模型。可以说非线性回归模型是线性回归的扩展，也是传统计量经济学的一种结构分析模型。

在现实经济生活中，很多现象之间的关系不是线性关系，对这种类型的现象的分析预测一般要应用非线性回归预测，通过变量变换，将非线性的模型转换为线性回归模型。因而，可以用线性回归方法解决非线性回归预测问题。

选择合适的曲线类型不是一件轻而易举的工作，主要依靠专业知识和经验。常用的曲线类型有幂函数、指数函数、抛物线函数、对数函数和S型函数等。

1.2 算法原理

线性回归具有一定的局限性，因为现实中的问题很多属于非线性的关系，要求解这类问题，可以将非线性回归模型转化为线性模型求解。非线性模型的类型有很多种，一般常用的有：抛物线函数、双曲线函数、幂函数、指数函数、对数函数以及多项式方程。常用的非线性方程表达式一般为：

、Y=a+b*(1/X)、Y=a+X1b1+X2b2+…..+Xkbk、Y=abx、Y=a+bln(X)、Y=a+bZ,其中Z=1/X或者Z=lnX。


将非线性模型转换为线性模型求解，首先要选择适当的非线性回归方程，这个过程可以通过散点图来研究，具体的回归方程为：Y=f(x;a,b)，其中a,b分别为回归方程的未知参数。为了求解未知参数的估计值，往往可以先通过变量置换，把非线性回归化为线性回归，再利用线性回归的方法确定参数及b的估计值。下面列举几个常用的曲线模型的变换方式：

曲线方程 变换公式 变换结果
X=1/x; Y=1/y
Y=a+bx X=lnx
; Y=lny Y=a’+bX
(a’=lnx) y=a+blnx X=lnx
; Y=y Y=a+bX
X=x; Y=lny
Y=a’+bX (a’=lnx)
X=1/x; Y=lny Y=a’+bX


三相关应用

线性回归不能解决所有问题，对有的问题可以通过函数的转换，在一定范围内将因变量和自变量的关系变为线性关系；但这种转换可能导致更复杂的计算或者失真；所以可以用曲线拟合的方法，建立简单且合适的模型。

曲线回归的第一步骤是将数据简单的绘制在图形上，并观察数据的分布情况以便确定所应采取的模型。利用曲线估计可以方便地进行线性拟合、增长曲线拟合、指数拟合、对数拟合等。

四参考资料

1马克威分析系统使用教程——http：//www.tenly.com

五实例

示例数据为，在彩色显影中，析出银的光学密度与形成染料的光学密度的试验数据如下：

x y
0.05 0.1
0.06 0.14
0.07 0.23
0.1 0.37
0.14 0.59
0.2 0.79
0.25 1
0.31 1.12
0.38 1.19
0.43 1.25
0.47 1.29

求银的光学密度与形成染料的光学密度的回归方程。

首先判断回归方程的类型，画出数据的散点图：

由散点图知，可设回归方程为：(b<0)，其中a和b为参数，对两边取对数则，lny=lna+b/x;作变量代换X=1/x, Y=lny. (A=lna)则上述回归方程变换为：Y=A+bX

对数据进行变换，得到的结果如下所示：

X Y
20 -2.303
16.667 -1.966
14.286 -1.47
10 -0.994
7.143 -0.528
5 -0.236
4 0
3.226 0.113
2.632 0.174
2.326 0.223
2.218 0.255

经计算得到：=7.946，；，；

样本的相关系数为：r=-0.998，查表得到，相关系数的绝对值大于临界值，说明Y和X之间的线性相关关系特别显著。再来估计a和b的值。

;

则Y关于X的线性回归方程为：Y=0.548-0.146X；换回原变量得到原始数据的线性回归方程为：

六输入输出

输入变量类型：整型、浮点型（注：自变量可为一个或多个，但因变量只能一个）

输入数据尺度：标量型

输出结果：曲线回归的回归系数，以及回归方程。

七相关条目

非线性回归、最小二乘法、变量变换、曲线回归图

八优缺点

优点：用线性回归方法解决非线性回归预测问题，而现实中绝大多数的问题均为非线性问题，因此该算法使用范围相对广泛。

缺点：如何选择合适的曲线类型，这是一件有难度的事情，需要依靠专业知识和经验。另外变量转换后会加大计算复杂度和计算量。