-
Notifications
You must be signed in to change notification settings - Fork 0
Expand file tree
/
Copy pathsearch.xml
More file actions
288 lines (138 loc) · 99.8 KB
/
search.xml
File metadata and controls
288 lines (138 loc) · 99.8 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
<?xml version="1.0" encoding="utf-8"?>
<search>
<entry>
<title>Orange Pi PC Plus安装MagicMirror</title>
<link href="/2020/05/29/Orange-Pi-PC-Plus%E5%AE%89%E8%A3%85MagicMirror/"/>
<url>/2020/05/29/Orange-Pi-PC-Plus%E5%AE%89%E8%A3%85MagicMirror/</url>
<content type="html"><![CDATA[<h1 id="烧入系统到SD卡"><a href="#烧入系统到SD卡" class="headerlink" title="烧入系统到SD卡"></a>烧入系统到SD卡</h1><pre><code>本次选择的是Orange Pi官方提供的OrangePi_pc-plus_ubuntu_xenial_desktop_linux5.3.5_v1.0</code></pre><h1 id="设置rootfs大小"><a href="#设置rootfs大小" class="headerlink" title="设置rootfs大小"></a>设置rootfs大小</h1><pre><code>分配的rootfs太小，需进行修改</code></pre><ul><li>使用root用户<pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> su root<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li>使用fdisk进行操作<pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> sudo fdisk /dev/mmcblk0<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li>输入p（查看信息）<pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> p<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li>记住rootfs的起始位置和盘号</li><li><p>输入d与盘号（删除分区）</p><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> d 盘号<span aria-hidden="true" class="line-numbers-rows"><span></span><span></span><span></span></span></code></pre></li><li>输入n（添加分区）<pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> n<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li>输入p（主分区）<pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> p<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li>输入p（查看信息）<pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> p<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li>选择2，在开始位置输入start的值</li><li>剩余直接回车</li><li>输入w（保存）<pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> w<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li>重启<pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> sudo reboot<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li><p>重启之后修复分区</p><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> sudo resize2fs /dev/mmcblk0p2<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre><h1 id="下载并安装最新的Node-js版本"><a href="#下载并安装最新的Node-js版本" class="headerlink" title="下载并安装最新的Node.js版本"></a>下载并安装最新的Node.js版本</h1></li><li><p>使用root用户 ！！！！之后都需要保持root用户状态 </p><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> su root<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li><p>下载并安装最新的Node.js版本</p><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> curl -sL https://deb.nodesource.com/setup_10.x | sudo -E bash -<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> sudo apt install -y nodejs<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li></ul><h1 id="克隆存储库并检出master分支"><a href="#克隆存储库并检出master分支" class="headerlink" title="克隆存储库并检出master分支"></a>克隆存储库并检出master分支</h1><ul><li><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> git clone https://github.com/MichMich/MagicMirror<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li><li><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> cd MagicMirror<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre><h1 id="npm换源"><a href="#npm换源" class="headerlink" title="npm换源"></a>npm换源</h1></li><li><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> npm config set registry https://registry.npm.taobao.org/<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre><h1 id="安装"><a href="#安装" class="headerlink" title="安装"></a>安装</h1><p>*</p><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> npm install<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre><h1 id="启动"><a href="#启动" class="headerlink" title="启动"></a>启动</h1><p>*</p><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> npm start<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre><h1 id="出现报错"><a href="#出现报错" class="headerlink" title="出现报错"></a>出现报错</h1><h2 id="报错一"><a href="#报错一" class="headerlink" title="报错一"></a>报错一</h2><p> Error: Electron failed to install correctly, please delete node_modules/electron and try installing again<br>*</p><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> sudo npm install -g cnpm --registry=https://registry.npm.taobao.org<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> sudo cnpm install -g electron<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre><h2 id="报错二"><a href="#报错二" class="headerlink" title="报错二"></a>报错二</h2><p> grep: config/config.js: No such file or directory<br>*</p><pre class="line-numbers language-lang-bash"><code class="language-lang-bash"> cp /home/orangepi/MagicMirror/config/config.js.sample /home/orangepi/MagicMirror/config/config.js<span aria-hidden="true" class="line-numbers-rows"><span></span></span></code></pre></li></ul>]]></content>
</entry>
<entry>
<title>Android Studio下进行apk签名发布</title>
<link href="/2019/09/16/Android-Studio%E4%B8%8B%E8%BF%9B%E8%A1%8Capk%E7%AD%BE%E5%90%8D%E5%8F%91%E5%B8%83/"/>
<url>/2019/09/16/Android-Studio%E4%B8%8B%E8%BF%9B%E8%A1%8Capk%E7%AD%BE%E5%90%8D%E5%8F%91%E5%B8%83/</url>
<content type="html"><![CDATA[<h1 id="Android-Studio下进行apk签名发布"><a href="#Android-Studio下进行apk签名发布" class="headerlink" title="Android Studio下进行apk签名发布"></a>Android Studio下进行apk签名发布</h1><ol><li>在Android Studio菜单栏中，Build —> Generate Signed APK：<br><img src="/images/81w3416-bd9e4gjndrdsa3.png" alt></li><li>如果已经有一个秘钥库，请转到步骤4，如果想创建一个新的秘钥库，单击新建：<br><img src="/images/8134416-bd9ehhwfdf24634fa2.png" alt></li><li>创建新的秘钥库如下图：<br><img src="/images/8166116-93d70ffivd43d2b46.png" alt></li><li>在生成签名apk窗口中，选择秘钥库、秘钥，并输入两个密码（如果是新创秘钥，这些字段会自动填充）然后单击Next：<br><img src="/images/8166116-93d70rtbbvd3442b46.png" alt></li><li>选择签署的apk目标目录和签名版本，单击Finish：<br><img src="/images/8166116-9erwer2340fbaebad2b46.png" alt></li></ol>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> Android </tag>
</tags>
</entry>
<entry>
<title>回归模型诊断与优化(2)</title>
<link href="/2019/07/25/%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B%E8%AF%8A%E6%96%AD%E4%B8%8E%E4%BC%98%E5%8C%96-2/"/>
<url>/2019/07/25/%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B%E8%AF%8A%E6%96%AD%E4%B8%8E%E4%BC%98%E5%8C%96-2/</url>
<content type="html"><![CDATA[<h1 id="回归模型诊断与优化"><a href="#回归模型诊断与优化" class="headerlink" title="回归模型诊断与优化"></a>回归模型诊断与优化</h1><h2 id="自变量选择的影响"><a href="#自变量选择的影响" class="headerlink" title="自变量选择的影响"></a>自变量选择的影响</h2><ul><li>当未选入的因素的参数不全为0时，选模型的回归系数为有偏估计</li><li>选模型的预测结果时有偏预测</li><li>选模型的参数估计有较小的方差</li><li>选模型的预测残差有较小的方差</li><li>选模型预测的均方误差比全模型的小</li></ul><h2 id="自变量选择的准则"><a href="#自变量选择的准则" class="headerlink" title="自变量选择的准则"></a>自变量选择的准则</h2><p>需要评价回归模型最优的准则，来判断哪个选模型性能最好。</p><ul><li>残差平方和SSE越小、决定系数$R^2$越大越好：并非如此，增加自变量个数会达到上述效果，单数考虑到多重共线性、变量测量误差累计、参数数目增加等因素，未必会好</li><li>自由度调整复决定系数达到最大：自变量增多，复决定系数增大，但是残差自由度减小（残差自由度等于样本个数减掉变量个数）。自由度减小意味着可靠性低，即区间预测的幅度变大，无实际应用意义。采用调整夫决定系数：<br>$adjR^2=1-\frac{n-1}{n-p-1}(1-R^2)$<br> 回归误差项方差的无偏估计：$\hat(\sigma^2)=\frac{1}{n-p-1}SSE$<br> 自变量个数从0开始增加，此时SSE变小、$\frac{1}{n-p-1}$开始增加，SSE的减小速度更快，整体上$\hat{\sigma^2}$开始逐渐减小；自变量增加到一定程度（比如重要变量都已加入），SEE减少到慢且趋于稳定，此时$\hat{\sigma^2}$开始逐渐增大。</li><li>赤池信息量（Akaike Information Criterion）达到最小：给予最大似然估计原理的模型选择准则</li></ul><script type="math/tex; mode=display">AIC=-2lnL(\hat{\theta_L},x)+2p => AIC=nln(SSE)+2p</script><p>其中$lnL(\hat{\theta_L},x)$为模型似然函数，维数（未知参数）为p,n为样本个数。</p><p>在回归建模过程中，对每一个模型计算AIC，其中该值最小的模型，就是最优回归模型。</p><ul><li>统计量$C_p$达到最小：<script type="math/tex; mode=display">C_p=\frac{SSE_p}{\hat{\sigma^2}}-n+2p=(n-m-1)\frac{SSE_p}{SSE_m}-n+2p</script></li></ul><h2 id="自变量选择的方法"><a href="#自变量选择的方法" class="headerlink" title="自变量选择的方法"></a>自变量选择的方法</h2><h3 id="前进法"><a href="#前进法" class="headerlink" title="前进法"></a>前进法</h3><ul><li>思路：变量由少到多，每次增加一个，直至没有可引入的变量</li><li>具体做法：<ul><li>对所有m个自变量，分别对因变量y进行建模，建立m个一元线性回归方程</li><li>对这m个一元线性回归方程的m个回归系数进行F检验，计算F统计量值，找到最大的一个$F_j^1$</li><li>将$F_j^1$和预先设定的检验水平$\alpha$对应的F值比较，若$F_j^1 \geq F_\alpha(1,n-2)$，将自变量$x_j$引入回归方程</li><li>对$x_j$与剩余的m-1个自变量进行组合${x_j,x_1},{x_j,x_2},…{x_j,x_m}$,分别对因变量y进行建模，建立m-1个二元线性回归方程，对这m-1个方程中非$x_j$的回归系数进行F检验，选出最大的F值$F_k^2$,和$\alpha$对应的临界值比较，若$F_k^2\geq F_\alpha(1,n-3)$，将$x_k$引入回归方程</li><li>重复以上步骤，知道没有符合引入条件的变量为止，得到最终的回归方程<h3 id="后退法"><a href="#后退法" class="headerlink" title="后退法"></a>后退法</h3></li></ul></li><li>思路：变量由多到少，每次减少一个，直至没有可减少的变量</li><li>具体做法：<ul><li>对所有m个自变量，对因变量y进行建模，建立一个m元线性回归方程</li><li>对这个m元线性回归方程的m个回归系数进行F检验，计算F统计量，找到最小的一个$F_j^1$</li><li>将$F_j^1$和预先设定的检验水平$\alpha$对应的F值比较，若$F_j^1 \leq F_\alpha(1,n-m-1)$，将自变量$x_j$剔除出回归方程</li><li>对$x_j$与剩余的m-1个自变量进行组合${x_j,x_1},{x_j,x_2},…{x_j,x_m}$,分别对因变量y进行建模，建立m-1个二元线性回归方程，对这m-1个方程中非$x_j$的回归系数进行F检验，选出最大的F值$F_k^2$,和$\alpha$对应的临界值比较，若$F_k^2\leq F_\alpha(1,n-m)$，将$x_k$剔除出回归方程</li><li>重复以上步骤，知道没有符合剔除条件的变量为止，得到最终的回归方程</li></ul></li></ul><h3 id="逐步回归法"><a href="#逐步回归法" class="headerlink" title="逐步回归法"></a>逐步回归法</h3><ul><li>思路：有进有出。每当当前回归方程中的变量发生变化，都要对方称重的所有变量进行F检验</li></ul><p>!(/image/8166116-93d70fba321d2b46.png)</p>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> 机器学习 </tag>
</tags>
</entry>
<entry>
<title>回归模型诊断与优化（1）</title>
<link href="/2019/07/23/%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B%E8%AF%8A%E6%96%AD%E4%B8%8E%E4%BC%98%E5%8C%96-1/"/>
<url>/2019/07/23/%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B%E8%AF%8A%E6%96%AD%E4%B8%8E%E4%BC%98%E5%8C%96-1/</url>
<content type="html"><![CDATA[<h1 id="回归模型诊断与优化（1）"><a href="#回归模型诊断与优化（1）" class="headerlink" title="回归模型诊断与优化（1）"></a>回归模型诊断与优化（1）</h1><h2 id="违背基本假设"><a href="#违背基本假设" class="headerlink" title="违背基本假设"></a>违背基本假设</h2><h3 id="几个基本假设"><a href="#几个基本假设" class="headerlink" title="几个基本假设"></a>几个基本假设</h3><ul><li>零均值：随机误差项均值为0，保证未考虑的因素对被解释变量没有系统性的影响</li><li>同方差：随机误差项方差相同，在给定x的情况下，$\varepsilon$的条件方差为某个常数$\sigma^2$</li><li>无自相关：两个$\varepsilon$之间不相关，<script type="math/tex">COV(\varepsilon_i,\varepsilon_j)=0,i \ne j</script></li><li>正态分布：$\varepsilon$符合正态分布<script type="math/tex">\varepsilon_i \sim N(0,\sigma^2)</script></li><li>解释变量：<script type="math/tex">x_1,x_2,...,x_p</script>是非随机变量，其观测值是常数</li><li>解释变量之间不存在精确的线性关系</li><li>样本个数要多于解释变量的个数</li></ul><h3 id="常见不满足基本假设的情况"><a href="#常见不满足基本假设的情况" class="headerlink" title="常见不满足基本假设的情况"></a>常见不满足基本假设的情况</h3><h4 id="异方差"><a href="#异方差" class="headerlink" title="异方差"></a>异方差</h4><p>回归模型中的异方差(Heteroscedasticity)是指随机误差项的方差不是一个常数，而是随着自变量的取值变化而变化。</p><p>由于不满足回归分析中的同方差(Homoscedasticity)的前提假设，异方差将可能带来以下问题：</p><ul><li>对使用最小二乘法(OLS)求解参数时，参数估计值虽然无偏，但是不是最小方差线性无偏估计</li><li>参数的显著性检验失效</li><li>回归方程的应用效果不理想</li></ul><h5 id="异方差的常见成因"><a href="#异方差的常见成因" class="headerlink" title="异方差的常见成因"></a>异方差的常见成因</h5><ul><li>模型缺少了某些解释变量，缺省变量本身的方差被包含在了随机误差的方差中</li></ul><script type="math/tex; mode=display">y=\beta_0+\beta_1x_1\color{red}{+\varepsilon}\ \ \ \ \ \ \ y=\beta_0+\beta_1x_1+\color{red}{\beta_2x_2+\varepsilon}</script><ul><li><p>模型本身选区有误，比如原本是非线性的，结果使用了线性模型</p></li><li><p>其他原因，包括但不限于：</p><ul><li>样本量过少</li><li>测量误差</li><li>异常数据</li><li>时序分析或使用面板数据等</li></ul></li></ul><h5 id="异方差的检验"><a href="#异方差的检验" class="headerlink" title="异方差的检验"></a>异方差的检验</h5><h6 id="残差图分析"><a href="#残差图分析" class="headerlink" title="残差图分析"></a>残差图分析</h6><ul><li>坐标选择：纵坐标为残差$e_i$,横坐标视情况而定，可选择：$x、\hat{y}$或者观测时间或序号</li><li>判断：散点随机散布、无规律则表明满足基本假设，有明显规律或者呈现一定趋势，则有异方差性</li></ul><p><img src="/images/8166116-bd9e32113460f223.png" alt></p><h6 id="等级相关系数法"><a href="#等级相关系数法" class="headerlink" title="等级相关系数法"></a>等级相关系数法</h6><p>等级相关系数法又称斯皮尔曼(Spearman)检验</p><ol><li>做y关于x的普通最小二乘回归，求出$\varepsilon_i$的估计值$e_i$</li><li><p>取$\varepsilon_i$的绝对值$|\varepsilon_i|$,把$x_i$和$|\varepsilon_i|$按升序或降序排列，分成等级（序号），$x_i$和$|\varepsilon_i|$分别有一个（序号），其差即为$d_i$计算出等级相关系数$r_s$:</p><script type="math/tex; mode=display">r_s=1-\frac{6}{n\ast(n^2-1)}\sum\limits_{i=1}^n d_i^2 \ \ \ \ \ \ \ \ \ \ n为样本个数</script></li><li><p>做等级相关系数$r_s$的显著性检验，n>8时，进行t检验。构造t统计量：</p><script type="math/tex; mode=display">t=\frac{\sqrt{n-2}}{\sqrt{1-r_s^2}}r_s</script><p> 如果$|t|\leq t_{\frac{\alpha}{2}}(n-2)$,可以认为异方差不存在；反之，可以认为$x_i$与$|e_i|$之间存在系统关系，存在异方差问题。</p></li></ol><h6 id="其他常见方法"><a href="#其他常见方法" class="headerlink" title="其他常见方法"></a>其他常见方法</h6><ul><li>相关图分析：X-Y散点图，看是否存在明显的扩大、缩小、复杂趋势等</li><li>Park检验与Gleiser检验：选择关于x的不同函数形式，对方程进行估计并进行显著性检验，如果存在某一种函数形式的方程显著成立，则说明元模型存在异方差性。</li><li>Goldfeld-Quandt检验：以引起异方差的解释变量的大小为顺序，去除中间若干值，生成两个子样本集，对两个样本集进行回归，计算残差和，构造统计量。样本量要大，对于$\varepsilon_i$要求满足除同方差外的其他假定，仅适用于递增型异方差。</li><li>Breusch-Pagan检验：构造残差p平方序列与解释变量之间的辅助函数，得到回归平方和和ESS，从而判断异方差性存在的显著性。要已知随机误差产生的原因且要求随机误差服从正态分布。</li><li>White检验：与BP检验接近，但是无需任何方差先验知识。。是一种更一般的检查方法，无需做任何假定，不需排序，目前应用比较普遍</li></ul><h5 id="消除异方差"><a href="#消除异方差" class="headerlink" title="消除异方差"></a>消除异方差</h5><p>消除异方差的办法有多种，常见的有加权最小二乘法、BOX-COX变换法、方差稳定性变换法等</p><h6 id="加权最小二乘法"><a href="#加权最小二乘法" class="headerlink" title="加权最小二乘法"></a>加权最小二乘法</h6><p>以一元线性回归最小二乘法估计参数为例，其离差平方和公式：<script type="math/tex">Q(\beta_0,\beta_1)=\sum\limits_{i=1}^n ( y_i - \beta_0-\beta_1x_i)^2</script></p><p>存在的问题：每个观测值（即每个样本）的权重相同（都为1），同方差时，每个观测值在离差平方和中的地位时一样的，但是当异方差时，方差大的观测值，对平方和的影响也大，OLE求得的回归线，会被拉向方差大的样本点，导致方差小的样本点拟合效果较差。</p><p>此时考虑调整权重，以平衡各个观察值得作用，即为加权最小二乘法，其利差平方和公式变为：</p><script type="math/tex; mode=display">Q(\beta_0,\beta_1)=\sum\limits_{i=1}^n \color{red}{\frac{1}{x_i^m}}( y_i - \beta_0-\beta_1x_i)^2\ \ \ \ \ \ \ \ \ \ \ i为第i个观测值的权重</script><p>尝试不同的m值，得到不同的权重，取结果最好的一组。</p><h4 id="自相关"><a href="#自相关" class="headerlink" title="自相关"></a>自相关</h4><p>回归模型中的自相关(Heteroscedasticity)是指随机误差项的协方差$cov(\varepsilon_i,\varepsilon_j)\ne 0$即变量前后数值之间存在相关关系。<br>由于不满足回归分析中的<strong>不相关</strong>的前提假设，自相关将可能带来以下问题：</p><ul><li>对使用最小二乘法（OLS）求解参数时，参数估计值虽然无偏，但是OLS估计量的方差不是最小的，估计量不是<strong>最优线性无偏估计量</strong>(BLUE:Best Linear Unbiased Estimator,在所有线性、无偏的估计量中，有最小方差的估值)</li><li>OLS估计量的方差是有偏的。用来计算方差和OLS估计量标准误差的公式<br>会严重低估真实的方差和标准误差，从而导致t统计量的值变大，是某个系数县逐步为0，实际上相反</li><li>显著性检验失效，包括t检验和F检验</li><li>存在序列相关时，最小二乘估计量对抽样波动非常敏感</li><li>回归方程的应用效果不理想，会带来较大的方差甚至错误</li></ul><h5 id="自相关的常见成因"><a href="#自相关的常见成因" class="headerlink" title="自相关的常见成因"></a>自相关的常见成因</h5><ul><li>模型遗漏关键变量，被遗漏变量在时间顺序上存在相关性</li><li>错误的回归函数形式</li><li>蛛网现象（Cobweb Phenomenon）：来源于微观经济学，原意是表示某种商品的供给量因受前一期价格影响而表现出来的某种规律性，呈蛛网状收敛或发散与供需的均衡点。一般是指一个变量对另一个变量的反应是不同步的，迟滞一定时间：$S_t=B_1+B_2P_{t-1}+\varepsilon_t$</li><li>对数据加工整理而导致误差项之间出现自相关，比如处理序列数据时采用了不恰当的差分变换</li></ul><h5 id="自相关的检验"><a href="#自相关的检验" class="headerlink" title="自相关的检验"></a>自相关的检验</h5><h6 id="图示检验法"><a href="#图示检验法" class="headerlink" title="图示检验法"></a>图示检验法</h6><ul><li>绘制$e_t.e_{t-1}$的散点图，如果大部分点落在第二、四象限，则表明随机扰动项$\varepsilon_t$存在负相关，如果大部分落在第一、三象限，则表明存在正相关</li><li>按时间顺序绘制回归残差项$e_t$的图形，如果随着t的变化，有规律的呈现锯齿形或循环性状的变化，表明存在序列相关</li></ul><h6 id="自相关系数法"><a href="#自相关系数法" class="headerlink" title="自相关系数法"></a>自相关系数法</h6><ul><li>根据$\varepsilon$（真正计算时取其估计值e）计算自相关系数$\rho$，其取值范围为[-1 , 1]，接近1时表示误差序列存在正相关，接近-1时表示存在负相关</li></ul><script type="math/tex; mode=display">\rho=\frac{\sum_{t=2}^n \varepsilon_t\varepsilon_{t-1}}{\sqrt{\sum_{t=2}^n \varepsilon_t^2\sum_{t=2}^n \varepsilon_{t-1}^2}}</script><script type="math/tex; mode=display">\rho=\frac{\sum_{t=2}^n e_te_{t-1}}{\sqrt{\sum_{t=2}^n e_t^2\sum_{t=2}^n e_{t-1}^2}}</script><h6 id="DW-Durbin-Watson-检验法"><a href="#DW-Durbin-Watson-检验法" class="headerlink" title="DW(Durbin-Watson)检验法"></a>DW(Durbin-Watson)检验法</h6><p>适用于小样本，只能检验随机扰动项具有一阶自回归形式的序列相关问题</p><ul><li>随机扰动项的一阶自回归形式为：$\varepsilon_t=\rho\varepsilon_{t-1}+u_t$</li><li>构造原假设为：$H_0: \rho = 0$</li><li>构造DW统计量：<script type="math/tex; mode=display">DW=\frac{\sum_{t=2}^n (e_t-e_{t-1})^2}{\sum_{i=1}^n e_t^2} \approx 2(1-\hat{\rho})</script>其中<script type="math/tex">e_t=y_t-\hat{y_t},t=2,3,...,n</script> 查DW表，得到$D_L,D_U$</li></ul><p><img src="/images/8166116-88d34225e4c434a.png" alt></p><p><strong>缺点:</strong></p><ul><li>存在两个不能确定的区域，一旦取值在该区域内，无法判断，需要借助其他方法</li><li>只能用于随机扰动项的一阶序列相关情形，对于高阶不适用，限制了适用范围</li><li>上下界要求n>15，否则样本数过小，无法利用残差对自相关性的存在做出合理诊断</li></ul><p><img src="/images/8166116-bd9e42333213fa3.png" alt></p><h5 id="消除自相关"><a href="#消除自相关" class="headerlink" title="消除自相关"></a>消除自相关</h5><p>消除自相关的方法有多种，常见的有迭代法、差分法、BOX-COX变换法等</p><h6 id="迭代法"><a href="#迭代法" class="headerlink" title="迭代法"></a>迭代法</h6><p><img src="/images/8134416-bd9e4acd3231634fa2.png" alt></p><h6 id="差分法"><a href="#差分法" class="headerlink" title="差分法"></a>差分法</h6><p>差分法就是用增量数据代替原样本数据，将原来的回归模型变为差分形式的模型，一阶差分法通常适用于原模型存在较高程度的一阶自相关情况。</p><p><img src="/images/8134416-23466d3231634fa2.png" alt></p><p>一阶差分法适合处理$\rho = 1$的情况，选用差分法而不选用迭代法的原因为：</p><ul><li>迭代法需要根据样本估计$\rho$，$\rho$的估计误差会影响效率</li><li>差分法简单</li></ul><h6 id="BOX-COX变换"><a href="#BOX-COX变换" class="headerlink" title="BOX-COX变换"></a>BOX-COX变换</h6><p>BOX-COX时一种应用非常广泛的变换方法，可用于异方差、自相关等多种问题。<br><img src="/images/8134416-bd9e4ac3422f24634fa2.png" alt></p><h4 id="异常值"><a href="#异常值" class="headerlink" title="异常值"></a>异常值</h4><p>回归分析中，一些异常或者极端的观测值可能会引起较大的残差，影响回归拟合的效果。</p><div class="table-container"><table><thead><tr><th style="text-align:center">异常值成因</th><th style="text-align:center">消除方法</th></tr></thead><tbody><tr><td style="text-align:center">数据录入错误</td><td style="text-align:center">重新核实数据</td></tr><tr><td style="text-align:center">数据测量误差</td><td style="text-align:center">重新测量数据</td></tr><tr><td style="text-align:center">数据随机误差</td><td style="text-align:center">删除，或者重新观测数据</td></tr><tr><td style="text-align:center">缺少重要自变量</td><td style="text-align:center">增加相应自变量</td></tr><tr><td style="text-align:center">缺少观测数据</td><td style="text-align:center">增加观测数据</td></tr><tr><td style="text-align:center">存在异方差</td><td style="text-align:center">消除异方差，如加权回归等</td></tr><tr><td style="text-align:center">模型选择错误</td><td style="text-align:center">更改模型，如改成非线性回归</td></tr></tbody></table></div><h5 id="异常值的常见情况"><a href="#异常值的常见情况" class="headerlink" title="异常值的常见情况"></a>异常值的常见情况</h5><ul><li>因变量y出现异常值：一般认为残差超过$\pm 3\bar{\sigma}$的即为异常值<ul><li>标准化残差：$ZRE_i=e_i/\hat{\sigma}$</li><li>删除残差：$e_{(i)}=y_i-\hat{y_i}=\frac{e_i}{1-h_{ii}}$</li><li>学生化残差：$SRE_i=\frac{e_i}{\sigma \sqrt{1-h_{ii}}}$,其中$h_{ii}为杠杆值$，为帽子矩阵$H=X(X^TX)^{-1}X^T$的对角线元素</li><li>删除学生化残差：$SRE_{(i)}=SRE_i(\frac{n-p-2}{n-p-1SRE_i^2})^{1/2}$,p为自变量个数，$|SRE_{(i)}|>3$的观测值被认为是异常值</li></ul></li><li>自变量x出现异常值<ul><li>$h_{ii}$为杠杆值，表示第i次观测值与自变量平均值之间的距离，杠杆值$h_{ii}$大的样本点强影响点。杠杆值的平均值$\bar{h}=\frac{1}{n}\sum_{i=1}^nh_{ii}=\frac{p+1}{n}$当$h_{ii}$大于2倍或3倍的平均值$\bar{h}$时，被认为是最大的</li><li>库克距离：$D_i=\frac{e_i^2}{(n+1)\hat{\sigma^2}}\ast \frac{h_{ii}}{(1-h_{ii})^2}$，反应了$h_{ii}$与残差的综合效应，当$D_i<0.5$，不是异常值，当$d_i>1$，是异常值</0.5$，不是异常值，当$d_i></li></ul></li></ul>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> 机器学习 </tag>
</tags>
</entry>
<entry>
<title>多元线性回归模型</title>
<link href="/2019/07/22/%E5%A4%9A%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B/"/>
<url>/2019/07/22/%E5%A4%9A%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E6%A8%A1%E5%9E%8B/</url>
<content type="html"><![CDATA[<h1 id="多元线性回归"><a href="#多元线性回归" class="headerlink" title="多元线性回归"></a>多元线性回归</h1><h2 id="多元线性回归模型"><a href="#多元线性回归模型" class="headerlink" title="多元线性回归模型"></a>多元线性回归模型</h2><p>多元线性回归模型为：$y=\beta_0+\beta_1x_1+\beta_2x_2+…+\beta_px_p+\varepsilon$</p><p>其中$\varepsilon$为随机误差,满足：</p><ol><li>$E(\varepsilon)=0$ </li><li>$var(\varepsilon)=\sigma^2$</li></ol><p>多元线性回归方程：$E(y)=E(\beta_0+\beta_1x_1+\beta_2x_2+…+\beta_px_p+\varepsilon)=>y=\beta_0+\beta_1x_1+\beta_2x_2+…+\beta_px_p$</p><p>多元线性回归方程的矩阵形式：</p><p><img src="/images/8134416-bd9e4acd34f24634fa2.png" alt></p><script type="math/tex; mode=display">\hat{\beta}=(X^TX)^{-1}X^Ty</script><script type="math/tex; mode=display">y=X\beta+\varepsilon</script><h2 id="回归模型参数估计"><a href="#回归模型参数估计" class="headerlink" title="回归模型参数估计"></a>回归模型参数估计</h2><h3 id="最小二乘估计"><a href="#最小二乘估计" class="headerlink" title="最小二乘估计"></a>最小二乘估计</h3><p>最小二乘估计（Least Square Estimation ,OLE）：根据观察数据，寻找参数$\beta_0$,$\beta_1$的估计值$\hat{\beta_0}$,$\hat{\beta_1}$，使观测值和回归预测值的离差（离开正确值的差）平方和达到极小。估计值$\hat{\beta_0}$,$\hat{\beta_1}$称作回归参数$\beta_0$,$\beta_1$的最小二乘估计。</p><p><img src="/images/8166116-bd9e23160fa3.png" alt></p><h3 id="最大似然估计"><a href="#最大似然估计" class="headerlink" title="最大似然估计"></a>最大似然估计</h3><p><img src="/images/8166116-bd9e4ac3213fa3.png" alt></p><h2 id="回归模型的显著性检验"><a href="#回归模型的显著性检验" class="headerlink" title="回归模型的显著性检验"></a>回归模型的显著性检验</h2><h3 id="回归方程是否显著：F检验"><a href="#回归方程是否显著：F检验" class="headerlink" title="回归方程是否显著：F检验"></a>回归方程是否显著：F检验</h3><p>F检验是根据平方和分解式，直接从回归效果检验回归方程的显著性。由平方和分解式可得到SSR越大，回归效果越好，据此构造F统计量。</p><p><img src="/images/8166116-bd9432342460fa3.png" alt></p><ol><li>确定假设：想检验自变量X对因变量Y是否有明显影响，即原假设$H_0: \beta_1=\beta_2… = 0$,备择假设$H_1: \beta_1 \ne 0$</li><li>确定检验水平：最常用的有$\alpha=0.05,\alpha=0.01,\alpha=0.005…$</li><li>计算统计量：计算自由度为(p,n-p-1)的F统计量</li><li>计算p值：根据F值计算p值（也可以直接去比较F值）<br><img src="/images/8166116-bd432423213fa3.png" alt></li><li>得到结论：p<$\alpha$或者$F>F_\alpha(p,n-p-1)$，拒绝原假设$H_0$,接受备择假设$H_1：\beta_1 \ne 0,\beta_2 \ne 0…$</li></ol><h3 id="回归系数是否显著：t检验"><a href="#回归系数是否显著：t检验" class="headerlink" title="回归系数是否显著：t检验"></a>回归系数是否显著：t检验</h3><p>因变量y与自变量x之间是否存在线性关系，即$\beta_1$是否等于0，使用t检验进行判断。</p><ol><li>确定假设：检验$x_j$对y是否作用显著，即原假设$H_{0j}: \beta_j = 0$,备择假设$H_{1j}: \beta_j \ne 0$</li><li>确定检验水平：最常用的有$\alpha=0.05,\alpha=0.01,\alpha=0.005…$</li><li>构造统计量：$H_0$成立时：$\hat{\beta_1}\sim N(\beta,\sigma^2(X^TX)^{-1}$,记$C=(X^TX)^{-1}$,构造t统计量：<script type="math/tex">t = \frac{\hat{\beta_j}}{\sqrt{\hat{\sigma^2}c_{jj}}} = \frac{\hat{\beta_j}}{\sqrt{C_jj}}\sqrt{\frac{n-p-1}{\varepsilon^T\varepsilon}}</script></li><li>根据t值计算p值（也可以直接去比较T值）：计算t统计量，符合自由度n-p-1的t分布，双尾检测，查临界值表，找到p值</li><li>得到结论：p<$\alpha$或者$t>t_\alpha(n-p-1)$，拒绝原假设$H_{0j}$,接受备择假设$H_{1j}<br>t检验和F检验对多元线性回归来说不等价，F检验的目标时对所有自变量，t检验目标为单个自变量，即使F检验拒绝原假设，也不等于所有自变量都对因变量有影响，需要使用t检验去逐个验证。</li></ol><h2 id="自变量的标准化"><a href="#自变量的标准化" class="headerlink" title="自变量的标准化"></a>自变量的标准化</h2><p>多个自变量x的单位不同，其取值也不同，如果取值相差太大，会因计算误差问题导致回归方程结果不理想，需要对其进行标准化。<br><strong>中心化</strong>：找到样本数据的中心$(\bar{x_1},\bar{x_2},,…,\bar{x_p};\bar{y})$,回归方程回经过这点，通过坐标变化，将原点移到该中心：</p><script type="math/tex; mode=display">x_{ij}^\prime=x_{ij}-\bar{x_j}\ \ \ \ \ \ \ i=1,2,...,n; j=1,2,...,p</script><script type="math/tex; mode=display">y_i^\prime=y_i-\bar{y}\ \ \ \ \ \ \ i=1,2,...,n</script><p>中心化后方程：<script type="math/tex">\hat{y^\prime}=\hat{\beta_1}x_1^\prime+\hat{\beta_2}x_2^\prime+...+\hat{\beta_p}x_p^\prime</script></p><p>中心化不会改变回归线的斜率，只改变了直线的截距，所以\hat{\beta_0}中心化后变成了0，而其他的回归系数\hat{\beta_1},\hat{\beta_2},…,\hat{\beta_p}没有变化。</p><p><strong>标准化</strong>：自变量单位不同，数据大小差异大，不利于在同一个标准上进行比较，为了消除量纲不同和数量级的差异带来的影响，将样本数据标准化处理，然后使用最小二乘法，得到标准化后的回归系数。</p><p>标准化公式为：$X_{ij}^\ast=\frac{x_{ij}-\bar{x_j}}{\sqrt{\frac{1}{n}\sum_{i=1}^n (x_{ij}-\bar{x_j})^2}}$<br>$y_{i}^\ast=\frac{y_{ij}-\bar{y}}{\sqrt{\frac{1}{n}\sum_{i=1}^n (y_{i}-\bar{y})^2}}$</p><p>标准化后方程： <script type="math/tex">\hat{y^\ast }=\hat{\beta_1^\ast}x_1^\ast +\hat{\beta_2^\ast}x_2^\ast +...+ \hat{\beta_p^\ast} x_p ^\ast</script></p>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> 机器学习 </tag>
</tags>
</entry>
<entry>
<title>一元线性回归</title>
<link href="/2019/07/20/%E4%B8%80%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/"/>
<url>/2019/07/20/%E4%B8%80%E5%85%83%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92/</url>
<content type="html"><![CDATA[<h1 id="一元线性回归"><a href="#一元线性回归" class="headerlink" title="一元线性回归"></a>一元线性回归</h1><h2 id="回归模型参数估计"><a href="#回归模型参数估计" class="headerlink" title="回归模型参数估计"></a>回归模型参数估计</h2><h3 id="最小二乘估计"><a href="#最小二乘估计" class="headerlink" title="最小二乘估计"></a>最小二乘估计</h3><p>最小二乘估计（Least Square Estimation ,OLE）：根据观察数据，寻找参数$\beta_0$,$\beta_1$的估计值$\hat{\beta_0}$,$\hat{\beta_1}$，使观测值和回归预测值的离差（离开正确值的差）平方和达到极小。估计值$\hat{\beta_0}$,$\hat{\beta_1}$称作回归参数$\beta_0$,$\beta_1$的最小二乘估计。</p><ol><li><p>列出离差平方和：<script type="math/tex">Q(\beta_0,\beta_1)=\sum\limits_{i=1}^n ( y_i - \beta_0-\beta_1x_i)^2</script><br>估计值满足：<script type="math/tex">Q(\hat{\beta_0},\hat{\beta_1})=\min\limits_{\beta_0,\beta_1}\sum\limits_{i=1}^n ( y_i - \beta_0-\beta_1x_i)^2</script></p></li><li><p>对$Q(\beta_0,\beta_1)$分别求$\beta_0$,$\beta_1$的偏导，并令其等于0，即求$Q(\beta_0,\beta_1)$取极小值时$\beta_0$,$\beta_1$的取值，这取值即为估计值$\hat{\beta_0},\hat{\beta_1}$的值。</p></li></ol><p><img src="/images/81234116-bd9e4acdf24634fa2.png" alt><br><img src="/images/812334216-bd9e4acdf24634fa2.png" alt></p><h3 id="最大似然估计"><a href="#最大似然估计" class="headerlink" title="最大似然估计"></a>最大似然估计</h3><p>最大似然估计（Maximum Likelihood Estimation,MLE）：利用总体的分布密度或概率分布的表达式及其样本所提供的信息求未知参数估计量的一种方法。</p><p>最大似然估计的基本思路：已知样本符合某种分布，但分布的具体参数未知，通过实验，估算分布的参数。估算的思想为：已知某组参数能使当前样本出现的概率最大，就认为该参数为最终的估计值。</p><p><img src="/images/8166116-bd9432acdf2460fa3.png" alt></p><h2 id="回归模型的显著性检验"><a href="#回归模型的显著性检验" class="headerlink" title="回归模型的显著性检验"></a>回归模型的显著性检验</h2><h3 id="回归系数是否显著：t检验"><a href="#回归系数是否显著：t检验" class="headerlink" title="回归系数是否显著：t检验"></a>回归系数是否显著：t检验</h3><p>因变量y与自变量x之间是否存在线性关系，即$\beta_1$是否等于0，使用t检验进行判断。</p><ol><li>确定假设：我们搜集数据是为了找到不达标的而证据，即原假设$H_0: \beta_1 = 0$,备择假设$H_1: \beta_1 \ne 0$</li><li>确定检验水平：采取最常用的$\alpha=0.05$,或是更严格的$\alpha=0.01$</li><li>构造统计量：$H_0$成立时：<script type="math/tex">\hat{\beta_1}\sim N(0,\frac{\sigma^2}{L_{xx}})</script>, 构造t统计量：<script type="math/tex">t = \frac{\hat{\beta_1}}{\sqrt{\hat{\sigma^2}/L_{xx}}} = \frac{\hat{\beta_1}}{\sqrt{\frac{1}{n-2}\ \sum_{i=1}^n(y_j-\hat{y_i})^2}}\ \sqrt{L_{xx}}</script></li><li>比较p值和$\alpha$值：计算t统计量，符合自由度n-2的t分布，双尾检测，查临界值表，找到p值</li><li>得到结论：p值若大于$\alpha$值，不能拒绝原假设。即通过本次采样得到的样本数据，并不能证明原假设$H_0$不成立，即本次得到的回归系数$\beta_1$无显著意义，需重新建模。</li></ol><h3 id="回归方程是否显著：F检验"><a href="#回归方程是否显著：F检验" class="headerlink" title="回归方程是否显著：F检验"></a>回归方程是否显著：F检验</h3><p>F检验是根据平方和分解式，直接从回归效果检验回归方程的显著性。由平方和分解式可得到SSR越大，回归效果越好，据此构造F统计量。</p><p><img src="/images/8166116-bd9432342460fa3.png" alt></p><ol><li>确定假设：我们搜集数据是为了找到不达标的而证据，即原假设$H_0: \beta_1 = 0$,备择假设$H_1: \beta_1 \ne 0$</li><li>确定检验水平：采取最常用的$\alpha=0.05$</li><li>计算统计量：计算F统计量，原假设$H_0$其服从自由度为(k-1,T-k)</li><li>计算p值：F=156.9，degree=(1,13)，$p=1.284*10^{-8}$<br><img src="/images/8166116-bd9e4343fa3.png" alt></li><li>得到结论：p<$\alpha$，拒绝原假设$H_0$,接受备择假设$H_1：\beta_1 \ne 0$</li></ol><h3 id="相关系数显著性检验：t检验"><a href="#相关系数显著性检验：t检验" class="headerlink" title="相关系数显著性检验：t检验"></a>相关系数显著性检验：t检验</h3><p>相关系数（Correlation Coefficient）由卡尔·皮尔逊设计的统计指标，描述了变量之间线性相关程度的量，一般用字母r表示，由多种定义方式，一般是指皮尔逊相关系数。</p><p><img src="/images/8134416-bd9e4acdf24634fa2.png" alt></p><ol><li>确定假设：我们搜集数据是为了找到不达标的而证据，即原假设$H_0: \rho = 0$,备择假设$H_1: \rho \ne 0$</li><li>确定检验水平：采取最常用的$\alpha=0.01$</li><li>计算统计量：计算t统计量，原假设$H_0$成立，$t=\frac{\sqrt{n-2r}}{1-r^2}$</li><li>计算p值：n=15,r=0.9610,t=13.07,计算得到$p=7.432\times 10^{-9}$(也可以查相关临界值表，查到$\alpha=0.01$,degree=13对应的值为10.641，小于计算得到的t值)</li><li>得到结论：p<$\alpha$，拒绝原假设$H_0$,接受备择假设$H_1：\rho \ne 0$</li></ol><h3 id="决定系数"><a href="#决定系数" class="headerlink" title="决定系数"></a>决定系数</h3><p>通过平方和分解式SST=SSR+SSE,SSR占的比重越大，线性回归效果越好，即回归直线与样本观测值的拟合优度越好。定义回归平方和占总离差平方和的比例为<strong>决定系数(Coefficient of Determination)</strong>,也称确定系数，记作$r^2$：</p><script type="math/tex; mode=display">r^2=\frac{SSR}{SST}=\frac{\sum_{i=1}^n (\hat{y_i}-\bar{y})^2}{\sum_{i=1}^n (y_i-\bar{y})^2}</script><p>决定系数是一个相对指标，取值在0~1之间，接近1表明回归方程拟合效果较好。但是需要注意几点：</p><ul><li>样本量较小时，决定系数并不能真正反应实际情况，需要调整决定系数</li><li>决定系数较大，同样也不能肯定自变量与因变量之间关系就是线性的，可能曲线拟合更好，特别当自变量取值范围较小时，决定系数通常较大，可以做模型失拟检验（Lack of Fit Test）</li><li>决定系数较小，如果样本量较小，则得到线性回归不显著的结果，如果样本量较大，则会得到线性回归显著；最后改进回归，如增加自变量、尝试曲线回归拟合等</li></ul><h2 id="残差"><a href="#残差" class="headerlink" title="残差"></a>残差</h2><h3 id="残差的基本概念"><a href="#残差的基本概念" class="headerlink" title="残差的基本概念"></a>残差的基本概念</h3><p>以一元回归为例，真实值与回归拟合值（模型输出）的差，称作残差（Residual）。</p><p>残差：$e_i=y_i-\hat{y_i}$</p><p>残差平方和：$\sum_{i=1}^n e_i^2 =\sum_{i=1}^n (y_i-\hat{\beta_0}-\hat{\beta_1}x_i)^2$</p><p>几个常见“差”的概念：</p><ul><li>误差：真实值与模型输出值的差$\varepsilon_i=y_i-\beta_0-\beta_1x_i$</li><li>残差：真实值与模型拟合值（估计值）的差，即为误差的估计值：$e_i=y_i-\hat{y_i}=y_i-\hat{\beta_0}-\hat{\beta_1}x_i$</li><li>离差：真实值与模拟拟合值的期望（平均值）的差，离差平方和为：$SST=(y_i-\bar{y})^2$</li><li>偏差：事实上的真实值（不可知）与估计值的差：$bias=y_T-\hat{y_i}$</li><li>方差：模型估计值与模型估计值的期望（平均值）的方差：$var=\sum_{i=1}^n(\hat{y_i}-\bar{y})^2$</li></ul><h3 id="残差的性质"><a href="#残差的性质" class="headerlink" title="残差的性质"></a>残差的性质</h3><ul><li><p>残差的期望</p><script type="math/tex; mode=display">E(e_i)=E(y_i)-E(\hat{y_i})=(\beta_0+\beta_1x)=0</script></li><li><p>残差的约束条件</p><script type="math/tex; mode=display">\sum_{i=1}^n e_i=0</script><script type="math/tex; mode=display">\sum_{i=1}^n x_ie_i=0</script></li><li><p>残差的方差</p><p> <script type="math/tex">var(e_i)=[ 1-\frac{1}{n}-\frac{(x_i-\bar{x})^2}{L_{xx}} ]\sigma^2=(1-h_ii)\sigma^2</script>其中$h_ii$称为杠杆值，取值为(0,1)</p></li></ul><h3 id="残差改进方法"><a href="#残差改进方法" class="headerlink" title="残差改进方法"></a>残差改进方法</h3><ul><li><p>标准化残差 $ZRE_i=\frac{e_i}{\hat{\sigma}}$</p><ul><li>标准化使残差可比</li><li>可用其判断异常值，$|ZRE_i|>3$</li><li>无法处理方差不等的问题</li></ul></li><li><p>学生化残差 $SRE_i=\frac{e_i}{\sigma \sqrt{1-h_{ii}}}$</p><ul><li>解决了方差不等的问题</li><li>可根据$|SRE_i|>3$判断异常值</li></ul></li></ul><h2 id="模型应用"><a href="#模型应用" class="headerlink" title="模型应用"></a>模型应用</h2><h3 id="预测"><a href="#预测" class="headerlink" title="预测"></a>预测</h3><ul><li>单值预测：根据自变量和回归方程预测因变量的单个值：$\hat{y_0}=\hat{\beta_0}+\hat{\beta_1}x_0$</li><li><p>区间预测：</p><ul><li>思路:显著水平$\alpha$，找到区间$(T_1,T_2)$，使得某特定$x_0$的实际值$y_0$以$1-\alpha$的概率在该区间内，即：$P(T_1 < y_0 < T_2)=1-\alpha$</li><li><p>因变量新值的区间预测</p><p> 预测因变量在某个置信度的取值区间</p></li><li><p>因变量新值的均值区间预测</p><p> 预测因变量的均值在某个置信度的取值区间</p></li></ul></li></ul><h3 id="控制"><a href="#控制" class="headerlink" title="控制"></a>控制</h3><p>控制时预测的反问题。<br>要把因变量y控制在一定范围内取值$T_1 < y < T_2$,需要控制x的值才能以$1-\alpha$的概率把目标值y控制在$(T_1,T_2)$中，即：$P(T_1 < y_0 < T_2)=1-\alpha$，其中$\alpha$时实现给定的(0,1)之间的小数，用来确定置信度。</p><p><img src="/images/8166116-bd453acdf2460fa3.png" alt></p>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> 机器学习 </tag>
</tags>
</entry>
<entry>
<title>回归分析</title>
<link href="/2019/07/20/%E5%9B%9E%E5%BD%92%E5%88%86%E6%9E%90/"/>
<url>/2019/07/20/%E5%9B%9E%E5%BD%92%E5%88%86%E6%9E%90/</url>
<content type="html"><![CDATA[<h1 id="回归分析"><a href="#回归分析" class="headerlink" title="回归分析"></a>回归分析</h1><h2 id="回归"><a href="#回归" class="headerlink" title="回归"></a>回归</h2><p>回归是处理两个或两个以上的变量之间相互依赖的定量关系的一种统计方法和技术，变量之间的关系并非确定的函数关系，通过一定的概率分布来描述。</p><h3 id="线性回归"><a href="#线性回归" class="headerlink" title="线性回归"></a>线性回归</h3><h4 id="线性"><a href="#线性" class="headerlink" title="线性"></a>线性</h4><p>线性（Linear）的严格定义是一种映射关系，其映射关系满足可加性和其次性。通俗理解就是两个变量之间存在一次方函数关系，在平面坐标系中表现为一条直线。不满足线性即为非线性（non-linear）。</p><h4 id="线性回归-1"><a href="#线性回归-1" class="headerlink" title="线性回归"></a>线性回归</h4><p>线性回归（Linear Regression）：在回归分析中，如果自变量和因变量之间存在着线性关系，则被称为线性回归。如果只有一个因变量和一个自变量，则被称作一元线性回归，如果一个因变量多个自变量，则被称作多元回归。</p><h4 id="模型的一般形式"><a href="#模型的一般形式" class="headerlink" title="模型的一般形式"></a>模型的一般形式</h4><p><br></p><script type="math/tex; mode=display">y=f(x_1,x_2,x_3,...,x_p)+\varepsilon</script><p><br>其中$f(x_1,x_2,x_3,…,x_p)$为确定性关系，即表示因变量随自变量的变化关系。</p><p>$\varepsilon$表示随机误差（扰动项），包括：</p><ol><li>影响因素缺失</li><li>观测/测量误差</li><li>其他随机误差</li></ol><h4 id="几个基本假设"><a href="#几个基本假设" class="headerlink" title="几个基本假设"></a>几个基本假设</h4><ul><li>零均值：随机误差项均值为0，保证未考虑的因素对被解释变量没有系统性的影响</li><li>同方差：随机误差项方差相同，在给定x的情况下，$\varepsilon$的条件方差为某个常数$\sigma^2$</li><li>无自相关：两个$\varepsilon$之间不相关，<script type="math/tex">COV(\varepsilon_i,\varepsilon_j)=0,i \ne j</script></li><li>正态分布：$\varepsilon$符合正态分布<script type="math/tex">\varepsilon_i \sim N(0,\sigma^2)</script></li><li>解释变量：<script type="math/tex">x_1,x_2,...,x_p</script>是非随机变量，其观测值是常数</li><li>解释变量之间不存在精确的线性关系</li><li>样本个数要多于解释变量的个数</li></ul><h2 id="如何建立回归模型"><a href="#如何建立回归模型" class="headerlink" title="如何建立回归模型"></a>如何建立回归模型</h2><ol><li><p>需求分析明确变量</p><p> 了解相关需求，明确场景，清楚需要解释的指标（因变量），并根据相关业务知识选取与之有关的变量作为解释变量（自变量）。<br> 以波斯顿房价为例，需要分析的变量有：</p><ul><li>面积 </li><li>位置</li><li>房龄</li><li>……</li></ul></li><li><p>数据加工处理</p><p> 根据上一步分析得到的解释变量，去收集相关数据（时序数据、截面数据等），对得到的数据进行清洗、加工，并根据数据情况调整解释变量，并判断是否满足基本假设。</p></li><li><p>确定回归模型</p><p> 了解数据集，使用绘图工具绘制变量样本散点图或使用其他线性分析变量间的关系，根据结果选择回归模型，如：线性回归模型、指数形式的回归模型等。</p></li><li><p>模型参数估计</p><p> 模型确定后，基于收集、整理的样本数据，估计模型中的相关参数。最常用的方法是最小二乘法，在不满足基本假设的情况下还会采取岭回归，主成分回归、偏最小二乘法等。</p><ul><li>最小二乘法（Least Square Method）：也叫最小平方法，通过最小化误差的平方和寻找数据的最佳函数匹配的方法。</li></ul></li><li><p>模型的检验优化</p><p> 参数确定后，得到模型。此时需要对模型进行统计意义上的检验，包括对线性回归方程的显著性检验，回归系数的显著性检验，拟合优度检验，异方差检验，多重共线性检验等。还需要结合实际场景，判断该模型是否具有实际意义。</p><p> 显著性检验（significance test）就是事先对总体（随机变量）的参数或总体分布形式做出一个假设，然后利用样本信息来判断这个假设（备择假设）是否合理，即判断总体的真实情况与原假设是否有显著性差异。换言之，我们对总体做了一个假设，现在得到了总体中的一些样本，这些样本和我们假设的差异是否可以认为是机会变异造成的，还是由于我们假设不正确导致这些差异的。常见的检验有t检验，F检验等。</p></li><li><p>模型部署应用</p><p> 模型检验通过后，可以使用模型进行相关的分析、应用，包括因素分析、控制、预测等。</p></li></ol><h2 id="回归模型的特点"><a href="#回归模型的特点" class="headerlink" title="回归模型的特点"></a>回归模型的特点</h2><h3 id="优点"><a href="#优点" class="headerlink" title="优点"></a>优点</h3><ul><li>模型简单，建模和应用都比较容易</li><li>有坚实的统计理论支撑</li><li>定量分析各变量之间的关系</li><li>模型预测结果可以通过误差分析精确了解</li></ul><h3 id="缺点"><a href="#缺点" class="headerlink" title="缺点"></a>缺点</h3><ul><li>假设条件比较多且相对严格</li><li>变量选择对模型影响较大</li></ul>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> 机器学习 </tag>
</tags>
</entry>
<entry>
<title>Latex常用数学符号</title>
<link href="/2019/07/18/Latex%E5%B8%B8%E7%94%A8%E6%95%B0%E5%AD%A6%E7%AC%A6%E5%8F%B7/"/>
<url>/2019/07/18/Latex%E5%B8%B8%E7%94%A8%E6%95%B0%E5%AD%A6%E7%AC%A6%E5%8F%B7/</url>
<content type="html"><![CDATA[<h1 id="Latex常用数学符号"><a href="#Latex常用数学符号" class="headerlink" title="Latex常用数学符号"></a>Latex常用数学符号</h1><h2 id="数学模式重音符号"><a href="#数学模式重音符号" class="headerlink" title="数学模式重音符号"></a>数学模式重音符号</h2><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$\hat{a}$</td><td style="text-align:center"><code>\hat{a}</code></td><td style="text-align:center">$\check{a}$</td><td style="text-align:center"><code>\check{a}</code></td><td style="text-align:center">$\tilde{a}$</td><td style="text-align:center"><code>\tilde{a}</code></td></tr><tr><td style="text-align:center">$\grave{a}$</td><td style="text-align:center"><code>\grave{a}</code></td><td style="text-align:center">$\dot{a}$</td><td style="text-align:center"><code>\dot{a}</code></td><td style="text-align:center">$\ddot{a}$</td><td style="text-align:center"><code>\ddot{a}</code></td></tr><tr><td style="text-align:center">$\bar{a}$</td><td style="text-align:center"><code>\bar{a}</code></td><td style="text-align:center">$\vec{a}$</td><td style="text-align:center"><code>\vec{a}</code></td><td style="text-align:center">$\widehat{a}$</td><td style="text-align:center"><code>\widehat{a}</code></td></tr><tr><td style="text-align:center">$\acute{a}$</td><td style="text-align:center"><code>\acute{a}</code></td><td style="text-align:center">$\breve{a}$</td><td style="text-align:center"><code>\breve{a}</code></td><td style="text-align:center">$\widetilde{a}$</td><td style="text-align:center"><code>\widetilde{a}</code></td></tr></tbody></table></div><h2 id="希腊字母"><a href="#希腊字母" class="headerlink" title="希腊字母"></a>希腊字母</h2><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$\alpha$</td><td style="text-align:center"><code>\alpha</code></td><td style="text-align:center">$\theta$</td><td style="text-align:center"><code>\theta</code></td><td style="text-align:center">$o$</td><td style="text-align:center"><code>o</code></td><td style="text-align:center">$\upsilon$</td><td style="text-align:center"><code>\upsilon</code></td></tr><tr><td style="text-align:center">$\beta$</td><td style="text-align:center"><code>\beta</code></td><td style="text-align:center">$\vartheta$</td><td style="text-align:center"><code>\vartheta</code></td><td style="text-align:center">$\pi$</td><td style="text-align:center"><code>\pi</code></td><td style="text-align:center">$\phi$</td><td style="text-align:center"><code>\phi</code></td></tr><tr><td style="text-align:center">$\gamma$</td><td style="text-align:center"><code>\gamma</code></td><td style="text-align:center">$\iota$</td><td style="text-align:center"><code>\iota</code></td><td style="text-align:center">$\varpi$</td><td style="text-align:center"><code>\varpi</code></td><td style="text-align:center">$\varphi$</td><td style="text-align:center"><code>\varphi</code></td></tr><tr><td style="text-align:center">$\delta$</td><td style="text-align:center"><code>\delta</code></td><td style="text-align:center">$\kappa$</td><td style="text-align:center"><code>\kappa</code></td><td style="text-align:center">$\rho$</td><td style="text-align:center"><code>\rho</code></td><td style="text-align:center">$\chi$</td><td style="text-align:center"><code>\chi</code></td></tr><tr><td style="text-align:center">$\epsilon$</td><td style="text-align:center"><code>\epsilon</code></td><td style="text-align:center">$\lambda$</td><td style="text-align:center"><code>\lambda</code></td><td style="text-align:center">$\varrho$</td><td style="text-align:center"><code>\varrho</code></td><td style="text-align:center">$\psi$</td><td style="text-align:center"><code>\psi</code></td></tr><tr><td style="text-align:center">$\varepsilon$</td><td style="text-align:center"><code>\varepsilon</code></td><td style="text-align:center">$\mu$</td><td style="text-align:center"><code>\mu</code></td><td style="text-align:center">$\sigma$</td><td style="text-align:center"><code>\sigma</code></td><td style="text-align:center">$\omega$</td><td style="text-align:center"><code>\omega</code></td></tr><tr><td style="text-align:center">$\zeta$</td><td style="text-align:center"><code>\zeta</code></td><td style="text-align:center">$\nu$</td><td style="text-align:center"><code>\nu</code></td><td style="text-align:center">$\varsigma$</td><td style="text-align:center"><code>\varsigma</code></td><td style="text-align:center"></td><td style="text-align:center"></td></tr><tr><td style="text-align:center">$\eta$</td><td style="text-align:center"><code>\eta</code></td><td style="text-align:center">$\xi$</td><td style="text-align:center"><code>\xi</code></td><td style="text-align:center">$\tau$</td><td style="text-align:center"><code>\tau</code></td><td style="text-align:center"></td><td style="text-align:center"></td></tr><tr><td style="text-align:center">$\Gamma$</td><td style="text-align:center"><code>\Gamma</code></td><td style="text-align:center">$\Lambda$</td><td style="text-align:center"><code>\Lambda</code></td><td style="text-align:center">$\Sigma$</td><td style="text-align:center"><code>\Sigma</code></td><td style="text-align:center">$\Psi$</td><td style="text-align:center"><code>\Psi</code></td></tr><tr><td style="text-align:center">$\Delta$</td><td style="text-align:center"><code>\Delta</code></td><td style="text-align:center">$\Xi$</td><td style="text-align:center"><code>\Xi</code></td><td style="text-align:center">$\Upsilon$</td><td style="text-align:center"><code>\Upsilon</code></td><td style="text-align:center">$\Omega$</td><td style="text-align:center"><code>\Omega</code></td></tr><tr><td style="text-align:center">$\Theta$</td><td style="text-align:center"><code>\Theta</code></td><td style="text-align:center">$\Pi$</td><td style="text-align:center"><code>\Pi</code></td><td style="text-align:center">$\Phi$</td><td style="text-align:center"><code>\Phi</code></td><td style="text-align:center"></td></tr></tbody></table></div><h2 id="二元关系"><a href="#二元关系" class="headerlink" title="二元关系"></a>二元关系</h2><ul><li>你可以在下列符号的相应命令前加上<code>\not</code>命令，而得到其否定形式。</li></ul><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$<$</td><td style="text-align:center"><code><</code></td><td style="text-align:center">$>$</td><td style="text-align:center"><code>></code></td><td style="text-align:center">$=$</td><td style="text-align:center"><code>=</code></td></tr><tr><td style="text-align:center">$\leq$</td><td style="text-align:center"><code>\leq</code>or<code>\le</code></td><td style="text-align:center">$\geq$</td><td style="text-align:center"><code>\geq</code>or<code>\ge</code></td><td style="text-align:center">$\equiv$</td><td style="text-align:center"><code>\equiv</code></td></tr><tr><td style="text-align:center">$\ll$</td><td style="text-align:center"><code>\ll</code></td><td style="text-align:center">$\gg$</td><td style="text-align:center"><code>\gg</code></td><td style="text-align:center">$\doteq$</td><td style="text-align:center"><code>\doteq</code></td></tr><tr><td style="text-align:center">$\prec$</td><td style="text-align:center"><code>\prec</code></td><td style="text-align:center">$\succ$</td><td style="text-align:center"><code>\succ</code></td><td style="text-align:center">$\sim$</td><td style="text-align:center"><code>\sim</code></td></tr><tr><td style="text-align:center">$\preceq$</td><td style="text-align:center"><code>\preceq</code></td><td style="text-align:center">$\succeq$</td><td style="text-align:center"><code>\succeq</code></td><td style="text-align:center">$\simeq$</td><td style="text-align:center"><code>\simeq</code></td></tr><tr><td style="text-align:center">$\subset$</td><td style="text-align:center"><code>\subset</code></td><td style="text-align:center">$\supset$</td><td style="text-align:center"><code>\supset</code></td><td style="text-align:center">$\approx$</td><td style="text-align:center"><code>\approx</code></td></tr><tr><td style="text-align:center">$\subseteq$</td><td style="text-align:center"><code>\subseteq</code></td><td style="text-align:center">$\supseteq$</td><td style="text-align:center"><code>\supseteq</code></td><td style="text-align:center">$\cong$</td><td style="text-align:center"><code>\cong</code></td></tr><tr><td style="text-align:center">$\sqsubset$</td><td style="text-align:center"><code>\sqsubset</code></td><td style="text-align:center">$\sqsupset$</td><td style="text-align:center"><code>\sqsupset</code></td><td style="text-align:center">$\Join$</td><td style="text-align:center"><code>\Join</code></td></tr><tr><td style="text-align:center">$\sqsubseteq$</td><td style="text-align:center"><code>\sqsubseteq</code></td><td style="text-align:center">$\sqsupseteq$</td><td style="text-align:center"><code>\sqsupseteq</code></td><td style="text-align:center">$\bowtie$</td><td style="text-align:center"><code>\bowtie</code></td></tr><tr><td style="text-align:center">$\in$</td><td style="text-align:center"><code>\in</code></td><td style="text-align:center">$\ni$</td><td style="text-align:center"><code>\ni</code>or<code>\owns</code></td><td style="text-align:center">$\propto$</td><td style="text-align:center"><code>\propto</code></td></tr><tr><td style="text-align:center">$\vdash$</td><td style="text-align:center"><code>\vdash</code></td><td style="text-align:center">$\dashv$</td><td style="text-align:center"><code>\dashv</code></td><td style="text-align:center">$\models$</td><td style="text-align:center"><code>\models</code></td></tr><tr><td style="text-align:center">$\mid$</td><td style="text-align:center"><code>\mid</code></td><td style="text-align:center">$\parallel$</td><td style="text-align:center"><code>\parallel</code></td><td style="text-align:center">$\perp$</td><td style="text-align:center"><code>\perp</code></td></tr><tr><td style="text-align:center">$\smile$</td><td style="text-align:center"><code>\smile</code></td><td style="text-align:center">$\frown$</td><td style="text-align:center"><code>\frown</code></td><td style="text-align:center">$\asymp$</td><td style="text-align:center"><code>\asymp</code></td></tr><tr><td style="text-align:center">$:$</td><td style="text-align:center"><code>:</code></td><td style="text-align:center">$\notin$</td><td style="text-align:center"><code>\notin</code></td><td style="text-align:center">$\neq$</td><td style="text-align:center"><code>\neq</code>or <code>\ne</code></td></tr></tbody></table></div><h2 id="二元运算符"><a href="#二元运算符" class="headerlink" title="二元运算符"></a>二元运算符</h2><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$+$</td><td style="text-align:center"><code>+</code></td><td style="text-align:center">$-$</td><td style="text-align:center"><code>-</code></td><td style="text-align:center"></td><td style="text-align:center"></td></tr><tr><td style="text-align:center">$\pm$</td><td style="text-align:center"><code>\pm</code></td><td style="text-align:center">$\mp$</td><td style="text-align:center"><code>\mp</code></td><td style="text-align:center">$\triangleleft$</td><td style="text-align:center"><code>\triangleleft</code></td></tr><tr><td style="text-align:center">$\cdot$</td><td style="text-align:center"><code>\cdot</code></td><td style="text-align:center">$\div$</td><td style="text-align:center"><code>\div</code></td><td style="text-align:center">$\triangleright$</td><td style="text-align:center"><code>\triangleright</code></td></tr><tr><td style="text-align:center">$\times$</td><td style="text-align:center"><code>\times</code></td><td style="text-align:center">$\setminus$</td><td style="text-align:center"><code>\setminus</code></td><td style="text-align:center">$\star$</td><td style="text-align:center"><code>\star</code></td></tr><tr><td style="text-align:center">$\cup$</td><td style="text-align:center"><code>\cup</code></td><td style="text-align:center">$\cap$</td><td style="text-align:center"><code>\cap</code></td><td style="text-align:center">$\ast$</td><td style="text-align:center"><code>\ast</code></td></tr><tr><td style="text-align:center">$\sqcup$</td><td style="text-align:center"><code>\sqcup</code></td><td style="text-align:center">$\sqcap$</td><td style="text-align:center"><code>\sqcap</code></td><td style="text-align:center">$\circ$</td><td style="text-align:center"><code>\circ</code></td></tr><tr><td style="text-align:center">$\vee$</td><td style="text-align:center"><code>\vee</code>or<code>\lor</code></td><td style="text-align:center">$\wedge$</td><td style="text-align:center"><code>\wedge</code>or<code>\land</code></td><td style="text-align:center">$\bullet$</td><td style="text-align:center"><code>\bullet</code></td></tr><tr><td style="text-align:center">$\oplus$</td><td style="text-align:center"><code>\oplus</code></td><td style="text-align:center">$\ominus$</td><td style="text-align:center"><code>\ominus</code></td><td style="text-align:center">$\diamond$</td><td style="text-align:center"><code>\diamond</code></td></tr><tr><td style="text-align:center">$\odot$</td><td style="text-align:center"><code>\odot</code></td><td style="text-align:center">$\oslash$</td><td style="text-align:center"><code>\oslash</code></td><td style="text-align:center">$\uplus$</td><td style="text-align:center"><code>\uplus</code></td></tr><tr><td style="text-align:center">$\otimes$</td><td style="text-align:center"><code>\otimes</code></td><td style="text-align:center">$\bigcirc$</td><td style="text-align:center"><code>\bigcirc</code></td><td style="text-align:center">$\amalg$</td><td style="text-align:center"><code>\amalg</code></td></tr><tr><td style="text-align:center">$\bigtriangleup$</td><td style="text-align:center"><code>\bigtriangleup</code></td><td style="text-align:center">$\bigtriangledown$</td><td style="text-align:center"><code>\bigtriangledown</code></td><td style="text-align:center">$\dagger$</td><td style="text-align:center"><code>\dagger</code></td></tr><tr><td style="text-align:center">$\lhd$</td><td style="text-align:center"><code>\lhd</code></td><td style="text-align:center">$\rhd$</td><td style="text-align:center"><code>\rhd</code></td><td style="text-align:center">$\ddagger$</td><td style="text-align:center"><code>\ddagger</code></td></tr><tr><td style="text-align:center">$\unlhd$</td><td style="text-align:center"><code>\unlhd</code></td><td style="text-align:center">$\unrhd$</td><td style="text-align:center"><code>\unrhd</code></td><td style="text-align:center">$\wr$</td><td style="text-align:center"><code>\wr</code></td></tr></tbody></table></div><h2 id="“大”运算符"><a href="#“大”运算符" class="headerlink" title="“大”运算符"></a>“大”运算符</h2><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$\sum$</td><td style="text-align:center"><code>\sum</code></td><td style="text-align:center">$\bigcup$</td><td style="text-align:center"><code>\bigcup</code></td><td style="text-align:center">$\bigvee$</td><td style="text-align:center"><code>\bigvee</code></td></tr><tr><td style="text-align:center">$\prod$</td><td style="text-align:center"><code>\prod</code></td><td style="text-align:center">$\bigcap$</td><td style="text-align:center"><code>\bigcap</code></td><td style="text-align:center">$\bigwedge$</td><td style="text-align:center"><code>\bigwedge</code></td></tr><tr><td style="text-align:center">$\coprod$</td><td style="text-align:center"><code>\coprod</code></td><td style="text-align:center">$\bigsqcup$</td><td style="text-align:center"><code>\bigsqcup</code></td><td style="text-align:center">$\biguplus$</td><td style="text-align:center"><code>\biguplus</code></td></tr><tr><td style="text-align:center">$\int$</td><td style="text-align:center"><code>\int</code></td><td style="text-align:center">$\oint$</td><td style="text-align:center"><code>\oint</code></td><td style="text-align:center">$\bigodot$</td><td style="text-align:center"><code>\bigodot</code></td></tr><tr><td style="text-align:center">$\bigoplus$</td><td style="text-align:center"><code>\bigoplus</code></td><td style="text-align:center">$\bigotimes$</td><td style="text-align:center"><code>\bigotimes</code></td><td style="text-align:center">$\bigcup\limits_{i=1}^{\infty}$</td><td style="text-align:center"><code>\bigcup\limits_{i=1}^{\infty}</code></td></tr></tbody></table></div><h2 id="箭头"><a href="#箭头" class="headerlink" title="箭头"></a>箭头</h2><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$\leftarrow$</td><td style="text-align:center"><code>\leftarrow</code>or<code>\gets</code></td><td style="text-align:center">$\longleftarrow$</td><td style="text-align:center"><code>\longleftarrow</code></td></tr><tr><td style="text-align:center">$\rightarrow$</td><td style="text-align:center"><code>\rightarrow</code>or<code>\to</code></td><td style="text-align:center">$\longrightarrow$</td><td style="text-align:center"><code>\longrightarrow</code></td></tr><tr><td style="text-align:center">$\leftrightarrow$</td><td style="text-align:center"><code>\leftrightarrow</code></td><td style="text-align:center">$\longleftrightarrow$</td><td style="text-align:center"><code>\longleftrightarrow</code></td></tr><tr><td style="text-align:center">$\Leftarrow$</td><td style="text-align:center"><code>\Leftarrow</code></td><td style="text-align:center">$\Longleftarrow$</td><td style="text-align:center"><code>\Longleftarrow</code></td></tr><tr><td style="text-align:center">$\Rightarrow$</td><td style="text-align:center"><code>\Rightarrow</code></td><td style="text-align:center">$\Longrightarrow$</td><td style="text-align:center"><code>\Longrightarrow</code></td></tr><tr><td style="text-align:center">$\Leftrightarrow$</td><td style="text-align:center"><code>\Leftrightarrow</code></td><td style="text-align:center">$\Longleftrightarrow$</td><td style="text-align:center"><code>\Longleftrightarrow</code></td></tr><tr><td style="text-align:center">$\mapsto$</td><td style="text-align:center"><code>\mapsto</code></td><td style="text-align:center">$\longmapsto$</td><td style="text-align:center"><code>\longmapsto</code></td></tr><tr><td style="text-align:center">$\hookleftarrow$</td><td style="text-align:center"><code>\hookleftarrow</code></td><td style="text-align:center">$\hookrightarrow$</td><td style="text-align:center"><code>\hookrightarrow</code></td></tr><tr><td style="text-align:center">$\leftharpoonup$</td><td style="text-align:center"><code>\leftharpoonup</code></td><td style="text-align:center">$\rightharpoonup$</td><td style="text-align:center"><code>\rightharpoonup</code></td></tr><tr><td style="text-align:center">$\leftharpoondown$</td><td style="text-align:center"><code>\leftharpoondown</code></td><td style="text-align:center">$\rightharpoondown$</td><td style="text-align:center"><code>\rightharpoondown</code></td></tr><tr><td style="text-align:center">$\rightleftharpoons$</td><td style="text-align:center"><code>\rightleftharpoons</code></td><td style="text-align:center">$\iff$</td><td style="text-align:center"><code>\iff</code></td></tr><tr><td style="text-align:center">$\uparrow$</td><td style="text-align:center"><code>\uparrow</code></td><td style="text-align:center">$\downarrow$</td><td style="text-align:center"><code>\downarrow</code></td></tr><tr><td style="text-align:center">$\updownarrow$</td><td style="text-align:center"><code>\updownarrow</code></td><td style="text-align:center">$\Uparrow$</td><td style="text-align:center"><code>\Uparrow</code></td></tr><tr><td style="text-align:center">$\Downarrow$</td><td style="text-align:center"><code>\Downarrow</code></td><td style="text-align:center">$\Updownarrow$</td><td style="text-align:center"><code>\Updownarrow</code></td></tr><tr><td style="text-align:center">$\nearrow$</td><td style="text-align:center"><code>\nearrow</code></td><td style="text-align:center">$\searrow$</td><td style="text-align:center"><code>\searrow</code></td></tr><tr><td style="text-align:center">$\swarrow$</td><td style="text-align:center"><code>\swarrow</code></td><td style="text-align:center">$\nwarrow$</td><td style="text-align:center"><code>\nwarrow</code></td></tr><tr><td style="text-align:center">$\leadsto$</td><td style="text-align:center"><code>\leadsto</code></td><td style="text-align:center"></td></tr></tbody></table></div><h2 id="定界符"><a href="#定界符" class="headerlink" title="定界符"></a>定界符</h2><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$（$</td><td style="text-align:center"><code>（</code></td><td style="text-align:center">$）$</td><td style="text-align:center"><code>）</code></td><td style="text-align:center">$\uparrow$</td><td style="text-align:center"><code>\uparrow</code></td></tr><tr><td style="text-align:center">$[$</td><td style="text-align:center"><code>[</code> or <code>\lbrack</code></td><td style="text-align:center">$]$</td><td style="text-align:center"><code>]</code> or <code>\rbrack</code></td><td style="text-align:center">$\downarrow$</td><td style="text-align:center"><code>\downarrow</code></td></tr><tr><td style="text-align:center">$\{$</td><td style="text-align:center"><code>\{</code>or<code>\lbrace</code></td><td style="text-align:center">$\}$</td><td style="text-align:center"><code>\}</code>or<code>\rbrace</code></td><td style="text-align:center">$\updownarrow$</td><td style="text-align:center"><code>\updownarrow</code></td></tr><tr><td style="text-align:center">$\langle$</td><td style="text-align:center"><code>\langle</code></td><td style="text-align:center">$\rangle$</td><td style="text-align:center"><code>\rangle</code></td><td style="text-align:center">$\vert$</td><td style="text-align:center"><code>(竖线)</code> or<code>\vert</code></td></tr><tr><td style="text-align:center">$\lfloor$</td><td style="text-align:center"><code>\lfloor</code></td><td style="text-align:center">$\rfloor$</td><td style="text-align:center"><code>\rfloor</code></td><td style="text-align:center">$\lceil$</td><td style="text-align:center"><code>\lceil</code></td></tr><tr><td style="text-align:center">$/$</td><td style="text-align:center"><code>/</code></td><td style="text-align:center">$\backslash$</td><td style="text-align:center"><code>\backslash</code></td><td style="text-align:center">$\Updownarrow$</td><td style="text-align:center"><code>\Updownarrow</code></td></tr><tr><td style="text-align:center">$\Uparrow$</td><td style="text-align:center"><code>\Uparrow</code></td><td style="text-align:center">$\Downarrow$</td><td style="text-align:center"><code>\Downarrow</code></td><td style="text-align:center">$\Vert$</td><td style="text-align:center"><code>\(竖线)</code>or<code>\Vert</code></td></tr><tr><td style="text-align:center">$\rceil$</td><td style="text-align:center"><code>\rceil</code></td><td style="text-align:center">空格</td><td style="text-align:center"><code>\（空格）</code></td><td style="text-align:center"></td></tr></tbody></table></div><h2 id="大定界符"><a href="#大定界符" class="headerlink" title="大定界符"></a>大定界符</h2><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$\lgroup$</td><td style="text-align:center"><code>\lgroup</code></td><td style="text-align:center">$\rgroup$</td><td style="text-align:center"><code>\rgroup</code></td><td style="text-align:center">$\lmoustache$</td><td style="text-align:center"><code>\lmoustache</code></td></tr><tr><td style="text-align:center">$\arrowvert$</td><td style="text-align:center"><code>\arrowvert</code></td><td style="text-align:center">$\Arrowvert$</td><td style="text-align:center"><code>\Arrowvert</code></td><td style="text-align:center">$\bracevert$</td><td style="text-align:center"><code>\bracevert</code></td></tr><tr><td style="text-align:center">$\rmoustache$</td><td style="text-align:center"><code>\rmoustache</code></td><td style="text-align:center"></td><td style="text-align:center"></td><td style="text-align:center"></td></tr></tbody></table></div><h2 id="其他符号"><a href="#其他符号" class="headerlink" title="其他符号"></a>其他符号</h2><div class="table-container"><table><thead><tr><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th><th style="text-align:center">符号</th><th style="text-align:center">表示方式</th></tr></thead><tbody><tr><td style="text-align:center">$\dots$</td><td style="text-align:center"><code>\dots</code></td><td style="text-align:center">$\cdots$</td><td style="text-align:center"><code>\cdots</code></td><td style="text-align:center">$\vdots$</td><td style="text-align:center"><code>\vdots</code></td><td style="text-align:center">$\ddots$</td><td style="text-align:center"><code>\ddots</code></td></tr><tr><td style="text-align:center">$\hbar$</td><td style="text-align:center"><code>\hbar</code></td><td style="text-align:center">$\imath$</td><td style="text-align:center"><code>\imath</code></td><td style="text-align:center">$\jmath$</td><td style="text-align:center"><code>\jmath</code></td><td style="text-align:center">$\ell$</td><td style="text-align:center"><code>\ell</code></td></tr><tr><td style="text-align:center">$\Re$</td><td style="text-align:center"><code>\Re</code></td><td style="text-align:center">$\Im$</td><td style="text-align:center"><code>\Im</code></td><td style="text-align:center">$\aleph$</td><td style="text-align:center"><code>\aleph</code></td><td style="text-align:center">$\wp$</td><td style="text-align:center"><code>\wp</code></td></tr><tr><td style="text-align:center">$\forall$</td><td style="text-align:center"><code>\forall</code></td><td style="text-align:center">$\exists$</td><td style="text-align:center"><code>\exists</code></td><td style="text-align:center">$\mho$</td><td style="text-align:center"><code>\mho</code></td><td style="text-align:center">$\partial$</td><td style="text-align:center"><code>\partial</code></td></tr><tr><td style="text-align:center">$’$</td><td style="text-align:center"><code>'</code></td><td style="text-align:center">$\prime$</td><td style="text-align:center"><code>\prime</code></td><td style="text-align:center">$\emptyset$</td><td style="text-align:center"><code>\emptyset</code></td><td style="text-align:center">$\infty$</td><td style="text-align:center"><code>\infty</code></td></tr><tr><td style="text-align:center">$nabla$</td><td style="text-align:center"><code>\nabla</code></td><td style="text-align:center">$\triangle$</td><td style="text-align:center"><code>\triangle</code></td><td style="text-align:center">$\Box$</td><td style="text-align:center"><code>\Box</code></td><td style="text-align:center">$\Diamond$</td><td style="text-align:center"><code>\Diamond</code></td></tr><tr><td style="text-align:center">$\bot$</td><td style="text-align:center"><code>\bot</code></td><td style="text-align:center">$\top$</td><td style="text-align:center"><code>\top</code></td><td style="text-align:center">$\angle$</td><td style="text-align:center"><code>\angle</code></td><td style="text-align:center">$\surd$</td><td style="text-align:center"><code>\surd</code></td></tr><tr><td style="text-align:center">$\diamondsuit$</td><td style="text-align:center"><code>\diamondsuit</code></td><td style="text-align:center">$\heartsuit$</td><td style="text-align:center"><code>\heartsuit</code></td><td style="text-align:center">$\clubsuit$</td><td style="text-align:center"><code>\clubsuit</code></td><td style="text-align:center">$\spadesuit$</td><td style="text-align:center"><code>\spadesuit</code></td></tr><tr><td style="text-align:center">$\neg$</td><td style="text-align:center"><code>\neg</code>or<code>lnot</code></td><td style="text-align:center">$\flat$</td><td style="text-align:center"><code>\flat</code></td><td style="text-align:center">$\natural$</td><td style="text-align:center"><code>\natural</code></td><td style="text-align:center">$\sharp$</td><td style="text-align:center"><code>\sharp</code></td></tr></tbody></table></div><h2 id="参考资料和相关网址"><a href="#参考资料和相关网址" class="headerlink" title="参考资料和相关网址"></a>参考资料和相关网址</h2><p>Latex常用数学符号：<a href="https://www.cnblogs.com/zhyantao/p/10390268.html" target="_blank" rel="noopener">https://www.cnblogs.com/zhyantao/p/10390268.html</a></p>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
</tags>
</entry>
<entry>
<title>模型的性能度量</title>
<link href="/2019/07/18/%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%80%A7%E8%83%BD%E5%BA%A6%E9%87%8F/"/>
<url>/2019/07/18/%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%80%A7%E8%83%BD%E5%BA%A6%E9%87%8F/</url>
<content type="html"><![CDATA[<h1 id="模型的性能度量"><a href="#模型的性能度量" class="headerlink" title="模型的性能度量"></a>模型的性能度量</h1><p>性能度量：评价模型泛化能力的标准。</p><h2 id="均方误差"><a href="#均方误差" class="headerlink" title="均方误差"></a>均方误差</h2><p>回归模型的性能度量通常选用均方误差（Mean Squared Error）。<br><img src="/images/81w3416-bd9e4acderdsa3.png" alt></p><h2 id="分类算法的性能度量"><a href="#分类算法的性能度量" class="headerlink" title="分类算法的性能度量"></a>分类算法的性能度量</h2><ul><li>错误率：分类错误的样本占总样本的比例。</li><li>精度：分类正确的样本占总样本的比例。</li><li>查准率：预测结果为正的样本中实际值也为正的比例。（例如：一个50个的样本，10个是标记为正确的，模型找到19个是正确的，这19个中包含9个是标记为正确的，此时查准率为9/19）</li><li>查全率：实际值为正的样本中被预测为正的样本比例（例如：一个50个的样本，10个是标记为正确的，模型找到19个是正确的，这19个中包含9个是标记为正确的，此时查准率为9/10）</li><li>P-R曲线：查准率-查全率曲线.</li><li>混淆矩阵：将预测分类结果和实际分类结果做成矩阵的形式显示。</li><li>$F_\beta$-score:$\beta$值的不同体现了对查全率和查准率的不同倾向，其公式为<script type="math/tex">F_\beta=\frac{(1+\beta^2)*P*R}{\beta^2*P+R}</script></li><li>受试者特征曲线（ROC）和曲线下面积（AUC）：TPR-FPR曲线（真正例率-假正例率曲线）<br>正确肯定（True Positive,TP）：预测为真，实际为真<br>正确否定（True Negative,TN）：预测为假，实际为假<br>错误肯定（False Positive,FP）：预测为真，实际为假<br>错误否定（False Negative,FN）：预测为假，实际为真</li><li>代价曲线：不同类型的预测错误对结果影响不同而增加代价（cost），绘制$P(+)cost-{cost}_{norm}$曲线</li></ul><h2 id="聚类算法的性能量度"><a href="#聚类算法的性能量度" class="headerlink" title="聚类算法的性能量度"></a>聚类算法的性能量度</h2><ul><li>外部指标（External Index）：将聚类结果同某个参考模型进行比较<br><ol><li>Jaccrd系数（Jaccrd Coefficient,JC）：<script type="math/tex">JC=\frac{a}{a+b+c}</script></li><li>FM指数（Fowlkes and Mallows Index,FMI）：<script type="math/tex">FMI=\sqrt {\frac{a}{a+b}*\frac{a}{a+c}}</script></li><li>Rand指数（Rand Index,RI）：<script type="math/tex">RI=\frac{2(a+d)}{m(m-1)}</script></li></ol></li><li>内部指标（Internal Index）：不使用参考模型直接考察聚类结果<br><ol><li>DB指数（Davise-Bouldin Index，DBI）：<script type="math/tex">DBI=\frac{1}{k} \sum_1^k \max\limits_{j \ne i} \left(\frac{avg(C_i)+avg(C_j)}{d_{cen}(u_i,u_j)}\ \right)</script></li><li>Dunn指数（Dunn Index，DI）：<script type="math/tex">DI=\min\limits_{i \le j \le k}\{\min\limits_{j\ne i}\left(\frac{d_{min}(c_i,c_j)}{\max\limits_{1 \le l \le k}diam(c_l)}\ \right)\}</script></li></ol></li></ul><h1 id="参考资料和相关网址"><a href="#参考资料和相关网址" class="headerlink" title="参考资料和相关网址"></a>参考资料和相关网址</h1><p>[吴恩达机器学习笔记]11机器学习系统设计3-4/查全率/查准率/F1分数：<a href="https://www.cnblogs.com/cloud-ken/p/9588318.html" target="_blank" rel="noopener">https://www.cnblogs.com/cloud-ken/p/9588318.html</a></p>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> 机器学习 </tag>
</tags>
</entry>
<entry>
<title>模型评估与选择</title>
<link href="/2019/07/15/%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BC%B0%E4%B8%8E%E9%80%89%E6%8B%A9/"/>
<url>/2019/07/15/%E6%A8%A1%E5%9E%8B%E8%AF%84%E4%BC%B0%E4%B8%8E%E9%80%89%E6%8B%A9/</url>
<content type="html"><![CDATA[<h1 id="模型评估与选择"><a href="#模型评估与选择" class="headerlink" title="模型评估与选择"></a>模型评估与选择</h1><h2 id="模型选择"><a href="#模型选择" class="headerlink" title="模型选择"></a>模型选择</h2><h3 id="误差"><a href="#误差" class="headerlink" title="误差"></a>误差</h3><h4 id="误差-1"><a href="#误差-1" class="headerlink" title="误差"></a>误差</h4><p>误差（Error）：是模型的预测输出值与其真实值之间的差异。</p><h4 id="训练"><a href="#训练" class="headerlink" title="训练"></a>训练</h4><p>训练（Training）：通过已知的样本数据进行学习，从而得到模型的过程。</p><h4 id="训练误差"><a href="#训练误差" class="headerlink" title="训练误差"></a>训练误差</h4><p>训练误差（Training Error）：模型作用于训练集时的误差。</p><h4 id="泛化"><a href="#泛化" class="headerlink" title="泛化"></a>泛化</h4><p>泛化（Generalize）：由具体的、个别的扩大为一般的，即从特殊到一般，称为泛化。对机器学习的模型来讲，泛化是指模型作用于新的样本数据（非训练集）。</p><h4 id="泛化误差"><a href="#泛化误差" class="headerlink" title="泛化误差"></a>泛化误差</h4><p>泛化误差（Generalize Error）：模型作用于新的样本数据时的误差。</p><p><img src="/images/8166116-bd9e4acdf2460fa3.png" alt></p><hr><h3 id="欠拟合和过拟合"><a href="#欠拟合和过拟合" class="headerlink" title="欠拟合和过拟合"></a>欠拟合和过拟合</h3><h4 id="模型容量"><a href="#模型容量" class="headerlink" title="模型容量"></a>模型容量</h4><p>模型容量（Model Capacity）：是指其你和各种模型的能力。</p><h4 id="过拟合"><a href="#过拟合" class="headerlink" title="过拟合"></a>过拟合</h4><p>过拟合（Overfitting）：是某个模型在训练集上表现得很好，但是在新样本上表现差。模型将训练集的特征学习得太好，导致一些非普遍规律被模型接纳和体现，从而在训练集上表现好，但是对于新样本表现差，反之则称为欠拟合（Underfitting），即模型对训练集的一半性质学习较差，模型作用于训练集时表现不好。</p><h3 id="模型选择-1"><a href="#模型选择-1" class="headerlink" title="模型选择"></a>模型选择</h3><p>模型选择（Model Selection）：针对某个具体的任务，通常会有多种模型可供选择，对同一个模型也会有多组参数，可以通过分析、评估模型的泛化误差，选择泛化误差最小的模型。</p><p>选择图中红线位置的模型：</p><p><img src="/images/8166116-bd9e4acdf2460f223.png" alt></p><hr><h2 id="模型评估"><a href="#模型评估" class="headerlink" title="模型评估"></a>模型评估</h2><h3 id="评估思路"><a href="#评估思路" class="headerlink" title="评估思路"></a>评估思路</h3><p>通过实验测试，对模型的泛化误差进行评估，选出泛化误差最小的耳模型。待测数据集全集未知，使用测试集进行泛化测试，测试误差（Testing Error）即为泛化误差近似。</p><p><img src="/images/8166116-bd9e4acderdsa3.png" alt></p><hr><h3 id="评估方法"><a href="#评估方法" class="headerlink" title="评估方法"></a>评估方法</h3><h4 id="1-留出法"><a href="#1-留出法" class="headerlink" title="1. 留出法"></a>1. 留出法</h4><p>留出法（Hold-out）：将已知数据集分成两个互斥的部分，其中一部分用来训练模型，另一部分用来测试模型，评估其误差，作为泛化误差的估计。</p><ul><li><p><strong>两个数据集的划分要尽可能保持数据分布一致性，避免因数据划分过程引入为的偏差。</strong></p></li><li><p><strong>数据分割存在多种形式会导致不同的训练集、测试集划分，单次留出法结果往往存在偶然性，其稳定性较差，通常会进行若干次随机划分、重复实验评估取平均值作为评估结果。</strong></p></li><li><p><strong>数据集拆分成两部分，每部分的规模设置回影响评估结果，测试、训练的比例通常为7:3、8:2等</strong></p></li></ul><h4 id="2-交叉验证法"><a href="#2-交叉验证法" class="headerlink" title="2. 交叉验证法"></a>2. 交叉验证法</h4><p>交叉验证法（Cross Validation）：将数据集划分k个大小相似的互斥的数据子集，子集数据尽可能保证数据分布的一致性（分层采样），每次从中选取一个数据集作为测试集，其余用作训练集，可以进行k次训练和测试，得到评估均值。该验证方法也称作k折交叉验证（k-fold Cross Validation）。使用不同划分，重复p次，称为p次k折交叉验证。</p><p><img src="/images/8166116-bd9e4acdf24634fa2.png" alt></p><h4 id="3-留一法"><a href="#3-留一法" class="headerlink" title="3. 留一法"></a>3. 留一法</h4><p>留一法（Leave-One-Out，简称LOO）。是k折交叉验证的特殊形式，将数据集分为两个，其中一个数据集记录条数为一，作为测试集使用，其余记录作为训练集训练模型。因此，留一法的评估结果往往被认为比较准确。然而，在数据集比较大时，训练次数和计算规模较大。另外，留一法的估计结果也未必永远比其他评估方法准确。</p><h4 id="4-自助法"><a href="#4-自助法" class="headerlink" title="4. 自助法"></a>4. 自助法</h4><p>自助法（Bootstrapping）：是一种产生样本的抽样方法，其实质是有放回的随机抽样。即从已知数据集中随机抽取一条记录，然后将该记录放入测试集同时放回原数据集，继续下一次抽样，直到测试集中的数据条数满足要求。</p><p><img src="/images/816611349e4acdf24634fa2.png" alt></p>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> 机器学习 </tag>
</tags>
</entry>
<entry>
<title>机器学习方法总结</title>
<link href="/2019/07/15/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E6%80%BB%E7%BB%93/"/>
<url>/2019/07/15/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E6%80%BB%E7%BB%93/</url>
<content type="html"><![CDATA[<h2 id="机器学习的基本概念"><a href="#机器学习的基本概念" class="headerlink" title="机器学习的基本概念"></a>机器学习的基本概念</h2><h3 id="输入空间"><a href="#输入空间" class="headerlink" title="输入空间"></a>输入空间</h3><p>输入‘X’可能取值的集合就是输入空间（input space）。输入空间可以是有限集合空间，也可以是整个欧式空间。</p><h3 id="输出空间"><a href="#输出空间" class="headerlink" title="输出空间"></a>输出空间</h3><p>输出‘Y’可能取值的集合就是输出空间（output space）。输出空间可以是有限集合空间，也可以是整个欧式空间。</p><h3 id="假设空间"><a href="#假设空间" class="headerlink" title="假设空间"></a>假设空间</h3><p>假设空间一般是对于学习到的模型而言的。模型表达了输入到输出的一种映射集合，这个集合就是假设空间，假设空间表明着模型学习的范围。</p><h3 id="特征空间"><a href="#特征空间" class="headerlink" title="特征空间"></a>特征空间</h3><p>每一条样本被称作是一个实例，通常由特征向量表示，所有特征向量存在的空间称为特征空间。特征空间有时候与输入空间相同，有时候不同（例如word embbeding），不同的情况是输入空间通过某种映射生成了特征空间。</p><hr><h2 id="机器学习的实质"><a href="#机器学习的实质" class="headerlink" title="机器学习的实质"></a>机器学习的实质</h2><p>在输入空间到输出空间中的各种假设形成的假设空间中去搜索一个假设，这个假设对当前的数据拟合情况最好。</p><hr><h2 id="机器学习的三要素"><a href="#机器学习的三要素" class="headerlink" title="机器学习的三要素"></a>机器学习的三要素</h2><ol><li>模型</li><li>策略</li><li>算法</li></ol><hr><h2 id="损失函数"><a href="#损失函数" class="headerlink" title="损失函数"></a>损失函数</h2><p>针对单个具体样本，表示模型预测值与真实样本值之间的差距。损失函数越小，说明模型对于该样本预测越准确。常见损失函数有0-1损失函数、平方损失函数、绝对损失函数、对数损失函数（对数似然损失函数）。</p><h3 id="常见的损失函数"><a href="#常见的损失函数" class="headerlink" title="常见的损失函数"></a>常见的损失函数</h3><p><img src="/images/20150323191253382.jpg" alt></p><hr><h2 id="经验风险和结构风险"><a href="#经验风险和结构风险" class="headerlink" title="经验风险和结构风险"></a>经验风险和结构风险</h2><p>确定了损失函数后，那么自然地损失函数越小越好，由于模型的输入X，输出Y 是随机变量，遵循联合分布P(X, Y)，所以损失函数的期望为：</p><p><img src="/images/8166116-bd9e4acdf2460fa2.png" alt></p><p>我们将上面提到的训练集的总损失定义为经验风险，如下所示：</p><p><img src="/images/8166116-207a3b5e00a4117b.png" alt></p><p>将损失的期望称为期望风险，如下所示：</p><p><img src="/images/8166116-bd9e4acdf2460fa2.png" alt></p><h3 id="怎样求风险？"><a href="#怎样求风险？" class="headerlink" title="怎样求风险？"></a>怎样求风险？</h3><p>机器学习问题求的是条件概率，那么有人就说了，既然上面提到了两随机变量的联合分布，那么我们根据条件概率-联合概率-边缘概率的关系岂不是可以直接求解？</p><p>其实，我们手头无法得到全体样本，因此，联合概率 P(X, Y) 是无法得到的，但是根据弱大数定律，当样本N无限大时，可用经验风险作为期望风险的估计，也就是局部估计整体。</p><p>那么我们常说的风险最小化其实就指的是经验风险最小化！</p><h3 id="为何引入结构化风险？"><a href="#为何引入结构化风险？" class="headerlink" title="为何引入结构化风险？"></a>为何引入结构化风险？</h3><p>虽然可以使用经验损失近似估计期望风险，但是大数定理的前提是N无穷大，实际上，我们的训练集一般不会特别大，此时就需要对经验风险做出适当调整才能近似估计。因此引入结构风险。</p><p>结构化风险是为了缓解数据集过小而导致的过拟合现象，其等价于正则化，本质上反应的是模型的复杂度。认为经验风险越小，参数越多，模型越复杂，因此引入对模型复杂度的惩罚机制。定义如下：</p><p><img src="/images/8166116-93d70fbaebad2b46.png" alt></p><p>正则化被定义为模型复杂度的单调函数，λ用于权衡经验风险与模型复杂度。<br>至此，我们认为结构风险最小化的模型是最优模型，因此，我们的优化问题变为：</p><p><img src="/images/8166116-88d3f8435e4c434a.png" alt></p><h3 id="结构化风险本质"><a href="#结构化风险本质" class="headerlink" title="结构化风险本质"></a>结构化风险本质</h3><p>结构化风险（正则项）其实是加入了模型参数分布的先验知识，也就是贝叶斯学派为了将模型往人们期望的地方去发展，继而加入了先验分布，由于是人为的先验，因此也就是一个规则项（这也就是正则项名称的由来）。这样一来，风险函数将进一步考虑了被估计量的先验概率分布。</p><hr><h2 id="参考资料和相关网址"><a href="#参考资料和相关网址" class="headerlink" title="参考资料和相关网址"></a>参考资料和相关网址</h2><p>经验风险、期望风险、结构风险:<br><a href="https://www.jianshu.com/p/903e35e1c95a" target="_blank" rel="noopener">https://www.jianshu.com/p/903e35e1c95a</a></p>]]></content>
<categories>
<category> Markdown </category>
</categories>
<tags>
<tag> Markdown </tag>
<tag> 机器学习 </tag>
</tags>
</entry>
</search>