ML - 版本历史

2019年1月2日 (三) 13:20 Hovercool

2019-01-02T13:20:14Z

←上一版本		2019年1月2日 (三) 13:20的版本
第127行：		第127行：
	=Week4 - Neural networks神经网络=		=Week4 - Neural networks神经网络=
	[[文件:Neural_netorwk.png\|400px]]		[[文件:Neural_netorwk.png\|400px]]
			:对于上述神经网络，其各个layer可如下计算：
	:<math>a_1^{(2)} = g( θ_{10}^{(1)}x_0 + θ_{11}^{(1)}x_1 + θ_{12}^{(1)}x_2 + θ_{13}^{(1)}x_3 )</math>		::<math>a_1^{(2)} = g( θ_{10}^{(1)}x_0 + θ_{11}^{(1)}x_1 + θ_{12}^{(1)}x_2 + θ_{13}^{(1)}x_3 )</math>
	:<math>a_2^{(2)} = g( θ_{20}^{(1)}x_0 + θ_{21}^{(1)}x_1 + θ_{22}^{(1)}x_2 + θ_{23}^{(1)}x_3 )</math>		::<math>a_2^{(2)} = g( θ_{20}^{(1)}x_0 + θ_{21}^{(1)}x_1 + θ_{22}^{(1)}x_2 + θ_{23}^{(1)}x_3 )</math>
			::<math>a_3^{(2)} = g( θ_{30}^{(1)}x_0 + θ_{31}^{(1)}x_1 + θ_{32}^{(1)}x_2 + θ_{33}^{(1)}x_3 )</math>
			::<math>h_θ(x) = a_1^{(3)} = g( θ_{10}^{(2)}a_0^{(2)} + θ_{11}^{(2)}a_1^{(2)} + θ_{12}^{(2)}a_2^{(2)} + θ_{13}^{(2)}a_3^{(2)} )</math>
			一个神经网络，如果其在<math>j</math>层有<math>s_j</math>个神经元，在<math>j+1</math>层有<math>s_{j+1}</math>个神经元，则<math>θ_j</math>将是 <math>s_{j+1} (s_j+1) 的矩阵。

2019年1月2日 (三) 13:08 Hovercool

2019-01-02T13:08:29Z

←上一版本		2019年1月2日 (三) 13:08的版本
第126行：		第126行：

	=Week4 - Neural networks神经网络=		=Week4 - Neural networks神经网络=
	[[文件:Neural_netorwk.png\|~~300px~~]]		[[文件:Neural_netorwk.png\|400px]]

			:<math>a_1^{(2)} = g( θ_{10}^{(1)}x_0 + θ_{11}^{(1)}x_1 + θ_{12}^{(1)}x_2 + θ_{13}^{(1)}x_3 )</math>
			:<math>a_2^{(2)} = g( θ_{20}^{(1)}x_0 + θ_{21}^{(1)}x_1 + θ_{22}^{(1)}x_2 + θ_{23}^{(1)}x_3 )</math>

2019年1月2日 (三) 12:51 Hovercool

2019-01-02T12:51:58Z

←上一版本		2019年1月2日 (三) 12:51的版本
第124行：		第124行：
	针对 hypothesis function，引入 '''Regularation parameter'''(<math>λ</math>)到 Cost function中：		针对 hypothesis function，引入 '''Regularation parameter'''(<math>λ</math>)到 Cost function中：
	<math>J(θ)=\frac{1}{2m}\sum_{i=1}^m(h_θ(x^{(i)})-y^{(i)})^2 + λ\sum_{j=1}^nθ_j^2</math>		<math>J(θ)=\frac{1}{2m}\sum_{i=1}^m(h_θ(x^{(i)})-y^{(i)})^2 + λ\sum_{j=1}^nθ_j^2</math>

			=Week4 - Neural networks神经网络=
			[[文件:Neural_netorwk.png\|300px]]

2018年12月25日 (二) 10:58 Hovercool

2018-12-25T10:58:19Z

←上一版本		2018年12月25日 (二) 10:58的版本
第84行：		第84行：

	===Gradient Descent===		===Gradient Descent===
	~~<math>J(θ)=-\frac{1}{m}\sum_{i=1}^m[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>~~
	<math>θ_j:=θ_j-α\frac{∂}{∂θ_j}J(θ)</math>		<math>θ_j:=θ_j-α\frac{∂}{∂θ_j}J(θ)</math>
	:<math>= θ_j-\frac{α}{m}\sum_{i=1}^m( (h_θ(x^{(i)})-y^{(i)}) x_j^{(i)} ) </math>		:<math>= θ_j-\frac{α}{m}\sum_{i=1}^m( (h_θ(x^{(i)})-y^{(i)}) x_j^{(i)} ) </math>

	~~推导过程如下：~~		附推导过程如下：
	<math>\frac{∂}{∂θ_j}J(θ) = \frac{∂}{∂θ_j}\{-\frac{1}{m}\sum_{i=1}^m[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]\}</math>		:::<math>\frac{∂}{∂θ_j}J(θ) = \frac{∂}{∂θ_j}\{-\frac{1}{m}\sum_{i=1}^m[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]\}</math>
	:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math> <math>------式1)</math>		::::::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math> <math>------式1)</math>
	:::其中，		:::其中，
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>

2018年12月25日 (二) 10:56 Hovercool

2018-12-25T10:56:22Z

←上一版本		2018年12月25日 (二) 10:56的版本
第88行：		第88行：
	:<math>= θ_j-\frac{α}{m}\sum_{i=1}^m( (h_θ(x^{(i)})-y^{(i)}) x_j^{(i)} ) </math>		:<math>= θ_j-\frac{α}{m}\sum_{i=1}^m( (h_θ(x^{(i)})-y^{(i)}) x_j^{(i)} ) </math>

			推导过程如下：
	<math>\frac{∂}{∂θ_j}J(θ) = \frac{∂}{∂θ_j}\{-\frac{1}{m}\sum_{i=1}^m[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]\}</math>		<math>\frac{∂}{∂θ_j}J(θ) = \frac{∂}{∂θ_j}\{-\frac{1}{m}\sum_{i=1}^m[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]\}</math>
	:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>		:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math> <math>------式1)</math>
	:::其中，		:::其中，
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
第98行：		第99行：
	:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)})*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>		:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)})*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}-h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(e)}*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> //将 <math>h_θ(x^{(i)})=g(z)=\frac{1}{1+e^{-z}}</math>代入		:::::::::::::::::::::<math> = \frac{y^{(i)}-h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(e)}*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> //将 <math>h_θ(x^{(i)})=g(z)=\frac{1}{1+e^{-z}}</math>代入
	:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}ln(e)}</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}ln(e)} * \frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>
			:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}} \frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> <math>------式2)</math>


第106行：		第108行：
	:::::::::<math> = \frac{e^{-z}}{(1+e^{-z})^{2}}*\frac{∂}{∂θ_j}(θ^Tx^{(i)})</math>		:::::::::<math> = \frac{e^{-z}}{(1+e^{-z})^{2}}*\frac{∂}{∂θ_j}(θ^Tx^{(i)})</math>
	:::::::::<math> = \frac{e^{-z}}{(1+e^{-z})^{2}}\frac{∂}{∂θ_j}(θ_0x_0^{(i)} + θ_1x_1^{(i)} + θ_2x_2^{(i)} +...+ θ_jx_j^{(i)} +...+ θ_nx_n^{(i)} )</math>		:::::::::<math> = \frac{e^{-z}}{(1+e^{-z})^{2}}\frac{∂}{∂θ_j}(θ_0x_0^{(i)} + θ_1x_1^{(i)} + θ_2x_2^{(i)} +...+ θ_jx_j^{(i)} +...+ θ_nx_n^{(i)} )</math>
	:::::::::<math> = \frac{e^{-z}}{(1+e^{-z})^{2}}*x_j^{(i)}</math>		:::::::::<math> = \frac{e^{-z}}{(1+e^{-z})^{2}}*x_j^{(i)}</math> <math>------式3)</math>
			::::将式3)代入式2)：
			:::::::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (y^{(i)} - \frac{1}{1+e^{-z}})*x_j^{(i)}</math>
			::::::::::::::::::::::::::<math> = (y^{(i)} - h_θ(x^{(i)}))*x_j^{(i)}</math> <math>------式4)</math>
			::::将式4)代入式1)：
			:::::::::<math>θ_j:= θ_j-\frac{α}{m}\sum_{i=1}^m( (h_θ(x^{(i)})-y^{(i)}) x_j^{(i)} ) </math>

2018年12月25日 (二) 10:36 Hovercool

2018-12-25T10:36:00Z

←上一版本		2018年12月25日 (二) 10:36的版本
第91行：		第91行：
	:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>		:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>
	:::其中，		:::其中，
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
	:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：		:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>		:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)})*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}-h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(2)}*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> //将 <math>h_θ(x^{(i)})=g(z)=\frac{1}{1+e^{-z}}</math>代入		:::::::::::::::::::::<math> = \frac{y^{(i)}-h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(e)}*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> //将 <math>h_θ(x^{(i)})=g(z)=\frac{1}{1+e^{-z}}</math>代入
	:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}ln(2)}</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}ln(e)}</math>

2018年12月25日 (二) 10:29 Hovercool

2018-12-25T10:29:43Z

←上一版本		2018年12月25日 (二) 10:29的版本
第96行：		第96行：
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}-h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(2)}*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> //将 <math>h_θ(x^{(i)})=g(z)=\frac{1}{1+e^{-z}}</math>代入
			:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}ln(2)}</math>


	::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>		::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>

2018年12月25日 (二) 09:53 Hovercool

2018-12-25T09:53:25Z

←上一版本		2018年12月25日 (二) 09:53的版本
第97行：		第97行：
	:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
			:::::::::::::::::::::<math> = \frac{y^{(i)}h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>

	::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>		::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>

2018年12月25日 (二) 09:45 Hovercool

2018-12-25T09:45:35Z

←上一版本		2018年12月25日 (二) 09:45的版本
第91行：		第91行：
	:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>		:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>
	:::其中，		:::其中，
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = y^{(i)}\frac{1}{h_θ(x^{(i)})ln(2)}*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{1}{(1-h_θ(x^{(i)}))ln(2)}*\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
	:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：		:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：
			::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
			:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
			:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>


	::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>		::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>

2018年12月25日 (二) 09:38 Hovercool

2018-12-25T09:38:49Z

←上一版本		2018年12月25日 (二) 09:38的版本
第91行：		第91行：
	:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>		:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>
	:::其中，		:::其中，
	:::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = y^{(i)}\frac{1}{h_θ(x^{(i)})ln(2)}*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = y^{(i)}\frac{1}{h_θ(x^{(i)})ln(2)}*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	:::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{1}{(1-h_θ(x^{(i)}))ln(2)}*\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{1}{(1-h_θ(x^{(i)}))ln(2)}*\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
			:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：

	::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>		::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>
	:::::::::<math> = ((1+e^{-z})^{-1})'*z'(θ^Tx^{(i)})</math>		:::::::::<math> = ((1+e^{-z})^{-1})'*z'(θ^Tx^{(i)})</math>

←上一版本		2018年12月25日 (二) 10:36的版本
第91行：		第91行：
	:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>		:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>
	:::其中，		:::其中，
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
	:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：		:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>		:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(e)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(e)})*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}-h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(2)}*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> //将 <math>h_θ(x^{(i)})=g(z)=\frac{1}{1+e^{-z}}</math>代入		:::::::::::::::::::::<math> = \frac{y^{(i)}-h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(e)}*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> //将 <math>h_θ(x^{(i)})=g(z)=\frac{1}{1+e^{-z}}</math>代入
	:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}ln(2)}</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}ln(e)}</math>

←上一版本		2018年12月25日 (二) 10:29的版本
第96行：		第96行：
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math>
	:::::::::::::::::::::<math> = \frac{y^{(i)}h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}-h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(2)}*\frac{∂}{∂θ_j}h_θ(x^{(i)}) </math> //将 <math>h_θ(x^{(i)})=g(z)=\frac{1}{1+e^{-z}}</math>代入
			:::::::::::::::::::::<math> = \frac{y^{(i)}(1+e^{-z})^2-(1+e^{-z})}{e^{-z}ln(2)}</math>


	::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>		::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>

←上一版本		2018年12月25日 (二) 09:53的版本
第97行：		第97行：
	:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
			:::::::::::::::::::::<math> = \frac{y^{(i)}h_θ(x^{(i)})}{h_θ(x^{(i)})(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>

	::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>		::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>

←上一版本		2018年12月25日 (二) 09:45的版本
第91行：		第91行：
	:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>		:::<math>=-\frac{1}{m}\sum_{i=1}^m\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))]</math>
	:::其中，		:::其中，
	::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = y^{(i)}\frac{1}{h_θ(x^{(i)})ln(2)}*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>		::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})] = y^{(i)}\frac{∂}{∂θ_j}[logh_θ(x^{(i)})] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
	::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{1}{(1-h_θ(x^{(i)}))ln(2)}*\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>		::::<math>\frac{∂}{∂θ_j}[(1-y^{(i)})log(1-h_θ(x^{(i)}))] = (1-y^{(i)})\frac{∂}{∂θ_j}[log(1-h_θ(x^{(i)}))] = \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
	:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：		:::由于<math> \frac{∂}{∂θ_j}(1-h_θ(x^{(i)})) = -\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>，故有：
			::::<math>\frac{∂}{∂θ_j}[y^{(i)}logh_θ(x^{(i)})+(1-y^{(i)})log(1-h_θ(x^{(i)}))] = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) + \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}(1-h_θ(x^{(i)}))</math>
			:::::::::::::::::::::<math> = \frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)}) - \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)}\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>
			:::::::::::::::::::::<math> = (\frac{y^{(i)}}{h_θ(x^{(i)})ln(2)}- \frac{(1-y^{(i)})}{(1-h_θ(x^{(i)}))ln(2)})*\frac{∂}{∂θ_j}h_θ(x^{(i)})</math>


	::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>		::::而<math> \frac{∂}{∂θ_j}h_θ(x^{(i)}) = g'(z)z'(θ^Tx^{(i)}) = (\frac{1}{1+e^{-z}})'z'(θ^Tx^{(i)})</math>