Assignment2

Problem

Turn the logistic regression example with SGD into a 1-hidden layer neural network with rectified linear units nn.relu() and 1024 hidden nodes. This model should improve your validation / test accuracy.

题目要求我们把提供的SGD逻辑回归模型改写成加一层隐含层，激活函数为RELU的2层全链接网络。这个代码比我之前自己写的要精简很多，不过不太好看懂哈哈哈。我把它结合自己之前写的稍作改进。加一层隐含层很简单。就相当于把y进入的量调整一下罢了。原始提供的代码测试正确率为86%，我们这里不调整它的任何参数。 Test accuracy: 86.0%

原始提供的代码我个人觉得还是比较dupicated，要改的地方比较多，主要就是怎么print valid和test accuracy比较舒服。其实我也就是依葫芦画瓢，但逐渐也是对session啊，run啊，graph啊这类的有了些感性认识。我知道tf官方文档有详细说明，但我打算先实验，等有了相当多的感性认识后再去看，当然我觉得完成Assianment3以后我肯定要去看文档的。

最后测试正确率高了1.5% 并不是十分显著的提升。完全也没有体现出他说的，在参数相同的情况下，deeper比wider表现要好。我参数暴增了这么多，正确率增加的并不显著呀。 如果我的代码没问题，看起来验证集上面的正确率很快就到达了平原区，意思应该是这10000数据根本对于一个2层全链接网络太多了。