TODO_ReadList

TODO list

  • [ ][Batch Normal](https://arxiv.org/pdf/1502.03167.pdf)
  • [ ][A*搜索算法](https://zh.wikipedia.org/wiki/A*%E6%90%9C%E5%B0%8B%E6%BC%94%E7%AE%97%E6%B3%95)
  • [ ][数据结构Graph](https://en.wikipedia.org/wiki/Graph_(abstract_data_type))

AlexNet

non-saturating neurons(非饱和神经元) 和 saturating neurons(饱和神经元)

https://stats.stackexchange.com/questions/174295/what-does-the-term-saturating-nonlinearities-mean 使用非压缩性的激活函数的神经元是非饱和神经元 例如: Relu 使用压缩性的激活函数的神经元是饱和神经元 例如: tanh, sigmod