1. feature：已知的信息
2. weight、bias：$y = b + wx_1$ ,b,w未知
3. Loss(b,w): 把未知的bw输入进去，loss计算bw好还是不好

1. label：正确的数值

1. Loss计算

1. $\eta$：hyperparameters，自己设定的参数，代表学习快慢

1. model Bias ：模型的限制，$y = b + wx_1$不论怎么模拟都模拟不出红色的线，这就是模型的限制

1. $sigmoid$ Func

1. $c^T$是transpose

1. 将数据集分成若干个batch（随机分），每次更新Loss用一个batch
2. 每次更新叫update，走完一整个数据集叫一个epoch

1. 这些 Sigmoid 或 ReLU 啊,它们叫做 Neuron,我们这边有很多的 Neuron,很多的 Neuron 就叫做 Neural Network,Neuron 就是神经元
2. 每一排 Neural 我们就叫它一个 Layer,它们叫 Hidden Layer,有很多的 Hidden Layer 就叫做 Deep,这整套技术就叫做 Deep Learning
3. Overfitting 的问题,指的就是在训练资料上有变好,但是在没看过的资料上没有变好这件事情
4. testing ,有时候又叫 inference

overfit

产生的原因

解决

• 增加训练集

  

• 限制模型，减小弹性

  

  • 但是我们也不要给太多的限制,给太多限制的话，假设模型一定是Linear的Model即线性的，那么就会产生model bias

  随著model越来越复杂,Training的loss可以越来越低,但是testing的时候呢,当model越来越复杂的时候,刚开始,你的testing的loss会跟著下降,但是当复杂的程度,超过某一个程度以后,Testing的loss就会突然暴增了

  mismatch意思是说,你今天的训练集跟测试集,它们的分佈是不一样的，即训练集与测试集的规律呈现很大不同