Questions tagged «autoencoders»

我正在auto-encoder使用Adam优化器（带有amsgrad=True）和MSE loss单通道音频源分离任务来训练网络。每当我将学习速率降低一个因素时，网络损耗就会突然跳升，然后下降，直到学习速率再次下降。 我正在使用Pytorch进行网络实施和培训。 Following are my experimental setups: Setup-1: NO learning rate decay, and Using the same Adam optimizer for all epochs Setup-2: NO learning rate decay, and Creating a new Adam optimizer with same initial values every epoch Setup-3: 0.25 decay in learning rate every 25 epochs, and Creating …

11 machine-learning  deep-learning  optimization  autoencoders  loss-functions 

自动编码器是一种神经网络，可以学习输入的压缩表示形式以便稍后对其进行重构，因此可以将其用于降维。它们由编码器和解码器（可以是独立的神经网络）组成。降维可用于处理或减弱与维数诅咒有关的问题，因为维数诅咒中的数据变得稀疏，更难获得“统计意义”。因此，可以使用自动编码器（以及类似PCA的算法）来处理维数的诅咒。 为什么我们特别在意使用自动编码器进行降维？如果目的是降低尺寸，为什么我们不能简单地使用PCA？ 如果只想进行降维，为什么需要解压缩输入的潜在表示，或者为什么需要在自动编码器中使用解码器部分？有哪些用例？通常，为什么我们需要压缩输入以稍后对其进行解压缩？仅使用原始输入（开始）会更好吗？

10 machine-learning  autoencoders  dimensionality-reduction  curse-of-dimensionality