Questions tagged «deep-learning»

机器学习研究的一个新领域,涉及用于学习数据的分层表示的技术,主要是通过深度神经网络(即具有两个或多个隐藏层的网络)完成的,但也与某种概率图形模型有关。

2
将CNN训练为自动编码器有意义吗?
我正在分析脑电数据,最终将需要对其进行分类。但是,获取唱片的标签有些昂贵,这使我考虑采用无监督方法,以更好地利用我们大量的无标签数据。 这自然会导致考虑堆叠自动编码器,这可能是一个好主意。但是,使用卷积神经网络也是有意义的,因为某种形式的过滤通常是对EEG的非常有用的方法,并且所考虑的时期可能应该在本地而非整体上进行分析。 是否有结合两种方法的好方法?似乎当人们使用CNN时,他们通常会使用监督培训,或者什么?探索神经网络来解决我的问题的两个主要好处似乎是无人监管,以及微调(例如,在人口数据上创建一个网络,然后针对个人进行微调很有趣)。 那么,有谁知道我是否可以像训练“残破的”自动编码器那样预训练CNN,还是毫无意义? 我是否应该考虑其他某种架构,例如深度信任网络?

1
卷积层的参数数量
在这篇被高度引用的论文中,作者对权重参数的数量进行了以下讨论。我不太清楚为什么它具有参数。我认为应该是因为每个输入通道共享同一个滤波器,该滤波器具有参数。49 ℃249C249C^249℃49C49CCCC494949

2
word2vec中单词向量的特征
我正在尝试进行情绪分析。为了将单词转换为单词向量,我使用了word2vec模型。假设我的所有句子都在名为“句子”的列表中,并且将这些句子传递给word2vec,如下所示: model = word2vec.Word2Vec(sentences, workers=4 , min_count=40, size=300, window=5, sample=1e-3) 由于我对词向量不敏感,因此我有两个疑问。 1-将特征数量设置为300定义了单词向量的特征。但是这些功能意味着什么?如果此模型中的每个单词都由1x300 numpy数组表示,那么这300个功能对该单词表示什么? 2-在上述模型中,以“样本”参数表示的向下采样实际上有什么作用? 提前致谢。

1
如何使用匿名可缩放的数字预测变量来处理numer.ai竞争?
Numer.ai已经存在了一段时间,并且在网络上似乎只有很少的帖子或其他讨论。 系统不时更改,今天的设置如下: 训练(N = 96K)和测试(N = 33K)具有21个特征的数据,这些特征具有[0,1]中的连续值和二进制目标。 数据是干净的(无缺失值),每2周更新一次。您可以上传预测(在测试集上)并查看对数损失。测试数据的一部分甚至是实时数据,您都会获得良好预测的报酬。 我想讨论的是: 由于功能完全是匿名的,我认为我们无法进行太多的功能工程。所以我的方法很机械: 灵感来自于这个我使用的分类算法过滤掉哪些适合我的测试数据最好的训练数据。 找出一些不错的预处理 训练好的分类算法 建立他们的合奏(堆叠,..)。 具体问题: 关于步骤1:您有使用这种方法的经验吗?假设我对火车样本属于测试的概率(通常低于0.5)进行排序,然后取最大的K概率。您将如何选择K?我尝试使用15K ..但主要是为了在第3步中加快训练速度而设置了一个小的训练数据集。 关于步骤2:数据已经为0,1比例。如果我应用任何(类似于PCA的)线性变换,那么我将打破这一规模。如果您有这样的数值数据并且不知道实际上是什么,那么您将在预处理中尝试什么。 PS:我知道,因为numer.ai付钱给人们讨论这可以帮助我赚钱。但这是公开的,这将对那里的所有人有所帮助... PPS:当今的排行榜有一个有趣的模式:对数损失为0.64xx的前两名,然后是0.66xx的第三名,然后大多数预测指标达到0.6888x。 因此,似乎只有很小的顶尖领域,并且有很多中等成功的人(包括我)。


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.