Questions tagged «machine-learning»

令为位串/标签对，令为布尔值函数的集合。对于每个函数，令： 并令： OPT（C，D）= \ min_ {f \ in C} \ err（f，D） 假设算法A在任何分布上都不可知地学习C，如果对于任何D，它可以2/3的概率找到函数f，从而err（f，D）\ leq OPT（C，D）+ \ epsilon，给定时间和D中的一些样本DDD{0,1}d×{0,1}{0,1}d×{0,1}\{0,1\}^d\times \{0,1\}CCCf:{0,1}d→{0,1}f:{0,1}d→{0,1}f:\{0,1\}^d\rightarrow\{0,1\}f∈Cf∈Cf \in Cerr(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]OPT(C,D)=minf∈C err(f,D)OPT(C,D)=minf∈C err(f,D)OPT(C,D) = \min_{f \in C}\ err(f,D)AAACCCDDD2/32/32/3ffferr(f,D)≤OPT(C,D)+ϵerr(f,D)≤OPT(C,D)+ϵerr(f,D) \leq OPT(C,D) + \epsilonDDD它由ddd和1 / \ epsilon中的多项式界定1/ϵ1/ϵ1/\epsilon。 问题：在任意分布上，哪些类函数CCC可以从不可知论上学习？ 没有上课太简单了！我知道连单调连词在任意分布上都不是不可知论的，所以我只是在寻找功能的非平凡类。

11 reference-request  machine-learning  lg.learning 

众所周知，对于具有VC维d的概念类，获得O （dCC\mathcal{C}ddd标记为PAC学习C的示例。我不清楚PAC学习算法（使用这么多样本）是正确的还是不合适的？在Kearns和Vazirani以及Anthony和Biggs的教科书中，PAC学习算法似乎是不正确的（即，输出假设不在C中）O(dε日志1个ε）O(dεlog⁡1ε)O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)CC\mathcal{C}CC\mathcal{C} 有人可以澄清一下类似的上限是否也适用于正确的PAC学习设置吗？如果是这样，您能否给我参考，其中明确提到了该参考并且还包含独立的证据？ 最近，Hanneke通过消除对因子改善了这一界限。有人可以澄清一下，对于正确的PAC学习设置，是否已知可移动日志（1 / ε ）？还是仍然有待解决的问题？日志（1 / ε ）log⁡(1/ε)\log(1/\varepsilon)日志（1 / ε ）log⁡(1/ε)\log(1/\varepsilon)

11 machine-learning  boolean-functions  lg.learning  vc-dimension  pac-learning 

最近，我一直在阅读大量的CoLT论文。尽管我不会为个别论文而苦恼（至少不比与其他理论性论文相比通常会有所挣扎），但我并不认为我对整个领域有很好的广泛了解。 是否有用于在研究生阶段介绍CoLT的标准文字，调查或讲义？ 我有基本的理论A背景，但没有机器学习或统计学的专门知识。我对PAC学习和学习自动机等东西最感兴趣，而对贝叶斯推理和VC理论之类的东西则不太感兴趣。 相关问题 统计学习理论最新进展的资源/书

10 reference-request  machine-learning  lg.learning  survey  books 

我对VC-Dimension背后的理论非常熟悉，但是现在我正在研究统计学习理论的最新进展（过去10年）：（本地）Rademacher平均值，Massart的有限类引理，覆盖数，链接，Dudley的定理，伪尺寸，脂肪碎裂尺寸，装箱数，拉德马赫组成，以及其他可能未知的结果/工具。 是否有网站，调查，文章集，或者最重要的是，涵盖这些主题的书？ 另外，我正在研究如何为简单类绑定Rademacher平均的示例，就像人们使用轴对齐的矩形来显示如何绑定VC维度一样。 提前致谢。

10 reference-request  machine-learning  lg.learning  books  vc-dimension 

它是公知的，对于经典PAC学习，的例子是必要的，以便acheive结合的误差ε WHP，其中d是所述概念类的VC-尺寸。Ω(d/ε)Ω(d/ε)\Omega(d/\varepsilon)εε\varepsilonddd 它是已知的都需要在不可知的情况下的例子？Ω(d/ε2)Ω(d/ε2)\Omega(d/\varepsilon^2)

10 lg.learning  machine-learning 

哪些机器学习分类器最可并行化？如果您遇到困难的分类问题，有限的时间，但是要使用一个不错的计算机局域网，那么您将尝试使用哪些分类器？ 从旁看来，我看起来像一些我所知道的标准分类器，但我可能完全错了： 随机森林-高度并行化，只要每台机器都可以保存所有数据（即本身不能分割训练数据，但可以并行化）。 提升-？ 支持向量机-不可并行化。 决策树-可以部分分解，但效率不高。

10 lg.learning  machine-learning  dc.parallel-comp 

具体来说，我要求提供资源以学习有关机器学习系统的知识，这些系统可以在操作过程中更新各自的信念网络（或同等的信念网络）。我什至遇到了一些，尽管我没有为它们添加书签。 就像您想象的那样，在互联网上搜索是一个相当具有挑战性的话题。

10 reference-request  machine-learning  lg.learning  ai.artificial-intel  online-learning 

在玩棋盘游戏中神经网络获得越来越多的成功之后，人们感到我们设定的下一个目标可能比在Starcraft中击败人类更有用。更确切地说，我想知道是否 可以训练神经网络解决经典算法问题吗？ 在这里，我的意思是，例如，网络将获得带有加权边的输入图，并指定了两个顶点和，我们要求它尽快找到最短的路径。然后我猜想神经网络会发现并训练自己使用Dijkstra或类似的东西。GGGssstttststst 一方面，我们知道神经网络TC0TC0TC^0的计算能力为。另一方面，我不知道这是否一定与我的问题有关。即使这样，对于大多数问题，我们仍然不知道是否可以在解决它们。看看神经网络是否可以训练自己，可能很好地指示了是否有快速的算法。例如，如果神经网络无法训练自己快速求解SAT，那么（甚至更多）可能。我想知道神经网络将如何处理图形化或工厂化。TC0TC0TC^0NP⊄TC0NP⊄TC0NP\not\subset TC^0 当然，提取算法是一个完全不同的问题。我怀疑专家们知道该怎么做，但是讨论不是这个问题的主题。 两天后添加：在看到答案后，让我指定如果您的答案是否定的，那么我想知道 为什么下棋比Dijkstra或Graphisomorphism更容易？

9 cc.complexity-theory  ds.algorithms  machine-learning  ne.neural-evol 

随机森林在实践者中享有声誉，是最有效的分类技术之一。然而，在学习理论文献中我们很少遇到这些问题，因此我推测它们缺乏深入的理论成果。如果有人想深入研究这一理论，那将从哪里开始呢？

9 machine-learning  lg.learning 

假设我在有个点。这些产生了Voronoi图。如果我为个点分配一个标签，它们会在上引发一个二进制函数。问题：由某些点和这些点的标记引起的所有此类可能的二元函数的VC维是多少？ķķk[Rd[Rd\mathbb{R}^dķķk±±\pm[Rd[Rd\mathbb{R}^dķķk

9 cg.comp-geom  machine-learning  lg.learning  convex-geometry  high-dimensional-geometry 

Background––––––––––––––Background_\underline{\bf Background} 在2005年，Regev [1]引入了带错误学习（LWE）问题，这是带错误学习奇偶性问题的概括。对于某些参数选择，此问题的难度假设现在为基于晶格密码学领域中许多后量子密码系统的安全证明奠定了基础。LWE的“规范”版本如下所述。 预备赛： 令为实数模1的加法组，即取。为正整数和，一个“秘密”矢量，概率分布上，让是对分布通过选择获得的均匀地在随机，画一个误差项，然后输出T=R/ZT=R/Z\mathbb{T} = \mathbb{R}/\mathbb{Z}[0,1)[0,1)[0, 1)nnn2≤q≤poly(n)2≤q≤poly(n)2 \le q \le poly(n)s∈Znqs∈Zqn{\bf s} \in \mathbb{Z}_q^nϕϕ\phiRR\mathbb{R}As,ϕAs,ϕA_{{\bf s}, \phi}Znq×TZqn×T\mathbb{Z}_q^n \times \mathbb{T}a∈Znqa∈Zqn{\bf a} \in \mathbb{Z}_q^nx←ϕx←ϕx \leftarrow \phi(a,b′=⟨a,s⟩/q+x)∈Znq×T(a,b′=⟨a,s⟩/q+x)∈Zqn×T({\bf a}, b' = \langle{\bf a}, s\rangle/q + x) \in \mathbb{Z}_q^n \times \mathbb{T}。 令为的“离散化” 。也就是说，我们首先从绘制一个样本，然后输出。这里表示将舍入到最接近的整数值，因此我们可以将视作。As,ϕ¯¯¯As,ϕ¯A_{{\bf s}, \overline{\phi}}As,ϕAs,ϕA_{{\bf s}, \phi}(a,b′)(a,b′)({\bf a}, b')As,ϕAs,ϕA_{{\bf s}, \phi}(a,b)=(a,⌊b′⋅q⌉)∈Znq×Zq(a,b)=(a,⌊b′⋅q⌉)∈Zqn×Zq({\bf a}, b) = …

9 cc.complexity-theory  ds.algorithms  cr.crypto-security  machine-learning  open-problem 

我正在搜索以下集合系统的VC维度。 宇宙 U={p1,p2,…,pm}U={p1,p2,…,pm}U=\{p_1,p_2,\ldots,p_m\} 这样 U⊆R3U⊆R3U\subseteq \mathbb{R}^3。在设定系统中RR\mathcal{R} 每套 S∈RS∈RS\in \mathcal{R} 对应于 R3R3\mathbb{R}^3 这样的设置 SSS 包含一个元素 UUU 当且仅当相应的球体包含在 R3R3\mathbb{R}^3。 我已经知道的细节。 VC维度至少为4。这是因为如果 p1,p2,p3,p4p1,p2,p3,p4p_1,p_2,p_3,p_4 是一个四面体的四个角，那么它可以被粉碎 RR\mathcal{R} VC维度最多为5。这是因为可以将集合系统嵌入到其中 R4R4\mathcal{R}^4 在球体中 R3R3\mathcal{R}^3 对应于 R4R4\mathcal{R}^4。众所周知，超平面RdRd\mathcal{R}^d 有VC尺寸 d+1d+1d+1。

9 cg.comp-geom  machine-learning  vc-dimension 

我具体指的是允许任意长字符串的语言族-而不是n位或决策列表上的并列或{0,1} ^ n中包含的任何其他“简单”语言。 我要问的是“自动理论”的常规语言，而不是“逻辑理论”的常规语言：诸如分段可测试语言，起始高度为零的语言，本地可测试语言之类的东西。相关的复杂度参数n是最小接受DFA的大小。因此，简而言之：是否有一个有趣的n-state DFA系列，已知可以通过PAC进行有效学习？

9 automata-theory  machine-learning  lg.learning