Questions tagged «lg.learning»

残留有限状态自动机（RFSA，在[DLT02]中定义）是NFA，具有与DFA相同的一些不错的功能。特别是，对于每种常规语言，总是存在规范的最小尺寸RFSA，并且与DFA一样，RFSA中每个州所识别的语言都是残差的。但是，虽然最小DFA状态与所有残差形成双射，但规范的RFSA状态与素数残差呈双射。这些可以成倍地减少，因此RFSA可以比DFA紧凑得多，可以表示常规语言。 但是，我无法确定是否存在一种有效的算法来最小化RFSA或硬度结果。最小化RFSA的复杂性是什么？ 通过浏览[BBCF10]，这似乎不是常识。一方面，我希望这很困难，因为许多关于RFSA的简单问题，例如“这个NFA是RFSA吗？” 很难，在这种情况下是PSPACE完整的。另一方面，[BHKL09]表明，在Angluin的最小适度教师模型[A87]中可以有效地学习规范RFSA，并且有效学习最小RFSA和最小化RFSA似乎应该同样困难。但是，据我所知[BHKL09]的算法并不意味着最小化算法，因为反例的大小不受限制，并且不清楚如何有效地测试RFSA的相等性以模拟反例oracle 。例如，测试两个NFA是否相等是PSPACE-complete。 参考文献 [A87] Angluin，D.（1987）。从查询和反例中学习常规集。信息与计算，75：87-106 [BBCF10] Berstel，J.，Boasson，L.，Carton，O.和Fagnot，I.（2010）。自动机的最小化。的arXiv：1010.5318。 [BHKL09] Bollig，B.，Habermehl，P.，Kern，C.和Leucker，M.（2009年）。NFA的盎格鲁式学习。在IJCAI中，9：1004-1009。 [DLT02] Denis，F.，Lemay，A。和Terlutte，A。（2002）。剩余有限状态自动机。基金会信息，51（4）：339-368。

12 cc.complexity-theory  ds.algorithms  automata-theory  lg.learning  minimization 

受这个问题的启发，我对以下几点感到好奇： 检查给定的DFA是否接受与给定的正则表达式相同的语言，最糟糕的情况是什么？ 这是已知的吗？希望这个问题在P中-两者的大小都有一个算法多项式。

12 automata-theory  lg.learning  regular-expressions  dfa 

对以下问题了解多少？ 给定集合的功能˚F ：{ 0 ，1 } Ñ → { 0 ，1 }，找到最大的子集合小号⊆ Ç受约束VC-尺寸（小号）≤ ķ对于某个整数ķ。CCCF：{ 0 ，1 }ñ→ { 0 ，1 }f:{0,1}n→{0,1}f:\{0,1\}^n\rightarrow\{0,1\}小号⊆ çS⊆CS \subseteq C（S）≤ ķ(S)≤k(S) \leq kķkk 是否有针对该问题的近似算法或硬度结果？

12 reference-request  approximation-algorithms  cg.comp-geom  lg.learning  vc-dimension 

我有一个包含数千个点的数据集，并且可以测量任意两个点之间的距离，但是数据点没有维数。我想要一种算法来在此数据集中找到聚类中心。我认为由于数据没有维度，因此群集中心可能由多个数据点和一个容差组成，并且群集中的成员资格可能由数据点到群集中心中每个数据点的距离的平均值来确定。 如果这个问题有一个众所周知的解决方案，请原谅我，我对这种问题知之甚少！我的研究（非常有限）仅提出了维度数据的聚类算法，但是如果我遗漏了一些明显的内容，我会提前道歉。 谢谢！

12 machine-learning  lg.learning  clustering 

众所周知，对于PAC学习，存在一些自然概念类（例如，决策列表的子集），在这些概念类中，计算无边界学习者进行信息理论学习所需的样本复杂度与多项式所需的样本复杂度之间存在多项式差距。时间学习者。（请参见例如http://portal.acm.org/citation.cfm?id=267489&dl=GUIDE或http://portal.acm.org/citation.cfm?id=301437） 但是，这些结果似乎取决于对特定示例中的秘密进行编码，因此不会自然地转化为学习的SQ模型，学习者只能在其中查询分布的统计属性。 是否知道是否存在可以通过O（f（n））查询在SQ模型中进行信息理论学习的概念类，但是只有通过g（n）的Omega（g（n））查询才可以进行计算有效的学习）>> f（n）？

12 machine-learning  lg.learning  sample-complexity 

这是一个与学习军人类似的问题： 输入：函数，由隶属度oracle表示，即给定的oracle 返回f （x ）。Xf:{0,1}n→{−1,1}F：{0，1个}ñ→{-1个，1个}f: \{0,1\}^n \rightarrow \{-1,1\}xXxf(x)F（X）f(x) 目标：查找子多维数据集S小号S的{ 0 ，1 }ñ{0，1个}ñ\{0,1\}^n与体积|S| = 2n − k|小号|=2ñ-ķ|S|=2^{n-k}使得| ËX ∈ 小号f（x ）| ≥ 0.1|ËX∈小号F（X）|≥0.1\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1。我们假定存在这样的子多维数据集。 这是很容易得到一个算法，在时间用完ñÔ （ķ ）ñØ（ķ）n^{O(k)}和回报的概率一个正确的答案≥ 0.99≥0.99\ge 0.99通过尝试所有（2 n ）ķ（2ñ）ķ(2n)^k的方式来选择子多维数据集和采样平均每一个。 我对找到一种可以在时间中运行的算法很感兴趣p Ò 升y（n ，2ķ）pØ升ÿ（ñ，2ķ）poly(n,2^k)。替代地，下界将是巨大的。这个问题类似于学习军政府，但我看不出它们的计算难度之间存在实际联系。 更新：@Thomas下面证明了此问题的样本复杂度为p Ò 升y（2ķ，logn ）pØ升ÿ（2ķ，日志⁡ñ）poly(2^k,\log n)。有趣的问题仍然是问题的计算复杂性。 编辑：为简单起见，您可以假设存在一个带有的子多维数据集。Ë X ∈ 小号 ˚F （X …

11 machine-learning  lg.learning  boolean-functions  sample-complexity 

一些背景： 我有兴趣为错误学习（LWE）问题找到“鲜为人知”的下界（或硬度结果），以及诸如环上错误学习之类的概括。对于特定的定义等，这是Regev进行的一次不错的调查：http : //www.cims.nyu.edu/~regev/papers/lwesurvey.pdf （R）LWE型假设的标准类型是通过（可能是量子）归约到（可能是理想）晶格上的最短向量问题。已知SVP的通常公式是NP难的，并且相信很难近似到小的多项式因数。（相关：很难将CVP近似到/ most-polynomial /因数内：http : //dl.acm.org/citation.cfm?id=1005180.1005182）我也听说它提到了（关于量子算法）将某些晶格问题（如SVP）近似为较小的多项式近似因子与非阿贝尔隐藏子组问题（由于其自身的原因而被认为很难）有关，尽管我从未见过明确的正式来源。 但是，我对来自学习理论的“噪声奇偶性”问题导致的硬度结果（任何类型）更感兴趣。这些可能是复杂度级别的硬度结果，具体的算法下限，样本复杂度界限，甚至是证明尺寸下限（例如，分辨率）。众所周知（也许很明显），LWE可以看作是“噪声奇偶性/学习奇偶性与噪声”（LPN）问题的推广，（从谷歌搜索中发现）似乎已用于降低编码理论和PAC等领域的硬度学习。 通过环顾四周，我仅发现（轻微次指数）LPN问题的上界，例如http://www.di.ens.fr/~lyubash/papers/parityproblem.pdf 题： 我知道LPN在学习社区中是最受信赖的。我的问题是：为什么？ 是因为每个人都非常努力，但是还没有人找到好的算法吗？上面的斜体字样（或我遗漏的其他字词）是否存在已知的下界？ 如果答案很明确，那么对已知内容和/或对调查/讲义的引用进行简要总结将是很好的。 如果未知数太多，那么“最新技术”的论文越多越好。:)（提前感谢！）

11 cc.complexity-theory  reference-request  cr.crypto-security  machine-learning  lg.learning 

Dana Angluin（1987 ; pdf）定义了一种具有成员资格查询和理论查询（拟议功能的反例）的学习模型。她展示的是由最小DFA的代表的正规语言状态是可以学习在多项式时间内（这里建议功能的DFA）与Ø （米ñ 2）会员的查询，并在最ñ - 1理论查询（米是导师提供的最大反例的大小）。不幸的是，她没有讨论下界。ññnø （米Ñ2）Ø（米ñ2）O(mn^2)n − 1ñ-1个n−1米米m 我们可以通过假设一个魔术师来稍微概括一下模型，该老师可以检查任意函数之间的相等性，并提供反例（如果不同）。然后我们可以问学习比普通语言更大的课程有多困难。我对这种概括以及对常规语言的原始限制很感兴趣。 成员资格和反示例模型中的查询数量是否存在已知的下限？ 我对成员资格查询，理论查询或两者之间的权衡取舍的下限感兴趣。我对任何函数类的下限都感兴趣，甚至比常规语言更复杂的类也是如此。 如果没有下界：在此模型中是否存在证明查询下界的障碍？ 相关问题 Dana Angluin用于学习常规集的算法是否有改进

11 cc.complexity-theory  machine-learning  lower-bounds  lg.learning  query-complexity 

Angluin和Laird（'88）在“带有随机分类噪声的PAC”（或嘈杂的PAC）模型中使用随机损坏的数据对学习进行形式化。此模型类似于PAC学习，不同之处在于，给学习者的示例的标签被随机随机地破坏（翻转），概率。η&lt; 1 / 2η&lt;1个/2\eta < 1/2 为了帮助表征嘈杂的PAC模型中可学习的内容，Kearns（'93）引入了用于学习的统计查询模型（SQ）。在此模型中，学习者可以查询统计oracle以获取目标分布的属性，并且他表明，可以学习SQ的任何类都可以在嘈杂的PAC中学习。Kearns还证明，对于某些常数，变量的奇偶性不能比更快地学会。ññn2n / c2ñ/C2^{n/c}CCc 然后Blum等。（'00）分离嘈杂PAC从SQ通过显示在所述第一奇偶校验位是在嘈杂的PAC模型多项式时间可学习而不是在SQ模式。（日志（n ）日志日志（n ））（日志⁡（ñ）日志⁡日志⁡（ñ））(\log(n) \log\log(n)) 我的问题是这样的： 在嘈杂的PAC模型中可以学习奇偶校验（在第一个变量上），而在SQ模型中则不能学习。是否有其他特定类别，与平价充分不同，已知在嘈杂的PAC中可学习但在SQ中不可学习？（日志（n）日志日志（n ））（日志⁡（ñ）日志⁡日志⁡（ñ））(\log(n) \log\log(n))

11 lg.learning 

现实世界中的数据有时具有自然数量的集群（尝试将其集群成小于某个魔术系数k的集群数量会大大增加集群成本）。今天，我参加了亚当·迈耶森（Adam Meyerson）博士的演讲，他将这类数据称为“可分离数据”。 除了K均值以外，还有哪些聚类形式化方法可以用来利用数据的自然可分离性的聚类算法（近似或启发式算法）？

11 lg.learning  clustering 

令为位串/标签对，令为布尔值函数的集合。对于每个函数，令： 并令： OPT（C，D）= \ min_ {f \ in C} \ err（f，D） 假设算法A在任何分布上都不可知地学习C，如果对于任何D，它可以2/3的概率找到函数f，从而err（f，D）\ leq OPT（C，D）+ \ epsilon，给定时间和D中的一些样本DDD{0,1}d×{0,1}{0,1}d×{0,1}\{0,1\}^d\times \{0,1\}CCCf:{0,1}d→{0,1}f:{0,1}d→{0,1}f:\{0,1\}^d\rightarrow\{0,1\}f∈Cf∈Cf \in Cerr(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D)=Pr(x,y)∼D[f(x)≠y]err(f,D) = \Pr_{(x,y) \sim D}[f(x) \neq y]OPT(C,D)=minf∈C err(f,D)OPT(C,D)=minf∈C err(f,D)OPT(C,D) = \min_{f \in C}\ err(f,D)AAACCCDDD2/32/32/3ffferr(f,D)≤OPT(C,D)+ϵerr(f,D)≤OPT(C,D)+ϵerr(f,D) \leq OPT(C,D) + \epsilonDDD它由ddd和1 / \ epsilon中的多项式界定1/ϵ1/ϵ1/\epsilon。 问题：在任意分布上，哪些类函数CCC可以从不可知论上学习？ 没有上课太简单了！我知道连单调连词在任意分布上都不是不可知论的，所以我只是在寻找功能的非平凡类。

11 reference-request  machine-learning  lg.learning 

我的问题有点笼统，所以我编造了一个很好的故事来证明这一点。如果这不切实际，请忍受我;-) 故事 一家大公司的计算机安全部门负责人X先生有点偏执：他要求所有员工每个月更改一次密码，以最大程度地减少身份或信息盗窃的风险。而且，他不相信员工能够提供安全的密码。 因此，他每个月都会使用自己编写的软件来生成新密码，并将其提供给员工，以便他们可以再次登录。但是X先生除了偏执外，还有些懒惰：他生成的密码全部遵循某种模式，用于允许人们登录的算法仅根据该规则检查密码“看起来还不错”，并且不在“过期列表”中。 不幸的是，他的自欺欺人的行为使很多人感到痛苦，其中之一Y先生决定向他证明他可以破解密码。因此，有一天晚上，他收集了其中的一些密码，并开始尝试设计一种学习算法来生成有效密码，并使用他的个人计算机对其进行验证。 题 Y先生使用的预言有点奇怪，因为它告诉他“真相，而不是全部真相”（因此称为“沉默寡言”形容词）。更确切地说：Y先生会知道密码是有效的，当他的计算机接受它，但是当密码被拒绝，Y先生不知道是否它可能是有效的：密码可能被拒绝，因为它不根据X先生的“每月更改一次”规则，该规则可能与某种模式相对应，但也可能会被拒绝，因为它曾经是有效的，但现在不再有效。 那么，Y先生在这种情况下能否提出任何建议？还是我们可以声称/证明X先生的密码本质上是不可预测的（如PAC学习设置中所定义，但此概念可能存在于其他框架中）？

11 lg.learning 

众所周知，对于具有VC维d的概念类，获得O （dCC\mathcal{C}ddd标记为PAC学习C的示例。我不清楚PAC学习算法（使用这么多样本）是正确的还是不合适的？在Kearns和Vazirani以及Anthony和Biggs的教科书中，PAC学习算法似乎是不正确的（即，输出假设不在C中）O(dε日志1个ε）O(dεlog⁡1ε)O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)CC\mathcal{C}CC\mathcal{C} 有人可以澄清一下类似的上限是否也适用于正确的PAC学习设置吗？如果是这样，您能否给我参考，其中明确提到了该参考并且还包含独立的证据？ 最近，Hanneke通过消除对因子改善了这一界限。有人可以澄清一下，对于正确的PAC学习设置，是否已知可移动日志（1 / ε ）？还是仍然有待解决的问题？日志（1 / ε ）log⁡(1/ε)\log(1/\varepsilon)日志（1 / ε ）log⁡(1/ε)\log(1/\varepsilon)

11 machine-learning  boolean-functions  lg.learning  vc-dimension  pac-learning 

让我们定义一组nnn位的函数。修复彼此“合理”不同的两个分布（如果愿意，它们的变化距离至少为或类似的值）。εp,qp,qp, qϵϵ\epsilon 现在，此类中的每个函数由索引的集合定义，并按如下方式评估：如果所选位的奇偶校验为0，则从返回一个随机样本，否则从返回一个随机样本。ķ 小号p qfffkkkSSSpppqqq 问题：假设我给Oracle访问一些从这个类，而我知道（或距离的一些其他措施），我不知道和。ε p qfffϵϵ\epsilonpppqqq 我需要打给PAC学习的电话数量是否有限制？大概我的答案将是和。Ñ ，ķ εfffn,kn,kn, kϵϵ\epsilon 注意：我没有指定输出域。同样，我很灵活，但是现在让我们说和是在有限域上定义的。通常，我对在上定义它们的情况也很感兴趣（例如，如果它们是高斯​​派）q [ 1 .. M ] Rpppqqq[1..M][1..M][1..M][RR{\mathbb R}

10 lg.learning 

最近，我一直在阅读大量的CoLT论文。尽管我不会为个别论文而苦恼（至少不比与其他理论性论文相比通常会有所挣扎），但我并不认为我对整个领域有很好的广泛了解。 是否有用于在研究生阶段介绍CoLT的标准文字，调查或讲义？ 我有基本的理论A背景，但没有机器学习或统计学的专门知识。我对PAC学习和学习自动机等东西最感兴趣，而对贝叶斯推理和VC理论之类的东西则不太感兴趣。 相关问题 统计学习理论最新进展的资源/书

10 reference-request  machine-learning  lg.learning  survey  books