要在JavaScript中转义HTML实体?


177

我有一些与XML-RPC后端通信的Javascript代码。XML-RPC返回以下形式的字符串:

<img src='myimage.jpg'>

但是,当我使用Javascript将字符串插入HTML时,它们将按字面显示。我没有看到图片,而是从字面上看到了字符串:

<img src='myimage.jpg'>

我的猜测是HTML正在通过XML-RPC通道进行转义。

如何取消对Javascript中的字符串的转义?我尝试了此页面上的技术,但未成功:http : //paulschreiber.com/blog/2008/09/20/javascript-how-to-unescape-html-entities/

还有什么其他方法可以诊断问题?



Answers:


177

编辑:您应该按照Wladimir的建议使用DOMParser API ,因为发布的函数引入了安全漏洞,所以我编辑了以前的答案。

以下代码片段是旧答案的代码,但进行了少量修改:使用a textarea代替a div可以减少XSS漏洞,但是在IE9和Firefox中仍然存在问题。

function htmlDecode(input){
  var e = document.createElement('textarea');
  e.innerHTML = input;
  // handle case of empty input
  return e.childNodes.length === 0 ? "" : e.childNodes[0].nodeValue;
}

htmlDecode("&lt;img src='myimage.jpg'&gt;"); 
// returns "<img src='myimage.jpg'>"

基本上,我以编程方式创建DOM元素,将编码的HTML分配给它的innerHTML,然后从在innerHTML插入上创建的文本节点中检索nodeValue。由于它仅创建一个元素但从未添加它,因此不会修改网站HTML。

它可以跨浏览器(包括较旧的浏览器)运行,并接受所有HTML字符实体

编辑:此代码的旧版本不适用于带有空白输入的IE,如jsFiddle(在IE中查看)所示。上面的版本适用于所有输入。

更新:看来这不适用于大字符串,并且还引入了一个安全漏洞,请参阅注释。


知道了,您将其更改为',所以让我删除我的评论,谢谢,它的效果很好,+ 1
YOU

1
@ S.Mark:&apos;不属于HTML 4实体,这就是原因!w3.org/TR/html4/sgml/entities.html fishbowl.pastiche.org/2003/07/01/the_curse_of_apos
CMS

2
另请参阅@kender关于此方法安全性差的说明。
Joseph Turian

2
请参阅我给@kender的关于他所做的测试不佳的记录;)
Roatin Marth,

24
此功能存在安全隐患,即使未将元素添加到DOM,JavaScript代码也将运行。因此,只有在输入字符串受信任的情况下,才可以使用它。我添加了自己的答案来解释该问题并提供安全的解决方案。副作用是,如果存在多个文本节点,则结果不会被截断。
弗拉基米尔·帕兰特

375

此处给出的大多数答案都有一个很大的缺点:如果您不尝试转换的字符串不受信任,则最终会遇到跨站脚本(XSS)漏洞。对于接受的答案中的功能,请考虑以下事项:

htmlDecode("<img src='dummy' onerror='alert(/xss/)'>");

此处的字符串包含未转义的HTML标记,因此该htmlDecode函数实际上不会运行任何在字符串中指定的JavaScript代码,而不是对其进行解码。

通过使用所有现代浏览器都支持的DOMParser可以避免这种情况:

function htmlDecode(input) {
  var doc = new DOMParser().parseFromString(input, "text/html");
  return doc.documentElement.textContent;
}

console.log(  htmlDecode("&lt;img src='myimage.jpg'&gt;")  )    
// "<img src='myimage.jpg'>"

console.log(  htmlDecode("<img src='dummy' onerror='alert(/xss/)'>")  )  
// ""

保证此函数不会运行任何JavaScript代码。任何HTML标记都将被忽略,仅返回文本内容。

兼容性说明:解析HTML DOMParser至少需要Chrome 30,Firefox 12,Opera 17,Internet Explorer 10,Safari 7.1或Microsoft Edge。因此,所有不支持浏览器的浏览器都已超过其EOL,并且截至2017年,偶尔仍然可以在野外看到的唯一浏览器是旧版Internet Explorer和Safari版本(通常这些浏览器还不多,令人不安)。


19
我认为这个答案是最好的,因为它提到了XSS漏洞。
КонстантинВан

2
请注意(根据您的参考)在Firefox 12.0之前DOMParser不支持"text/html",并且仍有一些最新版本的浏览器甚至不支持DOMParser.prototype.parseFromString()。根据您的参考,DOMParser这仍然是一项实验性技术,并且替代对象使用的innerHTML属性(正如您也针对我的方法所指出的那样)具有此XSS漏洞(应由浏览器供应商修复)。
PointedEars

4
@PointedEars:2016年谁会关心Firefox 12?有问题的是Internet Explorer(最高9.0)和Safari(最高7.0)。如果可以负担不起不支持他们的费用(希望很快就会成为所有人),那么DOMParser是最佳选择。如果不是-是,则仅处理实体是一种选择。
弗拉基米尔·帕兰特

4
@PointedEars:<script>未执行的标签不是一种安全机制,如果设置innerHTML可以运行同步脚本作为副作用,则此规则仅避免了棘手的计时问题。对HTML代码进行清理是一件棘手的事情,innerHTML甚至没有尝试-已经是因为该网页实际上可能打算设置内联事件处理程序。这根本不是旨在用于不安全数据的机制。
弗拉基米尔·帕兰特

1
@ИльяЗеленько:您打算在紧密循环中使用此代码,还是为什么性能很重要?您的答案再次容易受到XSS攻击,真的值得吗?
弗拉基米尔·帕兰特

37

如果您使用的是jQuery:

function htmlDecode(value){ 
  return $('<div/>').html(value).text(); 
}

否则,使用严格的软件的编码对象,其拥有出色的htmlDecode()功能。


59
不要(不重复),用这个所产生的用户产生的内容以外的内容用户。如果值中包含<script>标记,则将执行脚本的内容!
马尔沃里奥2010年

我在网站上的任何地方都找不到许可证。您知道许可证是什么吗?
TRiG 2011年

源头中有一个许可证,它是GPL。
克里斯·富斯托

6
是的,该函数为XSS开辟了道路:试试htmlDecode(“ <script> alert(12)</ script> 123&gt;”)
Dinis Cruz 2012年

$('<div />')的含义是什么?
回声杨

13

诀窍是利用浏览器的功能来解码特殊的HTML字符,但不允许浏览器像实际的html一样执行结果。此函数使用正则表达式来识别和替换编码的HTML字符(一个字符)一次。

function unescapeHtml(html) {
    var el = document.createElement('div');
    return html.replace(/\&[#0-9a-z]+;/gi, function (enc) {
        el.innerHTML = enc;
        return el.innerText
    });
}

正则表达式可以更紧密地匹配,/\&#?[0-9a-z]+;/gi因为#仅应显示为第二个字符。
TheAtomicOption

这是最好的答案。避免XSS漏洞,并且不剥离HTML标记。
伊曼纽尔

6

CMS的答案很好用,除非您要取消转义的HTML非常长,超过65536个字符。因为然后在Chrome中,内部HTML被拆分为许多子节点,每个子节点的最长长度为65536,因此您需要将它们串联起来。此函数也适用于很长的字符串:

function unencodeHtmlContent(escapedHtml) {
  var elem = document.createElement('div');
  elem.innerHTML = escapedHtml;
  var result = '';
  // Chrome splits innerHTML into many child nodes, each one at most 65536.
  // Whereas FF creates just one single huge child node.
  for (var i = 0; i < elem.childNodes.length; ++i) {
    result = result + elem.childNodes[i].nodeValue;
  }
  return result;
}

请参阅有关innerHTML最大长度的此答案以获取更多信息:https : //stackoverflow.com/a/27545633/694469


3

不是直接回答您的问题,但是让RPC在结构中返回带有这些图像数据(示例中的网址)的某种结构(XML或JSON或其他)会更好吗?

然后,您可以在javascript中解析它并<img>使用javascript本身构建。

您从RPC收到的结构可能类似于:

{"img" : ["myimage.jpg", "myimage2.jpg"]}

我认为这样比较好,因为将来自外部源的代码注入您的页面看起来不太安全。想像一下有人劫持了您的XML-RPC脚本,并在其中放了您不想要的东西(甚至是一些javascript ...)


上面的@CMS方法是否存在此安全漏洞?
Joseph Turian

我只是检查了传递给htmlDecode功能的以下参数:htmlDecode(“&lt; img src ='myimage.jpg'&gt;&lt; script&gt; document.write('xxxxx');&lt; / script&gt;”),它创建了<script> </ script>元素可能不好,恕我直言。而且我仍然认为返回结构而不是插入文本会更好,例如,您可以很好地处理错误。
kender

1
我只是尝试了htmlDecode("&lt;img src='myimage.jpg'&gt;&lt;script&gt;alert('xxxxx');&lt;/script&gt;"),没有任何反应。我按预期返回了解码的html字符串。
Roatin Marth,

2

克里斯(Chris)的回答很好,很优雅,但是如果值未定义,答案就是失败。只是简单的改进就可以使其变得可靠:

function htmlDecode(value) {
   return (typeof value === 'undefined') ? '' : $('<div/>').html(value).text();
}

如果可以改善,请执行以下操作:return (typeof value !== 'string') ? '' : $('<div/>').html(value).text();
SynCap

2

不客气...只是一个使者。

window.htmlentities = {
        /**
         * Converts a string to its html characters completely.
         *
         * @param {String} str String with unescaped HTML characters
         **/
        encode : function(str) {
            var buf = [];

            for (var i=str.length-1;i>=0;i--) {
                buf.unshift(['&#', str[i].charCodeAt(), ';'].join(''));
            }

            return buf.join('');
        },
        /**
         * Converts an html characterSet into its original character.
         *
         * @param {String} str htmlSet entities
         **/
        decode : function(str) {
            return str.replace(/&#(\d+);/g, function(match, dec) {
                return String.fromCharCode(dec);
            });
        }
    };

满分:https//ourcodeworld.com/articles/read/188/encode-and-decode-html-entities-using-pure-javascript


2

这是到目前为止我尝试过的最全面的解决方案:

const STANDARD_HTML_ENTITIES = {
    nbsp: String.fromCharCode(160),
    amp: "&",
    quot: '"',
    lt: "<",
    gt: ">"
};

const replaceHtmlEntities = plainTextString => {
    return plainTextString
        .replace(/&#(\d+);/g, (match, dec) => String.fromCharCode(dec))
        .replace(
            /&(nbsp|amp|quot|lt|gt);/g,
            (a, b) => STANDARD_HTML_ENTITIES[b]
        );
};

“最全面”?您是否尝试过针对实际上全面的测试套件运行它?
Dan Dascalescu

1

我非常疯狂,无法完成这个功能,即使它不是很完整,也应该是详尽的:

function removeEncoding(string) {
    return string.replace(/&Agrave;/g, "À").replace(/&Aacute;/g, "Á").replace(/&Acirc;/g, "Â").replace(/&Atilde;/g, "Ã").replace(/&Auml;/g, "Ä").replace(/&Aring;/g, "Å").replace(/&agrave;/g, "à").replace(/&acirc;/g, "â").replace(/&atilde;/g, "ã").replace(/&auml;/g, "ä").replace(/&aring;/g, "å").replace(/&AElig;/g, "Æ").replace(/&aelig;/g, "æ").replace(/&szlig;/g, "ß").replace(/&Ccedil;/g, "Ç").replace(/&ccedil;/g, "ç").replace(/&Egrave;/g, "È").replace(/&Eacute;/g, "É").replace(/&Ecirc;/g, "Ê").replace(/&Euml;/g, "Ë").replace(/&egrave;/g, "è").replace(/&eacute;/g, "é").replace(/&ecirc;/g, "ê").replace(/&euml;/g, "ë").replace(/&#131;/g, "ƒ").replace(/&Igrave;/g, "Ì").replace(/&Iacute;/g, "Í").replace(/&Icirc;/g, "Î").replace(/&Iuml;/g, "Ï").replace(/&igrave;/g, "ì").replace(/&iacute;/g, "í").replace(/&icirc;/g, "î").replace(/&iuml;/g, "ï").replace(/&Ntilde;/g, "Ñ").replace(/&ntilde;/g, "ñ").replace(/&Ograve;/g, "Ò").replace(/&Oacute;/g, "Ó").replace(/&Ocirc;/g, "Ô").replace(/&Otilde;/g, "Õ").replace(/&Ouml;/g, "Ö").replace(/&ograve;/g, "ò").replace(/&oacute;/g, "ó").replace(/&ocirc;/g, "ô").replace(/&otilde;/g, "õ").replace(/&ouml;/g, "ö").replace(/&Oslash;/g, "Ø").replace(/&oslash;/g, "ø").replace(/&#140;/g, "Œ").replace(/&#156;/g, "œ").replace(/&#138;/g, "Š").replace(/&#154;/g, "š").replace(/&Ugrave;/g, "Ù").replace(/&Uacute;/g, "Ú").replace(/&Ucirc;/g, "Û").replace(/&Uuml;/g, "Ü").replace(/&ugrave;/g, "ù").replace(/&uacute;/g, "ú").replace(/&ucirc;/g, "û").replace(/&uuml;/g, "ü").replace(/&#181;/g, "µ").replace(/&#215;/g, "×").replace(/&Yacute;/g, "Ý").replace(/&#159;/g, "Ÿ").replace(/&yacute;/g, "ý").replace(/&yuml;/g, "ÿ").replace(/&#176;/g, "°").replace(/&#134;/g, "†").replace(/&#135;/g, "‡").replace(/&lt;/g, "<").replace(/&gt;/g, ">").replace(/&#177;/g, "±").replace(/&#171;/g, "«").replace(/&#187;/g, "»").replace(/&#191;/g, "¿").replace(/&#161;/g, "¡").replace(/&#183;/g, "·").replace(/&#149;/g, "•").replace(/&#153;/g, "™").replace(/&copy;/g, "©").replace(/&reg;/g, "®").replace(/&#167;/g, "§").replace(/&#182;/g, "¶").replace(/&Alpha;/g, "Α").replace(/&Beta;/g, "Β").replace(/&Gamma;/g, "Γ").replace(/&Delta;/g, "Δ").replace(/&Epsilon;/g, "Ε").replace(/&Zeta;/g, "Ζ").replace(/&Eta;/g, "Η").replace(/&Theta;/g, "Θ").replace(/&Iota;/g, "Ι").replace(/&Kappa;/g, "Κ").replace(/&Lambda;/g, "Λ").replace(/&Mu;/g, "Μ").replace(/&Nu;/g, "Ν").replace(/&Xi;/g, "Ξ").replace(/&Omicron;/g, "Ο").replace(/&Pi;/g, "Π").replace(/&Rho;/g, "Ρ").replace(/&Sigma;/g, "Σ").replace(/&Tau;/g, "Τ").replace(/&Upsilon;/g, "Υ").replace(/&Phi;/g, "Φ").replace(/&Chi;/g, "Χ").replace(/&Psi;/g, "Ψ").replace(/&Omega;/g, "Ω").replace(/&alpha;/g, "α").replace(/&beta;/g, "β").replace(/&gamma;/g, "γ").replace(/&delta;/g, "δ").replace(/&epsilon;/g, "ε").replace(/&zeta;/g, "ζ").replace(/&eta;/g, "η").replace(/&theta;/g, "θ").replace(/&iota;/g, "ι").replace(/&kappa;/g, "κ").replace(/&lambda;/g, "λ").replace(/&mu;/g, "μ").replace(/&nu;/g, "ν").replace(/&xi;/g, "ξ").replace(/&omicron;/g, "ο").replace(/&piρ;/g, "ρ").replace(/&rho;/g, "ς").replace(/&sigmaf;/g, "ς").replace(/&sigma;/g, "σ").replace(/&tau;/g, "τ").replace(/&phi;/g, "φ").replace(/&chi;/g, "χ").replace(/&psi;/g, "ψ").replace(/&omega;/g, "ω").replace(/&bull;/g, "•").replace(/&hellip;/g, "…").replace(/&prime;/g, "′").replace(/&Prime;/g, "″").replace(/&oline;/g, "‾").replace(/&frasl;/g, "⁄").replace(/&weierp;/g, "℘").replace(/&image;/g, "ℑ").replace(/&real;/g, "ℜ").replace(/&trade;/g, "™").replace(/&alefsym;/g, "ℵ").replace(/&larr;/g, "←").replace(/&uarr;/g, "↑").replace(/&rarr;/g, "→").replace(/&darr;/g, "↓").replace(/&barr;/g, "↔").replace(/&crarr;/g, "↵").replace(/&lArr;/g, "⇐").replace(/&uArr;/g, "⇑").replace(/&rArr;/g, "⇒").replace(/&dArr;/g, "⇓").replace(/&hArr;/g, "⇔").replace(/&forall;/g, "∀").replace(/&part;/g, "∂").replace(/&exist;/g, "∃").replace(/&empty;/g, "∅").replace(/&nabla;/g, "∇").replace(/&isin;/g, "∈").replace(/&notin;/g, "∉").replace(/&ni;/g, "∋").replace(/&prod;/g, "∏").replace(/&sum;/g, "∑").replace(/&minus;/g, "−").replace(/&lowast;/g, "∗").replace(/&radic;/g, "√").replace(/&prop;/g, "∝").replace(/&infin;/g, "∞").replace(/&OEig;/g, "Œ").replace(/&oelig;/g, "œ").replace(/&Yuml;/g, "Ÿ").replace(/&spades;/g, "♠").replace(/&clubs;/g, "♣").replace(/&hearts;/g, "♥").replace(/&diams;/g, "♦").replace(/&thetasym;/g, "ϑ").replace(/&upsih;/g, "ϒ").replace(/&piv;/g, "ϖ").replace(/&Scaron;/g, "Š").replace(/&scaron;/g, "š").replace(/&ang;/g, "∠").replace(/&and;/g, "∧").replace(/&or;/g, "∨").replace(/&cap;/g, "∩").replace(/&cup;/g, "∪").replace(/&int;/g, "∫").replace(/&there4;/g, "∴").replace(/&sim;/g, "∼").replace(/&cong;/g, "≅").replace(/&asymp;/g, "≈").replace(/&ne;/g, "≠").replace(/&equiv;/g, "≡").replace(/&le;/g, "≤").replace(/&ge;/g, "≥").replace(/&sub;/g, "⊂").replace(/&sup;/g, "⊃").replace(/&nsub;/g, "⊄").replace(/&sube;/g, "⊆").replace(/&supe;/g, "⊇").replace(/&oplus;/g, "⊕").replace(/&otimes;/g, "⊗").replace(/&perp;/g, "⊥").replace(/&sdot;/g, "⋅").replace(/&lcell;/g, "⌈").replace(/&rcell;/g, "⌉").replace(/&lfloor;/g, "⌊").replace(/&rfloor;/g, "⌋").replace(/&lang;/g, "⟨").replace(/&rang;/g, "⟩").replace(/&loz;/g, "◊").replace(/&#039;/g, "'").replace(/&amp;/g, "&").replace(/&quot;/g, "\"");
}

像这样使用:

let decodedText = removeEncoding("Ich hei&szlig;e David");
console.log(decodedText);

印刷品: Ich Heiße David

PS这花了一个半小时的时间。


0

要对JavaScript中的HTML实体*进行转义,可以使用小型库html-escapernpm install html-escaper

import {unescape} from 'html-escaper';

unescape('escaped string');

或者unescape从功能Lodash下划线,如果你正在使用它。


*)请注意,这些功能并不能覆盖所有的HTML实体,而只是最常见的,即&<>'"。要取消转义所有HTML实体,你可以使用自己的库。


-1

我在项目中使用了此方法:受其他答案的启发,但具有额外的安全参数,在处理修饰字符时会很有用

var decodeEntities=(function(){

    var el=document.createElement('div');
    return function(str, safeEscape){

        if(str && typeof str === 'string'){

            str=str.replace(/\</g, '&lt;');

            el.innerHTML=str;
            if(el.innerText){

                str=el.innerText;
                el.innerText='';
            }
            else if(el.textContent){

                str=el.textContent;
                el.textContent='';
            }

            if(safeEscape)
                str=str.replace(/\</g, '&lt;');
        }
        return str;
    }
})();

它可以像这样使用:

var label='safe <b> character &eacute;ntity</b>';
var safehtml='<div title="'+decodeEntities(label)+'">'+decodeEntities(label, true)+'</div>';

-1

这里所有其他答案都有问题。

document.createElement('div')方法(包括那些使用jQuery的方法)将执行传递给它的任何JavaScript(安全问题),而DOMParser.parseFromString()方法将修剪空白。这是没有问题的纯JavaScript解决方案:

function htmlDecode(html) {
    var textarea = document.createElement("textarea");
    html= html.replace(/\r/g, String.fromCharCode(0xe000)); // Replace "\r" with reserved unicode character.
    textarea.innerHTML = html;
    var result = textarea.value;
    return result.replace(new RegExp(String.fromCharCode(0xe000), 'g'), '\r');
}

TextArea专门用于避免执行js代码。它通过了这些:

htmlDecode('&lt;&amp;&nbsp;&gt;'); // returns "<& >" with non-breaking space.
htmlDecode('  '); // returns "  "
htmlDecode('<img src="dummy" onerror="alert(\'xss\')">'); // Does not execute alert()
htmlDecode('\r\n') // returns "\r\n", doesn't lose the \r like other solutions.

1
不,使用不同的标签并没有解决问题。仍然是XSS漏洞,请尝试htmlDecode("</textarea><img src=x onerror=alert(1)>")。在我已经在Sergio Belevskij的答案中指出了这个问题之后,您就将其发布了。
弗拉基米尔·帕兰特

我无法重现您描述的问题。我在此JsFiddle中有您的代码,运行时没有警报显示。 jsfiddle.net/edsjt15g/1 您可以看看吗?你使用的是什么浏览器?
EricP

2
我正在使用Firefox。Chrome确实会以不同的方式处理这种情况,因此代码不会执行-但是您不应依赖它。
弗拉基米尔·帕兰特

-1
var encodedStr = 'hello &amp; world';

var parser = new DOMParser;
var dom = parser.parseFromString(
    '<!doctype html><body>' + encodedStr,
    'text/html');
var decodedString = dom.body.textContent;

console.log(decodedString);

@Wladimir Palant(AdBlock Plus的作者)已经在4年前为DOMParser提供了答案。在发布您的答案之前,您已经阅读了之前的答案吗?
Dan Dascalescu

-7

有一个变种,其效率高达最高答案的80%。

请参阅基准:https : //jsperf.com/decode-html12345678/1

性能测试

console.log(decodeEntities('test: &gt'));

function decodeEntities(str) {
  // this prevents any overhead from creating the object each time
  const el = decodeEntities.element || document.createElement('textarea')

  // strip script/html tags
  el.innerHTML = str
    .replace(/<script[^>]*>([\S\s]*?)<\/script>/gmi, '')
    .replace(/<\/?\w(?:[^"'>]|"[^"]*"|'[^']*')*>/gmi, '');

  return el.value;
}

如果需要离开标签,则删除这两个.replace(...)调用(如果不需要脚本,可以离开第一个)。


6
恭喜,您已成功使用伪造的Sanitizaion逻辑掩盖了该漏洞,所有这些都是在实践中无关紧要的性能胜利。尝试decodeEntities("</textarea '><img src=x onerror=alert(1) \">")在Firefox中打电话。请停止尝试使用正则表达式清理HTML代码。
弗拉基米尔·帕兰特
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.