无法在“窗口”上执行“ btoa”:要编码的字符串包含Latin1范围之外的字符。


133

根据我的测试,标题错误仅在Google Chrome中引发。我正在对一个大XML文件进行base64编码,以便可以下载它:

this.loader.src = "data:application/x-forcedownload;base64,"+
                  btoa("<?xml version=\"1.0\" encoding=\"utf-8\"?>"
                  +"<"+this.gamesave.tagName+">"
                  +this.xml.firstChild.innerHTML
                  +"</"+this.gamesave.tagName+">");

this.loader 隐藏的iframe。

这个错误实际上是一个很大的变化,因为通常,谷歌浏览器会在btoa通话时崩溃。Mozilla Firefox在这里没有问题,因此问题与浏览器有关。我不知道文件中有任何奇怪的字符。实际上,我确实相信没有非ASCII字符。

问: 如何找到有问题的字符并替换它们,以使Chrome不再抱怨?

我试图使用Downloadify来启动下载,但是它不起作用。这是不可靠的,不会抛出任何错误以进行调试。

Answers:


212

如果您有UTF8,请使用它(实际上与SVG源一起使用),例如:

btoa(unescape(encodeURIComponent(str)))

例:

 var imgsrc = 'data:image/svg+xml;base64,' + btoa(unescape(encodeURIComponent(markup)));
 var img = new Image(1, 1); // width, height values are optional params 
 img.src = imgsrc;

如果需要解码该base64,请使用以下命令:

var str2 = decodeURIComponent(escape(window.atob(b64)));
console.log(str2);

例:

var str = "äöüÄÖÜçéèñ";
var b64 = window.btoa(unescape(encodeURIComponent(str)))
console.log(b64);

var str2 = decodeURIComponent(escape(window.atob(b64)));
console.log(str2);

注意:如果您需要将此功能用于移动浏览器,则可能需要从base64数据中删除所有空白...

function b64_to_utf8( str ) {
    str = str.replace(/\s/g, '');    
    return decodeURIComponent(escape(window.atob( str )));
}

2017更新

这个问题一直困扰着我。
一个简单的事实是,atob并不真正处理UTF8字符串-仅是ASCII。
另外,我不会使用像js-base64这样的膨胀软件。
但是webtoolkit确实有一个很小,很好且非常可维护的实现:

/**
*
*  Base64 encode / decode
*  http://www.webtoolkit.info
*
**/
var Base64 = {

    // private property
    _keyStr: "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/="

    // public method for encoding
    , encode: function (input)
    {
        var output = "";
        var chr1, chr2, chr3, enc1, enc2, enc3, enc4;
        var i = 0;

        input = Base64._utf8_encode(input);

        while (i < input.length)
        {
            chr1 = input.charCodeAt(i++);
            chr2 = input.charCodeAt(i++);
            chr3 = input.charCodeAt(i++);

            enc1 = chr1 >> 2;
            enc2 = ((chr1 & 3) << 4) | (chr2 >> 4);
            enc3 = ((chr2 & 15) << 2) | (chr3 >> 6);
            enc4 = chr3 & 63;

            if (isNaN(chr2))
            {
                enc3 = enc4 = 64;
            }
            else if (isNaN(chr3))
            {
                enc4 = 64;
            }

            output = output +
                this._keyStr.charAt(enc1) + this._keyStr.charAt(enc2) +
                this._keyStr.charAt(enc3) + this._keyStr.charAt(enc4);
        } // Whend 

        return output;
    } // End Function encode 


    // public method for decoding
    ,decode: function (input)
    {
        var output = "";
        var chr1, chr2, chr3;
        var enc1, enc2, enc3, enc4;
        var i = 0;

        input = input.replace(/[^A-Za-z0-9\+\/\=]/g, "");
        while (i < input.length)
        {
            enc1 = this._keyStr.indexOf(input.charAt(i++));
            enc2 = this._keyStr.indexOf(input.charAt(i++));
            enc3 = this._keyStr.indexOf(input.charAt(i++));
            enc4 = this._keyStr.indexOf(input.charAt(i++));

            chr1 = (enc1 << 2) | (enc2 >> 4);
            chr2 = ((enc2 & 15) << 4) | (enc3 >> 2);
            chr3 = ((enc3 & 3) << 6) | enc4;

            output = output + String.fromCharCode(chr1);

            if (enc3 != 64)
            {
                output = output + String.fromCharCode(chr2);
            }

            if (enc4 != 64)
            {
                output = output + String.fromCharCode(chr3);
            }

        } // Whend 

        output = Base64._utf8_decode(output);

        return output;
    } // End Function decode 


    // private method for UTF-8 encoding
    ,_utf8_encode: function (string)
    {
        var utftext = "";
        string = string.replace(/\r\n/g, "\n");

        for (var n = 0; n < string.length; n++)
        {
            var c = string.charCodeAt(n);

            if (c < 128)
            {
                utftext += String.fromCharCode(c);
            }
            else if ((c > 127) && (c < 2048))
            {
                utftext += String.fromCharCode((c >> 6) | 192);
                utftext += String.fromCharCode((c & 63) | 128);
            }
            else
            {
                utftext += String.fromCharCode((c >> 12) | 224);
                utftext += String.fromCharCode(((c >> 6) & 63) | 128);
                utftext += String.fromCharCode((c & 63) | 128);
            }

        } // Next n 

        return utftext;
    } // End Function _utf8_encode 

    // private method for UTF-8 decoding
    ,_utf8_decode: function (utftext)
    {
        var string = "";
        var i = 0;
        var c, c1, c2, c3;
        c = c1 = c2 = 0;

        while (i < utftext.length)
        {
            c = utftext.charCodeAt(i);

            if (c < 128)
            {
                string += String.fromCharCode(c);
                i++;
            }
            else if ((c > 191) && (c < 224))
            {
                c2 = utftext.charCodeAt(i + 1);
                string += String.fromCharCode(((c & 31) << 6) | (c2 & 63));
                i += 2;
            }
            else
            {
                c2 = utftext.charCodeAt(i + 1);
                c3 = utftext.charCodeAt(i + 2);
                string += String.fromCharCode(((c & 15) << 12) | ((c2 & 63) << 6) | (c3 & 63));
                i += 3;
            }

        } // Whend 

        return string;
    } // End Function _utf8_decode 

}

https://www.fileformat.info/info/unicode/utf8.htm

  • 对于等于或小于127(十六进制0x7F)的任何字符,UTF-8表示形式为一个字节。它只是完整unicode值的最低7位。这也与ASCII值相同。

  • 对于等于或小于2047(十六进制0x07FF)的字符,UTF-8表示形式跨两个字节。第一个字节将设置两个高位,第三个位清零(即0xC2至0xDF)。第二个字节将设置高位,第二个位将清零(即0x80至0xBF)。

  • 对于等于或大于2048但小于65535(0xFFFF)的所有字符,UTF-8表示形式分布在三个字节中。


6
您能进一步说明一下...我完全迷失了吗
穆罕默德·乌默尔

如果我是你,我只会运行代码。escape将字符串转换为仅包含url有效字符的字符串。这样可以防止错误。
托马什Zato -恢复莫妮卡

6
escape并且unescape在JavaScript 1.5中已弃用,而应分别使用encodeURIComponentdecodeURIComponent。您正在一起使用不推荐使用的功能和新功能。为什么?参见:w3schools.com/jsref/jsref_escape.asp
Leif

2
@Leif:这仅是因为逃逸和逃生是越野车(以相同的方式);)
Stefan Steiger 2014年

8
还有其他人不想使用webpack吗?
Avindra Goolcharan

18

使用btoaunescapeencodeURIComponent我没有工作。用XML / HTML实体替换所有特殊字符,然后转换为base64表示形式是为我解决此问题的唯一方法。一些代码:

base64 = btoa(str.replace(/[\u00A0-\u2666]/g, function(c) {
    return '&#' + c.charCodeAt(0) + ';';
}));

1
自从我发布了这个问题以来,我学到了一些专门用于我所做的API。如果您要转换的字符串很长,请使用Blobobject来处理转换。Blob可以处理任何二进制数据。
托马什Zato -恢复莫妮卡

1
不确定IE9。但是我的想法是,如果您正在做诸如base64转换客户端之类的工作,那么您可能正在制作现代Web应用程序,无论如何迟早都会需要现代功能。另外,还有一个blob polyfill。
托马什Zato -恢复莫妮卡

1
@ItaloBorssatto您是一个传奇!
Codeepic

1
@ItaloBorssatto这是唯一对我有用的解决方案。我需要它来获取d3 svg图表,使用XMLSerializer对其进行序列化,将其传递到btoa()(这是我使用的解决方案的地方),以创建基于base-64编码的ASCII字符串,然后将其传递到image元素中然后绘制到画布中,然后将其导出,以便您可以在前端下载图像。相当复杂且棘手的解决方案,但是当用户要下载某些图形时,该解决方案不需要服务器端呈现的图表。如果您有兴趣,我可以向您发送一些代码示例。对于他们来说,评论太短了
Codeepic '17

1
@ItaloBorssatto <svg xmlns =“ w3.org/2000/svg ” viewBox =“ 0 0 1060 105” width =“ 1060” height =“ 105”> <路径类=“域” stroke =“ none” d =“ M -6,0.5H0.5V35.5H-6“> <line stroke =” none“ x2 =”-6“ y1 =” 0.5“ y2 =” 0.5“ fill =” none“ stroke-width =” 1px“ font- family =“ sans-serif” font-size =“ 10px” /> <text fill =“ rgb(196,196,196)” x =“-9” y =“ 0.5” dy =“ 0.32em”> VogueEspana- VogueEspaña</ text> <rect class =“ first bar” fill =“ rgb(25,244,71)” x =“ 0” y =“ 8” width =“ 790” height =“ 18” /> </ g> </ svg>我切掉了无关的部分。罪魁祸首是西班牙时尚-> ñ阻止图像加载到浏览器中。
codeepic

15

改用图书馆

我们不必重新发明轮子。只需使用图书馆即可节省时间和头痛。

js-base64

https://github.com/dankogai/js-base64很好,我确认它很好地支持unicode。

Base64.encode('dankogai');  // ZGFua29nYWk=
Base64.encode('小飼弾');    // 5bCP6aO85by+
Base64.encodeURI('小飼弾'); // 5bCP6aO85by-

Base64.decode('ZGFua29nYWk=');  // dankogai
Base64.decode('5bCP6aO85by+');  // 小飼弾
// note .decodeURI() is unnecessary since it accepts both flavors
Base64.decode('5bCP6aO85by-');  // 小飼弾

这是一个很好的解决方案,尽管似乎将btoa限制为ASCII(尽管atob解码似乎可以正常工作)。在其他几个答案无法解决之后,这对我有用。谢谢!
以名字命名

9

我只是认为我应该分享我实际解决问题的方式以及为什么我认为这是正确的解决方案(前提是您不针对旧版浏览器进行优化)。

将数据转换为dataURL(data: ...

var blob = new Blob(
              // I'm using page innerHTML as data
              // note that you can use the array
              // to concatenate many long strings EFFICIENTLY
              [document.body.innerHTML],
              // Mime type is important for data url
              {type : 'text/html'}
); 
// This FileReader works asynchronously, so it doesn't lag
// the web application
var a = new FileReader();
a.onload = function(e) {
     // Capture result here
     console.log(e.target.result);
};
a.readAsDataURL(blob);

允许用户保存数据

除了显而易见的解决方案之外-使用dataURL作为URL打开新窗口,您还可以做另外两件事。

1.使用fileSaver.js

文件保护程序可以使用预定义的文件名创建实际的fileSave对话框。它也可以回退到普通的dataURL方法。

2.使用(实验性) URL.createObjectURL

这对于重用base64编码的数据非常有用。它为您的dataURL创建一个简短的URL:

console.log(URL.createObjectURL(blob));
//Prints: blob:http://stackoverflow.com/7c18953f-f5f8-41d2-abf5-e9cbced9bc42

不要忘记使用包含前导blob前缀的URL 。我document.body再次使用:

图片说明

您可以将此简短网址用作AJAX目标,<script>源或<a>href位置。不过,您有责任破坏URL:

URL.revokeObjectURL('blob:http://stackoverflow.com/7c18953f-f5f8-41d2-abf5-e9cbced9bc42')

谢谢您,您救了我的日子:)
Sandeep Kumar

3

作为对Stefan Steiger答案的补充:(因为它看起来不像评论)

扩展String原型:

String.prototype.b64encode = function() { 
    return btoa(unescape(encodeURIComponent(this))); 
};
String.prototype.b64decode = function() { 
    return decodeURIComponent(escape(atob(this))); 
};

用法:

var str = "äöüÄÖÜçéèñ";
var encoded = str.b64encode();
console.log( encoded.b64decode() );

注意:

如评论中所述,unescape不建议使用using ,因为将来可能会删除它:

警告:尽管unescape()并未被严格弃用(如“从Web标准中删除”),但它在ECMA-262标准的附件B中定义,其引入说明:…本标准中指定的所有语言功能和行为附件具有一个或多个不良特性,并且在没有遗留用法的情况下,将从本规范中删除该附件。

注意:请勿使用unescape来解码URI,而应使用encodeURIencodeURIComponent


6
函数看起来不错,但是扩展基本原型是一个坏习惯。
timemachine3030

4
Javascript是一种不良做法。多谢了,谢谢。
rob5408

1
@ rob5408:虽然我在原则上同意您的说法,但您实际上应该更加谨慎:扩展原型会破坏jQuery(另一个使用“仅一个hack”原则的库)
Stefan Steiger 2016年

@StefanSteiger很高兴知道,感谢您的见解。
rob5408


2

btoa()仅支持从String.fromCodePoint(0)到String.fromCodePoint(255)的字符。对于代码点为256或更高的Base64字符,您需要在前后进行编码/解码。

在这一点上,它变得棘手...

每个可能的符号都排列在Unicode表中。Unicode表分为不同的平面(语言,数学符号等)。飞机上的每个标志都有唯一的代码点编号。从理论上讲,该数目可以任意变大。

计算机以字节为单位存储数据(8位,十六进制0x00-0xff,二进制00000000-11111111,十进制0-255)。此范围通常用于保存基本字符(Latin1范围)。

对于具有更高代码点的字符,则存在255种不同的编码。JavaScript使用每个符号16位(UTF-16),该字符串称为DOMString。Unicode可以处理最多0x10fffff的代码点。这意味着,必须存在一种方法来存储多个单元之外的多个位。

String.fromCodePoint(0x10000).length == 2

UTF-16使用代理对将20位存储在两个16位单元中。第一个较高的代理以110110xxxxxxxxxx开头,第二个较低的代理以110111xxxxxxxxxx 开头。Unicode为此保留了自己的飞机:https//unicode-table.com/de/#high-surrogates

要以字节(Latin1范围)的标准格式存储字符,请使用UTF-8

抱歉地说,但是我认为没有其他方法可以自我实现此功能。

function stringToUTF8(str)
{
    let bytes = [];

    for(let character of str)
    {
        let code = character.codePointAt(0);

        if(code <= 127)
        {
            let byte1 = code;

            bytes.push(byte1);
        }
        else if(code <= 2047)
        {
            let byte1 = 0xC0 | (code >> 6);
            let byte2 = 0x80 | (code & 0x3F);

            bytes.push(byte1, byte2);
        }
        else if(code <= 65535)
        {
            let byte1 = 0xE0 | (code >> 12);
            let byte2 = 0x80 | ((code >> 6) & 0x3F);
            let byte3 = 0x80 | (code & 0x3F);

            bytes.push(byte1, byte2, byte3);
        }
        else if(code <= 2097151)
        {
            let byte1 = 0xF0 | (code >> 18);
            let byte2 = 0x80 | ((code >> 12) & 0x3F);
            let byte3 = 0x80 | ((code >> 6) & 0x3F);
            let byte4 = 0x80 | (code & 0x3F);

            bytes.push(byte1, byte2, byte3, byte4);
        }
    }

    return bytes;
}

function utf8ToString(bytes, fallback)
{
    let valid = undefined;
    let codePoint = undefined;
    let codeBlocks = [0, 0, 0, 0];

    let result = "";

    for(let offset = 0; offset < bytes.length; offset++)
    {
        let byte = bytes[offset];

        if((byte & 0x80) == 0x00)
        {
            codeBlocks[0] = byte & 0x7F;

            codePoint = codeBlocks[0];
        }
        else if((byte & 0xE0) == 0xC0)
        {
            codeBlocks[0] = byte & 0x1F;

            byte = bytes[++offset];
            if(offset >= bytes.length || (byte & 0xC0) != 0x80) { valid = false; break; }

            codeBlocks[1] = byte & 0x3F;

            codePoint = (codeBlocks[0] << 6) + codeBlocks[1];
        }
        else if((byte & 0xF0) == 0xE0)
        {
            codeBlocks[0] = byte & 0xF;

            for(let blockIndex = 1; blockIndex <= 2; blockIndex++)
            {
                byte = bytes[++offset];
                if(offset >= bytes.length || (byte & 0xC0) != 0x80) { valid = false; break; }

                codeBlocks[blockIndex] = byte & 0x3F;
            }
            if(valid === false) { break; }

            codePoint = (codeBlocks[0] << 12) + (codeBlocks[1] << 6) + codeBlocks[2];
        }
        else if((byte & 0xF8) == 0xF0)
        {
            codeBlocks[0] = byte & 0x7;

            for(let blockIndex = 1; blockIndex <= 3; blockIndex++)
            {
                byte = bytes[++offset];
                if(offset >= bytes.length || (byte & 0xC0) != 0x80) { valid = false; break; }

                codeBlocks[blockIndex] = byte & 0x3F;
            }
            if(valid === false) { break; }

            codePoint = (codeBlocks[0] << 18) + (codeBlocks[1] << 12) + (codeBlocks[2] << 6) + (codeBlocks[3]);
        }
        else
        {
            valid = false; break;
        }

        result += String.fromCodePoint(codePoint);
    }

    if(valid === false)
    {
        if(!fallback)
        {
            throw new TypeError("Malformed utf-8 encoding.");
        }

        result = "";

        for(let offset = 0; offset != bytes.length; offset++)
        {
            result += String.fromCharCode(bytes[offset] & 0xFF);
        }
    }

    return result;
}

function decodeBase64(text, binary)
{
    if(/[^0-9a-zA-Z\+\/\=]/.test(text)) { throw new TypeError("The string to be decoded contains characters outside of the valid base64 range."); }

    let codePointA = 'A'.codePointAt(0);
    let codePointZ = 'Z'.codePointAt(0);
    let codePointa = 'a'.codePointAt(0);
    let codePointz = 'z'.codePointAt(0);
    let codePointZero = '0'.codePointAt(0);
    let codePointNine = '9'.codePointAt(0);
    let codePointPlus = '+'.codePointAt(0);
    let codePointSlash = '/'.codePointAt(0);

    function getCodeFromKey(key)
    {
        let keyCode = key.codePointAt(0);

        if(keyCode >= codePointA && keyCode <= codePointZ)
        {
            return keyCode - codePointA;
        }
        else if(keyCode >= codePointa && keyCode <= codePointz)
        {
            return keyCode + 26 - codePointa;
        }
        else if(keyCode >= codePointZero && keyCode <= codePointNine)
        {
            return keyCode + 52 - codePointZero;
        }
        else if(keyCode == codePointPlus)
        {
            return 62;
        }
        else if(keyCode == codePointSlash)
        {
            return 63;
        }

        return undefined;
    }

    let codes = Array.from(text).map(character => getCodeFromKey(character));

    let bytesLength = Math.ceil(codes.length / 4) * 3;

    if(codes[codes.length - 2] == undefined) { bytesLength = bytesLength - 2; } else if(codes[codes.length - 1] == undefined) { bytesLength--; }

    let bytes = new Uint8Array(bytesLength);

    for(let offset = 0, index = 0; offset < bytes.length;)
    {
        let code1 = codes[index++];
        let code2 = codes[index++];
        let code3 = codes[index++];
        let code4 = codes[index++];

        let byte1 = (code1 << 2) | (code2 >> 4);
        let byte2 = ((code2 & 0xf) << 4) | (code3 >> 2);
        let byte3 = ((code3 & 0x3) << 6) | code4;

        bytes[offset++] = byte1;
        bytes[offset++] = byte2;
        bytes[offset++] = byte3;
    }

    if(binary) { return bytes; }

    return utf8ToString(bytes, true);
}

function encodeBase64(bytes) {
    if (bytes === undefined || bytes === null) {
        return '';
    }
    if (bytes instanceof Array) {
        bytes = bytes.filter(item => {
            return Number.isFinite(item) && item >= 0 && item <= 255;
        });
    }

    if (
        !(
            bytes instanceof Uint8Array ||
            bytes instanceof Uint8ClampedArray ||
            bytes instanceof Array
        )
    ) {
        if (typeof bytes === 'string') {
            const str = bytes;
            bytes = Array.from(unescape(encodeURIComponent(str))).map(ch =>
                ch.codePointAt(0)
            );
        } else {
            throw new TypeError('bytes must be of type Uint8Array or String.');
        }
    }

    const keys = [
        'A',
        'B',
        'C',
        'D',
        'E',
        'F',
        'G',
        'H',
        'I',
        'J',
        'K',
        'L',
        'M',
        'N',
        'O',
        'P',
        'Q',
        'R',
        'S',
        'T',
        'U',
        'V',
        'W',
        'X',
        'Y',
        'Z',
        'a',
        'b',
        'c',
        'd',
        'e',
        'f',
        'g',
        'h',
        'i',
        'j',
        'k',
        'l',
        'm',
        'n',
        'o',
        'p',
        'q',
        'r',
        's',
        't',
        'u',
        'v',
        'w',
        'x',
        'y',
        'z',
        '0',
        '1',
        '2',
        '3',
        '4',
        '5',
        '6',
        '7',
        '8',
        '9',
        '+',
        '/'
    ];
    const fillKey = '=';

    let byte1;
    let byte2;
    let byte3;
    let sign1 = ' ';
    let sign2 = ' ';
    let sign3 = ' ';
    let sign4 = ' ';

    let result = '';

    for (let index = 0; index < bytes.length; ) {
        let fillUpAt = 0;

        // tslint:disable:no-increment-decrement
        byte1 = bytes[index++];
        byte2 = bytes[index++];
        byte3 = bytes[index++];

        if (byte2 === undefined) {
            byte2 = 0;
            fillUpAt = 2;
        }

        if (byte3 === undefined) {
            byte3 = 0;
            if (!fillUpAt) {
                fillUpAt = 3;
            }
        }

        // tslint:disable:no-bitwise
        sign1 = keys[byte1 >> 2];
        sign2 = keys[((byte1 & 0x3) << 4) + (byte2 >> 4)];
        sign3 = keys[((byte2 & 0xf) << 2) + (byte3 >> 6)];
        sign4 = keys[byte3 & 0x3f];

        if (fillUpAt > 0) {
            if (fillUpAt <= 2) {
                sign3 = fillKey;
            }
            if (fillUpAt <= 3) {
                sign4 = fillKey;
            }
        }

        result += sign1 + sign2 + sign3 + sign4;

        if (fillUpAt) {
            break;
        }
    }

    return result;
}

let base64 = encodeBase64("\u{1F604}"); // unicode code point escapes for smiley
let str = decodeBase64(base64);

console.log("base64", base64);
console.log("str", str);

document.body.innerText = str;

如何使用它: decodeBase64(encodeBase64("\u{1F604}"))

演示:https : //jsfiddle.net/qrLadeb8/


很棒!🎉我不明白,你需要stringToUTF8utf8ToString虽然
本杰明Toueg

1

我自己碰到了这个问题。

首先,略微修改您的代码:

var download = "<?xml version=\"1.0\" encoding=\"utf-8\"?>"
                  +"<"+this.gamesave.tagName+">"
                  +this.xml.firstChild.innerHTML
                  +"</"+this.gamesave.tagName+">";

this.loader.src = "data:application/x-forcedownload;base64,"+
                  btoa(download);

然后使用您喜欢的Web检查器,在分配this.loader.src的代码行上放置一个断点,然后执行以下代码:

for (var i = 0; i < download.length; i++) {
  if (download[i].charCodeAt(0) > 255) {
    console.warn('found character ' + download[i].charCodeAt(0) + ' "' + download[i] + '" at position ' + i);
  }
}

根据您的应用程序,替换超出范围的字符可能会或可能不会起作用,因为您将要修改数据。有关使用btoa方法的unicode字符,请参阅有关MDN的注释:

https://developer.mozilla.org/zh-CN/docs/Web/API/window.btoa

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.