使用C ++编码/解码URL [关闭]

Answers:

81

前几天，我面对了这个问题的一半编码。对可用的选项不满意，在看了下面的C示例代码后，我决定使用自己的C ++ url-encode函数：

#include <cctype>
#include <iomanip>
#include <sstream>
#include <string>

using namespace std;

string url_encode(const string &value) {
    ostringstream escaped;
    escaped.fill('0');
    escaped << hex;

    for (string::const_iterator i = value.begin(), n = value.end(); i != n; ++i) {
        string::value_type c = (*i);

        // Keep alphanumeric and other accepted characters intact
        if (isalnum(c) || c == '-' || c == '_' || c == '.' || c == '~') {
            escaped << c;
            continue;
        }

        // Any other characters are percent-encoded
        escaped << uppercase;
        escaped << '%' << setw(2) << int((unsigned char) c);
        escaped << nouppercase;
    }

    return escaped.str();
}

解码功能的实现留给读者练习。：P

— Xperroni
source
1
我认为用'％20'替换''更通用（更普遍地说是正确的）。我已经相应地更新了代码；如果您不同意，请随时回滚。
— 2014年
1
不，我同意。还趁机删除了这个毫无意义的setw(0)调用（当时我以为最小宽度将保持不变，直到我将其改回为止，但实际上在下一次输入后将其重置）。
— xperroni 2014年
1
我必须将std :: uppercase添加到“转义的<<'％'<< std :: uppercase << std :: setw（2）<< int（（unsigned char）c）;”行中 如果其他人想知道为什么会返回例如％3a而不是％3A
— gumlym 2015年
2
由于不支持UTF-8字符串（w3schools.com/tags/ref_urlencode.asp），因此出现错误。它似乎仅适用于Windows-1252
— Skywalker13'1
1
问题只是isalnum(c)，必须将其更改为isalnum((unsigned char) c)
— Skywalker13'1
74

回答我自己的问题...

libcurl具有curl_easy_escape进行编码。

对于解码，curl_easy_unescape

— 用户名
source
4
您应该接受此答案，这样它才会显示在顶部（人们会发现它更容易）。
— Mouagip 2015年
您需要使用curl才能工作，并且必须释放内存
— xinthose
相关问题：为什么curl的unescape无法处理将'+'转换为空格？URL解码时不是标准程序吗？
— 斯特凡
12 
string urlDecode(string &SRC) {
    string ret;
    char ch;
    int i, ii;
    for (i=0; i<SRC.length(); i++) {
        if (int(SRC[i])==37) {
            sscanf(SRC.substr(i+1,2).c_str(), "%x", &ii);
            ch=static_cast<char>(ii);
            ret+=ch;
            i=i+2;
        } else {
            ret+=SRC[i];
        }
    }
    return (ret);
}

不是最好的，但是工作得很好;-)

5
当然，您应该使用'%'而不是37。
— 约翰·兹温克
4
这不会将“ +”转换为空格
— xryl669
11

cpp-netlib具有功能

namespace boost {
  namespace network {
    namespace uri {    
      inline std::string decoded(const std::string &input);
      inline std::string encoded(const std::string &input);
    }
  }
}

它们允许非常容易地编码和解码URL字符串。

— 尤里·彼得罗夫斯基（Yuriy Petrovskiy）
source
2
天哪，谢谢你。cpp-netlib上的文档很少。您是否有指向好的备忘单的链接？
— user249806
8

通常，在编码时将'％'添加到char的int值中将不起作用，该值应为十六进制等效值。例如'/'是'％2F'而不是'％47'。

我认为这是url编码和解码的最佳和简洁的解决方案（没有太多的标头依赖性）。

string urlEncode(string str){
    string new_str = "";
    char c;
    int ic;
    const char* chars = str.c_str();
    char bufHex[10];
    int len = strlen(chars);

    for(int i=0;i<len;i++){
        c = chars[i];
        ic = c;
        // uncomment this if you want to encode spaces with +
        /*if (c==' ') new_str += '+';   
        else */if (isalnum(c) || c == '-' || c == '_' || c == '.' || c == '~') new_str += c;
        else {
            sprintf(bufHex,"%X",c);
            if(ic < 16) 
                new_str += "%0"; 
            else
                new_str += "%";
            new_str += bufHex;
        }
    }
    return new_str;
 }

string urlDecode(string str){
    string ret;
    char ch;
    int i, ii, len = str.length();

    for (i=0; i < len; i++){
        if(str[i] != '%'){
            if(str[i] == '+')
                ret += ' ';
            else
                ret += str[i];
        }else{
            sscanf(str.substr(i + 1, 2).c_str(), "%x", &ii);
            ch = static_cast<char>(ii);
            ret += ch;
            i = i + 2;
        }
    }
    return ret;
}
— 托尔穆托
source
if(ic < 16) new_str += "%0"; 这是为了什么？@tormuto @reliasn
— KriyenKP
1
@Kriyen用于在编码的HEX产生单个字母的情况下以前导零填充；因为十六进制中0到15是0到
— F。– tormuto
1
我最喜欢这种方法。+1用于使用标准库。虽然有两个问题要解决。我是捷克人，常用字母“ý”。结果为“％0FFFFFFC3％0FFFFFFBD”。不必先使用16开关，因为utf8保证以10开头所有尾随字节，这似乎使我的多字节失败。第二个问题是FF，因为并非所有计算机都具有每个int相同的位数。解决方法是跳过16开关（不需要），并从缓冲区中获取最后两个字符。（我使用stringstream是因为我对字符串缓冲区感到更自在）。还是给点了。也喜欢框架
— Volt
@Volt是否可以在新答案中发布更新的代码？您提到了问题，但没有足够的信息来进行明显的修复。
— gregn3
这个答案有一些问题，因为它使用的是strlen。首先，这没有意义，因为我们已经知道了字符串对象的大小，所以这是浪费时间。但是，更糟糕的是，字符串可能包含0字节，这会因为字符串太长而丢失。if（i <16）也是无效的，因为printf本身可以使用“ %%% 02X”来覆盖它。最后，c应该是无符号字节，否则您将得到@Volt以'0xFFF ...'开头描述的效果。
— Devolus '19
8

[死灵法师模式开启]
在寻找快速，现代，独立于平台且优雅的解决方案时偶然发现了这个问题。不喜欢以上任何一种，cpp-netlib会是赢家，但它在“解码”功能中具有可怕的内存漏洞。所以我想出了Boost的精神气/业力解决方案。

namespace bsq = boost::spirit::qi;
namespace bk = boost::spirit::karma;
bsq::int_parser<unsigned char, 16, 2, 2> hex_byte;
template <typename InputIterator>
struct unescaped_string
    : bsq::grammar<InputIterator, std::string(char const *)> {
  unescaped_string() : unescaped_string::base_type(unesc_str) {
    unesc_char.add("+", ' ');

    unesc_str = *(unesc_char | "%" >> hex_byte | bsq::char_);
  }

  bsq::rule<InputIterator, std::string(char const *)> unesc_str;
  bsq::symbols<char const, char const> unesc_char;
};

template <typename OutputIterator>
struct escaped_string : bk::grammar<OutputIterator, std::string(char const *)> {
  escaped_string() : escaped_string::base_type(esc_str) {

    esc_str = *(bk::char_("a-zA-Z0-9_.~-") | "%" << bk::right_align(2,0)[bk::hex]);
  }
  bk::rule<OutputIterator, std::string(char const *)> esc_str;
};

上面的用法如下：

std::string unescape(const std::string &input) {
  std::string retVal;
  retVal.reserve(input.size());
  typedef std::string::const_iterator iterator_type;

  char const *start = "";
  iterator_type beg = input.begin();
  iterator_type end = input.end();
  unescaped_string<iterator_type> p;

  if (!bsq::parse(beg, end, p(start), retVal))
    retVal = input;
  return retVal;
}

std::string escape(const std::string &input) {
  typedef std::back_insert_iterator<std::string> sink_type;
  std::string retVal;
  retVal.reserve(input.size() * 3);
  sink_type sink(retVal);
  char const *start = "";

  escaped_string<sink_type> g;
  if (!bk::generate(sink, g(start), input))
    retVal = input;
  return retVal;
}

[死灵法师模式关闭]

EDIT01：修复了零填充问题-特别感谢Hartmut Kaiser
EDIT02：在CoLiRu上直播

— 克罗伊泽里格
source
什么是“可怕的内存漏洞” cpp-netlib？您能否提供简要说明或链接？
— Craig M. Brandenburg
它（问题）已经报告过，所以我没有报告，实际上我不记得...尝试解析无效的转义序列时出现诸如访问冲突之类的问题
— kreuzerkrieg 2015年
哦，在这里您可以访问github.com/cpp-netlib/cpp-netlib/issues/501
— kreuzerkrieg 2015年
感谢您的澄清！
— Craig M. Brandenburg
6

受xperroni的启发，我编写了一个解码器。谢谢你的指导。

#include <iostream>
#include <sstream>
#include <string>

using namespace std;

char from_hex(char ch) {
    return isdigit(ch) ? ch - '0' : tolower(ch) - 'a' + 10;
}

string url_decode(string text) {
    char h;
    ostringstream escaped;
    escaped.fill('0');

    for (auto i = text.begin(), n = text.end(); i != n; ++i) {
        string::value_type c = (*i);

        if (c == '%') {
            if (i[1] && i[2]) {
                h = from_hex(i[1]) << 4 | from_hex(i[2]);
                escaped << h;
                i += 2;
            }
        } else if (c == '+') {
            escaped << ' ';
        } else {
            escaped << c;
        }
    }

    return escaped.str();
}

int main(int argc, char** argv) {
    string msg = "J%C3%B8rn!";
    cout << msg << endl;
    string decodemsg = url_decode(msg);
    cout << decodemsg << endl;

    return 0;
}

编辑：删除了不需要的cctype和iomainip包括。

— 高美
source
1
“ if（c =='％'）”块需要更多的边界检查，i [1]和/或i [2]可能超出text.end（）。我也将“转义”重命名为“未转义”。“ escaped.fill（'0'）;” 可能是不需要的。
— roalz
请看看我的版本。更加优化。pastebin.com/g0zMLpsj
— KoD
4

在Win32 C ++应用程序中搜索api解码URL时，我最终遇到了这个问题。由于该问题并未完全指定平台，因此假设Windows不是一件坏事。

InternetCanonicalizeUrl是Windows程序的API。更多信息在这里

        LPTSTR lpOutputBuffer = new TCHAR[1];
        DWORD dwSize = 1;
        BOOL fRes = ::InternetCanonicalizeUrl(strUrl, lpOutputBuffer, &dwSize, ICU_DECODE | ICU_NO_ENCODE);
        DWORD dwError = ::GetLastError();
        if (!fRes && dwError == ERROR_INSUFFICIENT_BUFFER)
        {
            delete lpOutputBuffer;
            lpOutputBuffer = new TCHAR[dwSize];
            fRes = ::InternetCanonicalizeUrl(strUrl, lpOutputBuffer, &dwSize, ICU_DECODE | ICU_NO_ENCODE);
            if (fRes)
            {
                //lpOutputBuffer has decoded url
            }
            else
            {
                //failed to decode
            }
            if (lpOutputBuffer !=NULL)
            {
                delete [] lpOutputBuffer;
                lpOutputBuffer = NULL;
            }
        }
        else
        {
            //some other error OR the input string url is just 1 char and was successfully decoded
        }

InternetCrackUrl（在此处）似乎也具有用于指定是否解码url的标志

— 月光码头
source
3

我在这里找不到同时解码2和3个字节序列的URI解码/转义。贡献自己的高性能版本，即时将csting输入转换为wstring：

#include <string>

const char HEX2DEC[55] =
{
     0, 1, 2, 3,  4, 5, 6, 7,  8, 9,-1,-1, -1,-1,-1,-1,
    -1,10,11,12, 13,14,15,-1, -1,-1,-1,-1, -1,-1,-1,-1,
    -1,-1,-1,-1, -1,-1,-1,-1, -1,-1,-1,-1, -1,-1,-1,-1,
    -1,10,11,12, 13,14,15
};

#define __x2d__(s) HEX2DEC[*(s)-48]
#define __x2d2__(s) __x2d__(s) << 4 | __x2d__(s+1)

std::wstring decodeURI(const char * s) {
    unsigned char b;
    std::wstring ws;
    while (*s) {
        if (*s == '%')
            if ((b = __x2d2__(s + 1)) >= 0x80) {
                if (b >= 0xE0) { // three byte codepoint
                    ws += ((b & 0b00001111) << 12) | ((__x2d2__(s + 4) & 0b00111111) << 6) | (__x2d2__(s + 7) & 0b00111111);
                    s += 9;
                }
                else { // two byte codepoint
                    ws += (__x2d2__(s + 4) & 0b00111111) | (b & 0b00000011) << 6;
                    s += 6;
                }
            }
            else { // one byte codepoints
                ws += b;
                s += 3;
            }
        else { // no %
            ws += *s;
            s++;
        }
    }
    return ws;
}
— 果酱
source
#define __x2d2__(s) (__x2d__(s) << 4 | __x2d__(s+1))并且应使用-WError构建。
— Janek Olszak
抱歉，在将单个字符添加到中时“高性能”wstring是不现实的。至少有reserve足够的空间，否则您将一直有大量的重新分配
— Felix Dombek
1

这个版本是纯C语言，可以选择标准化资源路径。将它与C ++一起使用很简单：

#include <string>
#include <iostream>

int main(int argc, char** argv)
{
    const std::string src("/some.url/foo/../bar/%2e/");
    std::cout << "src=\"" << src << "\"" << std::endl;

    // either do it the C++ conformant way:
    char* dst_buf = new char[src.size() + 1];
    urldecode(dst_buf, src.c_str(), 1);
    std::string dst1(dst_buf);
    delete[] dst_buf;
    std::cout << "dst1=\"" << dst1 << "\"" << std::endl;

    // or in-place with the &[0] trick to skip the new/delete
    std::string dst2;
    dst2.resize(src.size() + 1);
    dst2.resize(urldecode(&dst2[0], src.c_str(), 1));
    std::cout << "dst2=\"" << dst2 << "\"" << std::endl;
}

输出：

src="/some.url/foo/../bar/%2e/"
dst1="/some.url/bar/"
dst2="/some.url/bar/"

和实际功能：

#include <stddef.h>
#include <ctype.h>

/**
 * decode a percent-encoded C string with optional path normalization
 *
 * The buffer pointed to by @dst must be at least strlen(@src) bytes.
 * Decoding stops at the first character from @src that decodes to null.
 * Path normalization will remove redundant slashes and slash+dot sequences,
 * as well as removing path components when slash+dot+dot is found. It will
 * keep the root slash (if one was present) and will stop normalization
 * at the first questionmark found (so query parameters won't be normalized).
 *
 * @param dst       destination buffer
 * @param src       source buffer
 * @param normalize perform path normalization if nonzero
 * @return          number of valid characters in @dst
 * @author          Johan Lindh <johan@linkdata.se>
 * @legalese        BSD licensed (http://opensource.org/licenses/BSD-2-Clause)
 */
ptrdiff_t urldecode(char* dst, const char* src, int normalize)
{
    char* org_dst = dst;
    int slash_dot_dot = 0;
    char ch, a, b;
    do {
        ch = *src++;
        if (ch == '%' && isxdigit(a = src[0]) && isxdigit(b = src[1])) {
            if (a < 'A') a -= '0';
            else if(a < 'a') a -= 'A' - 10;
            else a -= 'a' - 10;
            if (b < 'A') b -= '0';
            else if(b < 'a') b -= 'A' - 10;
            else b -= 'a' - 10;
            ch = 16 * a + b;
            src += 2;
        }
        if (normalize) {
            switch (ch) {
            case '/':
                if (slash_dot_dot < 3) {
                    /* compress consecutive slashes and remove slash-dot */
                    dst -= slash_dot_dot;
                    slash_dot_dot = 1;
                    break;
                }
                /* fall-through */
            case '?':
                /* at start of query, stop normalizing */
                if (ch == '?')
                    normalize = 0;
                /* fall-through */
            case '\0':
                if (slash_dot_dot > 1) {
                    /* remove trailing slash-dot-(dot) */
                    dst -= slash_dot_dot;
                    /* remove parent directory if it was two dots */
                    if (slash_dot_dot == 3)
                        while (dst > org_dst && *--dst != '/')
                            /* empty body */;
                    slash_dot_dot = (ch == '/') ? 1 : 0;
                    /* keep the root slash if any */
                    if (!slash_dot_dot && dst == org_dst && *dst == '/')
                        ++dst;
                }
                break;
            case '.':
                if (slash_dot_dot == 1 || slash_dot_dot == 2) {
                    ++slash_dot_dot;
                    break;
                }
                /* fall-through */
            default:
                slash_dot_dot = 0;
            }
        }
        *dst++ = ch;
    } while(ch);
    return (dst - org_dst) - 1;
}
— 约翰
source
谢谢。这里没有可选的路径。 pastebin.com/RN5g7g9u
— 朱利安（Julian）
这没有任何要求，并且与作者要求的完全错误（例如，'+'不能用空格代替）。路径规范化与url解码无关。如果要规范化路径，则应首先将URL分成多个部分（方案，权限，路径，查询，片段），然后仅在路径部分上应用所需的任何算法。
— xryl669
1

多汁的位

#include <ctype.h> // isdigit, tolower

from_hex(char ch) {
  return isdigit(ch) ? ch - '0' : tolower(ch) - 'a' + 10;
}

char to_hex(char code) {
  static char hex[] = "0123456789abcdef";
  return hex[code & 15];
}

注意 

char d = from_hex(hex[0]) << 4 | from_hex(hex[1]);

如

// %7B = '{'

char d = from_hex('7') << 4 | from_hex('B');
— 加布彩虹
source
1

您可以使用glib.h提供的“ g_uri_escape_string（）”函数。 https://developer.gnome.org/glib/stable/glib-URI-Functions.html

#include <stdio.h>
#include <stdlib.h>
#include <glib.h>
int main() {
    char *uri = "http://www.example.com?hello world";
    char *encoded_uri = NULL;
    //as per wiki (https://en.wikipedia.org/wiki/Percent-encoding)
    char *escape_char_str = "!*'();:@&=+$,/?#[]"; 
    encoded_uri = g_uri_escape_string(uri, escape_char_str, TRUE);
    printf("[%s]\n", encoded_uri);
    free(encoded_uri);

    return 0;
}

编译：

gcc encoding_URI.c `pkg-config --cflags --libs glib-2.0`
— Vineet Mimrot
source
0

我知道这个问题需要一个C ++方法，但是对于那些可能需要它的人，我想出了一个用C语言编写的非常短的函数来编码字符串。它不会创建新字符串，而是会更改现有字符串，这意味着它必须具有足够的大小来容纳新字符串。非常容易跟上。

void urlEncode(char *string)
{
    char charToEncode;
    int posToEncode;
    while (((posToEncode=strspn(string,"1234567890ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz-_.~"))!=0) &&(posToEncode<strlen(string)))
    {
        charToEncode=string[posToEncode];
        memmove(string+posToEncode+3,string+posToEncode+1,strlen(string+posToEncode));
        string[posToEncode]='%';
        string[posToEncode+1]="0123456789ABCDEF"[charToEncode>>4];
        string[posToEncode+2]="0123456789ABCDEF"[charToEncode&0xf];
        string+=posToEncode+3;
    }
}
— 阿尔弗雷多·梅拉兹
source
0

您可以简单地使用atlutil.h中的AtlEscapeUrl（）函数，只需仔细阅读其文档以了解如何使用它。

— 普拉蒂克
source
1
这仅适用于Windows
— kritzikratzi
是的，我已经在Windows上尝试过了。
— Pratik
-2

不得不在没有Boost的项目中做到这一点。所以，最终写了我自己的。我将其放在GitHub上：https : //github.com/corporateshark/LUrlParser

clParseURL URL = clParseURL::ParseURL( "https://name:pwd@github.com:80/path/res" );

if ( URL.IsValid() )
{
    cout << "Scheme    : " << URL.m_Scheme << endl;
    cout << "Host      : " << URL.m_Host << endl;
    cout << "Port      : " << URL.m_Port << endl;
    cout << "Path      : " << URL.m_Path << endl;
    cout << "Query     : " << URL.m_Query << endl;
    cout << "Fragment  : " << URL.m_Fragment << endl;
    cout << "User name : " << URL.m_UserName << endl;
    cout << "Password  : " << URL.m_Password << endl;
}
— 谢尔盖K.
source
您的链接指向一个解析URL的库。它不会对URL进行％编码。（或者至少，我在源代码中的任何地方都看不到％。）因此，我认为这不能回答问题。
— 马丁·邦纳
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.