关于ios：清除格式错误的UTF-8数据


Cleaning malformed UTF-8 data

背景

使用Swift，我尝试通过URLSession获取HTML，而不是首先将其加载到WKWebView中，因为我只需要HTML，而不需要子资源。我遇到了一个问题，某些页面在加载到WKWebView时会工作，但是当通过URLSession加载(甚至是简单的NSString(contentsOf: url, encoding String.Encoding.utf8.rawValue)时，utf-8转换会失败。

如何复制

失败(打印"nil")：

print(try? NSString(contentsOf: URL(string:"http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13-7-billion_b_17171132.html?utm_hp_ref=japan&ir=Japan")!, encoding: String.Encoding.utf8.rawValue))

但是，将网址更改为网站主页，会成功：

print(try? NSString(contentsOf: URL(string:"http://www.huffingtonpost.jp")!, encoding: String.Encoding.utf8.rawValue))

问题

如何"清理"包含格式错误的UTF-8的URL返回的数据？我想删除或替换格式错误的UTF-8中的任何无效序列，以便可以查看其余的序列。wkwebview可以很好地呈现页面(也声称它是utf-8内容)，如您所见，访问网址：http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13-7-billion-b_.html？utm_hp_ref=日本&ir=日本

相关讨论

这里有一种方法可以从(可能)畸形的UTF-8数据：

  • 将网站内容读入Data对象。
  • 附加一个0字节，使其成为"c字符串"
  • 使用String(cString:)进行转换。此初始值设定项将格式错误的UTF-8代码单元序列替换为Unicode替换字符("\u{FFFD}")。
  • 可选：删除所有出现的替换字符。

"清洁"流程示例：

1
2
3
4
5
6
7
var data = Data(bytes: [65, 66, 200, 67]) // malformed UTF-8

data.append(0)
let s = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in String(cString: p) }
let clean = s.replacingOccurrences(of:"\u{FFFD}", with:"")

print(clean) // ABC

当然，这可以定义为自定义init方法：

1
2
3
4
5
6
7
8
9
extension String {
    init(malformedUTF8 data: Data) {
        var data = data
        data.append(0)
        self = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in
            String(cString: p).replacingOccurrences(of:"\u{FFFD}", with:"")
        }
    }
}

用途：

1
2
3
let data = Data(bytes: [65, 66, 200, 67])
let s = String(malformedUTF8: data)
print(s) // ABC

使用transcode可以更"直接"地

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
extension String {
    init(malformedUTF8 data: Data) {
        var utf16units = [UInt16]()
        utf16units.reserveCapacity(data.count) // A rough estimate

        _ = transcode(data.makeIterator(), from: UTF8.self, to: UTF16.self,
                      stoppingOnError: false) { code in
            if code != 0xFFFD {
                utf16units.append(code)
            }
        }

        self = String(utf16CodeUnits: utf16units, count: utf16units.count)
    }
}

这基本上就是String(cString:)所说的。做比较cstring.swift和字符串创建.swift。

另一种选择是使用UTF8编解码器decode()方法忽略错误：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
extension String {
    init(malformedUTF8 data: Data) {
        var str =""
        var iterator = data.makeIterator()
        var utf8codec = UTF8()
        var done = false
        while !done {
            switch utf8codec.decode(&iterator) {
            case .emptyInput:
                done = true
            case let .scalarValue(val):
                str.unicodeScalars.append(val)
            case .error:
                break // ignore errors
            }
        }
        self = str
    }
}
相关讨论