ruby​​ 1.9，force_encoding，但是檢查

Question

我有一個字符串，我從某種輸入中讀取。

據我所知，它是UTF8。好的：

string.force_encoding("utf8") 

但是，如果這個字符串中包含的字節實際上不是合法的UTF8，我現在想知道並採取行動。

通常情況下，force_encoding（「utf8」）會遇到這樣的字節？我認爲它不會。

如果我在做#encode，我可以從方便的選項中選擇如何處理在源編碼（或目標編碼）中無效的字符。

但我沒有做#encode，我正在做一個#force_encoding。它沒有這樣的選擇。

會是有意義的

string.force_encoding("utf8").encode("utf8") 

得到一個例外，對嗎？正常編碼從 utf8 到 utf8沒有任何意義。但是，如果有無效字節，這可能是馬上讓它立即升起的方法嗎？或者使用:replace選項等來做一些與無效字節不同的東西？

但是，不，似乎也無法做到這一點。

有人知道嗎？

1.9.3-p0 :032 > a = "bad: \xc3\x28 okay".force_encoding("utf-8") 
=> "bad: \xC3(okay" 
1.9.3-p0 :033 > a.valid_encoding? 
=> false 

好吧，但我如何找到並消除這些壞字節？奇怪的是，這不會提高：

1.9.3-p0 :035 > a.encode("utf-8") 
=> "bad: \xC3(okay" 

如果我轉換到不同的編碼，它會！

1.9.3-p0 :039 > a.encode("ISO-8859-1") 
Encoding::InvalidByteSequenceError: "\xC3" followed by "(" on UTF-8 

或者如果我告訴它，它會用「？」代替它。 =>

1.9.3-p0 :040 > a.encode("ISO-8859-1", :invalid => :replace) 
=> "bad: ?(okay" 

因此Ruby的得到了智慧知道什麼是壞字節UTF-8，然後用別的東西來代替他們的 - 轉換爲不同的編碼時。但我不想想要轉換爲不同的編碼，我想留在utf8 - 但我可能想提出如果有一個無效的字節在那裏，或者我可能想用替換字符替換無效的字節。

難道沒有辦法讓ruby做到這一點嗎？

更新我相信這最終被添加到2.1中的ruby中，在2.1預覽版本中使用String＃scrub來執行此操作。所以找那個！

Answer 1

（更新：看https://github.com/jrochkind/scrub_rb）

所以我編寫了一個解決方案，我需要的東西在這裏：https://github.com/jrochkind/ensure_valid_encoding/blob/master/lib/ensure_valid_encoding.rb

但只有更最近我才意識到這實際上是內置到STDLIB，你只需要，有些違反直覺，通過「二進制」作爲「源編碼」：

a = "bad: \xc3\x28 okay".force_encoding("utf-8") 
a.encode("utf-8", "binary", :undef => :replace) 
=> "bad: �(okay" 

是的，這是正是我想要的。原來，這個內置的1.9版本stdlib，它只是沒有文檔，很少有人知道它（或許很少有人會說英語）。儘管我在某處的博客上看到了這種用法，所以別人也知道這一點！

Answer 2

關於我能想到的唯一的事情就是轉碼的東西和背部，不會在往返損壞字符串：

string.force_encoding("UTF-8").encode("UTF-32LE").encode("UTF-8") 

似乎有點浪費，但。

Answer 3

好吧，這是一個非常蹩腳的純紅寶石方式做到這一點我想出了自己。它可能表現爲廢話。什麼，紅寶石？現在不選擇我自己的答案，希望別人會出現並給我們更好的東西。在http://bibwild.wordpress.com/2012/04/17/checkingfixing-bad-bytes-in-ruby-1-9-char-encoding/

Answer 4

# Pass in a string, will raise an Encoding::InvalidByteSequenceError 
# if it contains an invalid byte for it's encoding; otherwise 
# returns an equivalent string. 
# 
# OR, like String#encode, pass in option `:invalid => :replace` 
# to replace invalid bytes with a replacement string in the 
# returned string. Pass in the 
# char you'd like with option `:replace`, or will, like String#encode 
# use the unicode replacement char if it thinks it's a unicode encoding, 
# else ascii '?'. 
# 
# in any case, method will raise, or return a new string 
# that is #valid_encoding? 
def validate_encoding(str, options = {}) 
    str.chars.collect do |c| 
    if c.valid_encoding? 
     c 
    else 
     unless options[:invalid] == :replace 
     # it ought to be filled out with all the metadata 
     # this exception usually has, but what a pain! 
     raise Encoding::InvalidByteSequenceError.new 
     else 
     options[:replace] || (
      # surely there's a better way to tell if 
      # an encoding is a 'Unicode encoding form' 
      # than this? What's wrong with you ruby 1.9? 
      str.encoding.name.start_with?('UTF') ? 
      "\uFFFD" : 
      "?") 
     end 
    end 
    end.join 
end 

更多的咆哮確保您的腳本文件本身被保存爲UTF8和嘗試以下

# encoding: UTF-8 
p [a = "bad: \xc3\x28 okay", a.valid_encoding?] 
p [a.force_encoding("utf-8"), a.valid_encoding?] 
p [a.encode!("ISO-8859-1", :invalid => :replace), a.valid_encoding?] 

這給我的windows7系統在以下

["bad: \xC3(okay", false] 
["bad: \xC3(okay", false] 
["bad: ?(okay", true] 

所以你的壞字被替換了，你可以馬上做如下

a = "bad: \xc3\x28 okay".encode!("ISO-8859-1", :invalid => :replace) 
=> "bad: ?(okay" 

編輯：在這裏，在任意的編碼工作，首先僅僅編碼字符不好，第二個解決方案只是一個替代？

def validate_encoding(str) 
    str.chars.collect do |c| 
    (c.valid_encoding?) ? c:c.encode!(Encoding.locale_charmap, :invalid => :replace) 
    end.join 
end 

def validate_encoding2(str) 
    str.chars.collect do |c| 
    (c.valid_encoding?) ? c:'?' 
    end.join 
end 

a = "bad: \xc3\x28 okay" 

puts validate_encoding(a)     #=>bad: ?(okay 
puts validate_encoding(a).valid_encoding? #=>true 


puts validate_encoding2(a)     #=>bad: ?(okay 
puts validate_encoding2(a).valid_encoding? #=>true 

Answer 5

如果你是一個「真實」的用例這樣做 - 例如用於分析用戶輸入的不同的字符串，而不是隻爲的是能夠「解碼」完全隨機的文件所賦可以按照你的意願編寫儘可能多的編碼，那麼我想你至少可以假設每個字符串的所有字符都具有相同的編碼。

那麼，在這種情況下，你會怎麼想呢？

strings = [ "UTF-8 string with some utf8 chars \xC3\xB2 \xC3\x93", 
      "ISO-8859-1 string with some iso-8859-1 chars \xE0 \xE8", "..." ] 

strings.each { |s| 
    s.force_encoding "utf-8" 
    if s.valid_encoding? 
     next 
    else 
     while s.valid_encoding? == false 
        s.force_encoding "ISO-8859-1" 
        s.force_encoding "..." 
       end 
     s.encode!("utf-8") 
    end 
} 

我不是紅寶石「親」以任何方式，所以請原諒，如果我的解決方法是錯誤的，甚至有點幼稚..

我只是想給回我所能，這是我來到的，而當我（我仍然）正在爲這個小解析器編寫任意編碼的字符串時，我正在爲一個研究項目做些什麼。

雖然我發佈這個，但我必須承認，我還沒有完全測試它..我只是得到了一些「積極」的結果，但我感到非常興奮，可能已經找到我是什麼努力尋找（並一直在閱讀關於這個的所有時間......），我只是覺得有必要儘快分享它，希望它能幫助人們節省一些時間給那些一直在尋找它的人只要我一直... ..如果它按預期工作:)

Answer 6

一個簡單的方法挑起例外似乎是：

untrusted_string.match /./

Answer 7

要檢查字符串沒有無效的序列，嘗試將其轉換爲二進制編碼：

# Returns true if the string has only valid sequences 
def valid_encoding?(string) 
    string.encode('binary', :undef => :replace) 
    true 
rescue Encoding::InvalidByteSequenceError => e 
    false 
end 

p valid_encoding?("\xc0".force_encoding('iso-8859-1')) # true 
p valid_encoding?("\u1111")        # true 
p valid_encoding?("\xc0".force_encoding('utf-8'))   # false 

此代碼替換未定義的字符，因爲我們不關心是否存在無法用二進制表示的有效序列。我們只關心是否存在無效序列。

甲輕微修改這個代碼返回實際的錯誤，其具有關於不當編碼有價值的信息：

# Returns the encoding error, or nil if there isn't one. 

def encoding_error(string) 
    string.encode('binary', :undef => :replace) 
    nil 
rescue Encoding::InvalidByteSequenceError => e 
    e.to_s 
end 

# Returns truthy if the string has only valid sequences 

def valid_encoding?(string) 
    !encoding_error(string) 
end 

puts encoding_error("\xc0".force_encoding('iso-8859-1')) # nil 
puts encoding_error("\u1111")        # nil 
puts encoding_error("\xc0".force_encoding('utf-8'))   # "\xC0" on UTF-8 

Answer 8

在紅寶石2.1，所述STDLIB最後支持該用scrub。

http://ruby-doc.org/core-2.1.0/String.html#method-i-scrub

Answer 9

這裏有兩個常見的情況，以及如何在紅寶石2.1+對付他們。我知道，這個問題涉及Ruby v1.9，但也許這有助於其他人通過Google找到此問題。

情況1

您有一個UTF-8字符串，可能具有一些無效字節
刪除無效字節：

str = "Partly valid\xE4 UTF-8 encoding: äöüß" 

str.scrub('') 
# => "Partly valid UTF-8 encoding: äöüß" 

情況2

你有一個字符串，可以是UTF-8或ISO-8859-1編碼
檢查其編碼它並轉換爲UTF-8（如果需要）：默認情況下

str = "String in ISO-8859-1 encoding: \xE4\xF6\xFC\xDF" 

unless str.valid_encoding? 
    str.encode!('UTF-8', 'ISO-8859-1', invalid: :replace, undef: :replace, replace: '?') 
end #unless 
# => "String in ISO-8859-1 encoding: äöüß" 

注意

• 上面的代碼片段假定紅寶石編碼您的所有字符串在UTF-8 。儘管這幾乎總是如此，但您可以通過# encoding: UTF-8開始腳本來確保這一點。

• 如果無效，則可以通過編程方式檢測大多數多字節編碼，如UTF-8（在Ruby中，請參閱：#valid_encoding?）。但是，以編程方式檢測ISO-8859-1等單字節編碼的無效性不是（很容易）。因此，上述代碼片段不能以其他方式工作，即檢測字符串是否有效編碼ISO-8859-1。

• 即使UTF-8已經成爲在網絡，ISO-8859-1等Latin1味道仍然在西方國家非常流行，特別是在北美地區的默認編碼越來越受歡迎。請注意，有幾個單字節編碼非常相似，但與ISO-8859-1略有不同。實例：CP1252（又名Windows-1252），ISO-8859-15