Rails 3,导入前检查CSV文件编码
在我的应用程序(Rails 3.0.5,Ruby 1.8.7)中,我创建了一个导入工具来从文件导入CSV数据。
问题:我要求我的用户以UTF-8编码从Excel导出CSV文件,但他们大部分时间都不会这样做。
如何在导入前validation文件是否为UTF-8? 否则导入将运行,但会产生奇怪的结果。 我使用FasterCSV导入。
错误的CSV文件的例子:
;VallÈe du RhÙne;CÙte Rotie;
谢谢。
您可以使用Charlock Holmes,一个用于Ruby的字符编码检测库。
https://github.com/brianmario/charlock_holmes
要使用它,您只需读取文件,然后使用detect
方法。
contents = File.read('test.xml') detection = CharlockHolmes::EncodingDetector.detect(contents) # => {:encoding => 'UTF-8', :confidence => 100, :type => :text}
如果格式不正确,您还可以将编码转换为UTF-8:
utf8_encoded_content = CharlockHolmes::Converter.convert contents, detection[:encoding], 'UTF-8'
这样可以避免用户在重新上传之前自行完成操作。
对于1.9很明显,你只是告诉它期望utf8,如果不是,它会引发错误:
begin lines = CSV.read('bad.csv', :encoding => 'utf-8') rescue ArgumentError puts "My users don't listen to me!" end