在Ruby中读取CSV的最佳方法。 FasterCSV?

我有一个CSV文件,我想用Ruby读取并创建Ruby对象以插入带有Active Record的MySQL数据库。 最好的方法是什么? 我看到两个明确的选项: FasterCSV和Ruby核心CSV 。 哪个更好? 我错过了更好的选择吗?

编辑:Gareth说使用FasterCSV,那么使用FasterCSV读取CSV文件的最佳方法是什么? 查看文档,我看到称为parseforeachreadopen ……它说foreach “是作为读取CSV文件的主要界面。” 所以,我想我应该使用那个?

Ruby 1.9采用FasterCSV 作为其核心CSV处理器 ,所以我认为即使您仍在使用Ruby 1.8,最好选择FasterCSV

如果要导入大量记录,可能需要使用MySQL的加载程序 。 它会非常快。

LOAD DATA INFILE可用于读取从外部源获取的文件。 例如,许多程序可以以逗号分隔值(CSV)格式导出数据,这样行的字段用逗号分隔并用双引号括起来,并带有一行初始的列名。 如果此类文件中的行由回车符/换行符对终止,则此处显示的语句说明了用于加载文件的字段和行处理选项:

 LOAD DATA INFILE 'data.txt' INTO TABLE tbl_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\r\n' IGNORE 1 LINES; 

如果输入值不一定用引号括起来,请在ENCLOSED BY关键字之前使用OPTIONALLY。

使用它将所有内容拉入临时表,然后使用ActiveRecord对其运行查询以删除您不想要的记录,然后从临时表复制到生产表,然后删除或截断临时表。 或者,使用ActiveRecord搜索临时表并将记录复制到生产中,然后删除或截断临时表。 您甚至可以在MySQL中执行表到表复制或将一个表附加到另一个表。

要击败专用加载器的速度并使用数据库的查询机制批量处理记录将很难。 将CSV文件中的记录转换为对象,然后使用ORM将其写入数据库的步骤会增加大量额外开销,因此除非您有一些需要Ruby逻辑的超级难度validation,否则您将更快地直接进行到数据库。


编辑:这是一个简单的CSV标题到DB列映射器示例:

 require "csv" data = < 'col1', 'header2' => 'col2', 'header 3' => 'col3' } arr_of_arrs = CSV.parse(data) headers = arr_of_arrs.shift.map{ |i| i.strip } db_cols = header_to_table_columns.values_at(*headers) arr_of_arrs.each do |ary| # insert into the database using an ORM or by creating insert statements end