如何使用Ruby在Hadoop HDFS中编写和读取文件？

有没有办法使用Ruby使用HDFS Api？ 据我所知，没有多语言文件Api，唯一的方法是使用本机Java Api。 我尝试使用JRuby，但这个解决方案是不稳定的，而不是原生的。 我还看了HDFS Thrift Api，但它不完整，也缺少许多function（比如写入索引文件）。

除了使用JRuby或Thrift Api之外，有没有办法使用Ruby使用HDFS？

Answer 1

github中有两个项目符合您的要求。 ruby-hdfs为Ruby的HDFS提供本机C绑定。 ganapati与Thrift服务器接口。

您还可以直接对文件系统shell进行系统调用。 例如：

cmd = "hadoop fs -mkdir #{hdfs_path}" cmd += " 2> /dev/null" system(cmd) if $? == 0 puts 'ok' exit(0) else puts "Error: failed to create hdfs://#{hdfs_path}" exit(2) end