用Python读hdfs集群parquet格式文件

使用模块

• Python2.7

• subprocess

• io.BytesIO

• parquet-python 1.3.1

其中parquet包不是python内置，需要用pip 安装

整体流程

1. 使用subprocess读hdfs中的parquet文件

2. 将字节流写入io.BytesIO对象中（要做这一步是因为parquet包目前只支持文件对象解析）

3. 使用parquet包的接口解析上一步得到的io对象

代码

import parquet import subprocess from io import BytesIO  url='文件路径' popen_args = ['hdfs', 'dfs', '-text', url] p = subprocess.Popen(popen_args, stdout=subprocess.PIPE) f = BytesIO() for line in p.stdout:     f.write(line) p.wait() if p.returncode == 0: 	for row in parquet.reader(f): 		print row 

parquet包还提供一个DictReader的接口，使用也很简单

参考资料

parquet-python