这是一个创建于 2081 天前的主题，其中的信息可能已经有所发展或是发生改变。
python 通过 client.read()读取 hdfs 上的文件的速度特别慢，而将 hdfs 文件下载到本地，读取特别快，为什么？如果提高直接在 hdfs 上读取文件的效率？
 |
1
wlsnx 2019-02-26 17:50:09 +08:00
“而将 hdfs 文件下载到本地，读取特别快”怎么理解？
|
 |
3
ifaii 2019-02-26 19:17:36 +08:00 via iPhone
小文件多就只能上块存储 block，文件类型存储注定快不起来
|
 |
4
VYSE 2019-02-26 23:51:54 +08:00
用过 pyjnius 直接调 jar 去从 hdfs 拖 data, 不过当时原因是没有兼容库
|
Select Language