300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > python中自定义模块导入飘红_hadoop streaming 中跑python程序 自定义模块的导入

python中自定义模块导入飘红_hadoop streaming 中跑python程序 自定义模块的导入

时间:2018-11-22 00:13:15

相关推荐

python中自定义模块导入飘红_hadoop streaming 中跑python程序 自定义模块的导入

今天在做代码重构,以前将所有python文件放到一个文件夹下,上传到hadoop上跑,没有问题;不过随着任务的复杂性增加,感觉这样甚是不合理,于是做了个重构,建了好几个包存放不同功能的python文件,历程如下:

1. 刚开始的时候,在IDE里搞,点击运行,正确、非常赞;

2. 然后搬到服务器上搞,出现了这样的问题:

ImportError: no module named XXX

啊,看样子是包引用中路径不对,于是找文章解决:

python中,每个py文件被称之为模块,每个具有__init__.py文件的目录被称为包。只要模

块或者包所在的目录在sys.path中,就可以使用import 模块或import 包来使用

如果你要使用的模块(py文件)和当前模块在同一目录,只要import相应的文件名就好,比

如在a.py中使用b.py:

import b

但是如果要import一个不同目录的文件(例如b.py)该怎么做呢?

首先需要使用sys.path.append方法将b.py所在目录加入到搜素目录中。然后进行import即

可,例如

import sys

import os

curPath = os.path.abspath(os.path.dirname(__file__))

rootPath = os.path.split(curPath)[0]

sys.path.append(rootPath)

第一个问题解决,高兴!

3. 而后尝试在hadoop-streaming上跑程序,额,一直在报错:

ImportError: no module named XXX

心想也是因为这个路径问题,试了很多种方法:

后来在stackoverflow发现有人问了同样的问题,并且我使用其中一个方案解决了:

When Hadoop-Streaming starts the python scripts, your python script‘s path is where the script file really is. However, hadoop starts them at ‘./‘, and your lib.py(it‘s a symlink) is at ‘./‘, too. So, try to add ‘sys.path.append("./")‘ before you import lib.py like this:

import sys

sys.path.append(‘./‘)

import lib

当Hadoop-Streaming启动python脚本时,您的python脚本的路径就是脚本文件的实际位置。 然而,hadoop以‘./‘开头,lib.py(它是一个符号链接)也在‘./‘。 因此,在导入lib.py之前,尝试添加“sys.path.append(”./“)”“。import sys sys.path.append(‘./‘) import lib

并且导入模块和包时,不能用 from XXX import YYY的方式做了,必须要用 import XXX, 使用YYY的时候,要用XXX.YYY来调用;反复尝试终于发现了这点。也算没白费时间吧。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。