① python使用hdfs存放文件時報Proxy error: 502 Server dropped connection解決方案
Python3 使用hdfs分布式文件儲存系統
from pyhdfs import *
client = HdfsClient(hosts="testhdfs.org, 50070",
user_name="web_crawler") # 創建一個連接
client.get_home_directory() # 獲取hdfs根路徑
client.listdir(PATH) # 獲取hdfs指定路徑下的文件列表
client._from_local(file_path, hdfs_path, overwrite=True) # 把本地文件拷貝到伺服器，不支持文件夾；overwrite=True表示存在則覆蓋
client.delete(PATH, recursive=True) # 刪除指定文件
hdfs_path必須包含文件名及其後綴，不握殲然不會成功
如果連接
HdfsClient
報錯
Traceback (most recent call last):
File "C:\Users\billl\AppData\Local\Continuum\anaconda3\lib\site-packages\IPython\core\interactiveshell.py", line 2963, in run_code
exec(code_obj, self.user_global_ns, self.user_ns)
File "
client.get_home_directory()
File "C:\Users\billl\AppData\Local\Continuum\anaconda3\lib\site-packages\pyhdfs.py", line 565, in get_home_directory
return _json(self._get('/', 'GETHOMEDIRECTORY', **kwargs))['Path']
File "C:\Users\billl\AppData\Local\Continuum\anaconda3\lib\site-packages\pyhdfs.py", line 391, in _get
return self._request('get', *args, **kwargs)
伍皮並 File "C:\Users\billl\AppData\Local\Continuum\anaconda3\lib\site-packages\pyhdfs.py", line 377, in _request
_check_response(response, expected_status)
File "C:\Users\billl\AppData\Local\Continuum\anaconda3\lib\site-packages\pyhdfs.py", line 799, in _check_response
腔跡 remote_exception = _json(response)['RemoteException']
File "C:\Users\billl\AppData\Local\Continuum\anaconda3\lib\site-packages\pyhdfs.py", line 793, in _json
"Expected JSON. Is WebHDFS enabled? Got {!r}".format(response.text))
pyhdfs.HdfsException: Expected JSON. Is WebHDFS enabled? Got '\n\n\n\n
502 Server dropped connection
\n
The following error occurred while trying to access http://%2050070:50070/webhdfs/v1/?user.name=web_crawler&op=GETHOMEDIRECTORY :
\n 502 Server dropped connection
\n
Generated Fri, 21 Dec 2018 02:03:18 GMT by Polipo on .\n\r\n'
則一般是訪問認證錯誤，可能原因是賬戶密碼不正確或者無許可權，或者本地網路不在可訪問名單中
② python導入py文件報錯怎麼辦
其實這兩個錯誤的原因歸根結底是一樣的：在涉及到相對導入時，package所對應的文件夾必須正確的被python解釋器視作package，而不是普通文件夾。否則由於不被視作package，無法利用package之間的嵌套關系實現python中包的相對導入。
文件夾被python解釋器視作package需要滿足兩個條件：
1、文件夾中必須有__init__.py文件，該文件可以為空，但必須存在該文件。
2、不能作為頂層模塊來執行該文件夾中的py文件（即不能作為主函數的入口）。
補充：在"from YY import XX"這樣的代碼中，無論是XX還是YY，只要被python解釋器視作package，就會首先調用該package的__init__.py文件。如果都是package，則調用順序是YY，XX。
另外，練習中「from . import XXX」和「from .. import XXX」中的'.'和'..'，可以等同於linux里的shell中'.'和'..'的作用，表示當前工作目錄的package和上一級的package。