spark能跑python么？
spark是可以跑Python程序的。python编写好的算法，或者扩展库的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分算法都有。
Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。
本次实验是搭有spark环境的linux下跑的，spark版本为1.6.1，相当于在在spark本地执行，spark文件放在/opt/moudles/spark-1.6.1/（代码中会看到）
编写python测试程序
立即学习“Python免费学习笔记（深入）”；
#test.py文件# -*- coding:utf-8 -*-import osimport sys#配置环境变量并导入pysparkos.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'sys.path.append("/opt/moudles/spark-1.6.1/python")sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")from pyspark import SparkContext, SparkConfappName ="spark_1" #应用程序名称master= "spark://hadoop01:7077"#hadoop01为主节点hostname，请换成自己的主节点主机名称conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)data = [1, 2, 3, 4, 5]distData = sc.parallelize(data)res = distData.reduce(lambda a, b: a + b)print("===========================================")print (res)print("===========================================")
登录后复制
执行python程序
执行如下命令
python test.py
登录后复制
执行与结果分别如下图所示：
以上就是spark能跑Python么的详细内容，更多请关注【创想鸟】其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至253000106@qq.com举报，一经查实，本站将立刻删除。
发布者：PHP中文网，转转请注明出处：https://www.chuangxiangniao.com/p/2251442.html
