提问者:小点点

如何使用pyspark在数据库中执行旧版Scala代码库


我有一些遗留的scala包/代码库需要迁移到数据库。

目前,这些scala包被转换为从外壳脚本调用的jar文件。

我可以在数据库中运行scala,但是我如何在pyspark中调用包文件/scala代码库?这可能吗,如果可能,我该怎么做?


共1个答案

匿名用户

如果你想1:1迁移它们,那么你只需要在数据库工作流中将它们作为Jar任务或火花提交任务运行。在我看来,将它们包装成PySpark是没有意义的,除非你提供更多信息,否则你的意思是什么。