[問題] pandas dataframe 轉 spark dataframe 出現null值

作者: zeus83157 (zeus83157)   2018-07-14 19:53:10
from pyspark import SparkContext
from pyspark.sql import SQLContext
.
.
.
sc = SparkContext()
sqlContext = SQLContext(sc)
.
.
.
people1 = sqlContext.createDataFrame(people1)
.
.
.
其中people是pandas的dataframe
https://imgur.com/a/ebzMO7Z
圖中左邊是spark的dataframe,右邊是pandas的dataframe
可以看到黃色圓圈處,明明pandas的有東西,轉過去spark就不見了
有人遇過這種狀況嗎?

Links booklink

Contact Us: admin [ a t ] ucptt.com