आह रुको - मुझे लगता है कि मेरे पास है। अगर मैं ऐसा कुछ करता हूं, तो यह काम करने लगता है:
null = u'\u0000'
new_df = df.withColumn('e', regexp_replace(df['e'], null, ''))
और फिर सभी स्ट्रिंग कॉलम में मैपिंग करें:
string_columns = ['d','e']
new_df = df.select(
*(regexp_replace(col(c), null, '').alias(c) if c in string_columns else c for
c in df.columns)
)
