Task not serializable: java.io.NotSerializableException
Never call sparkContext in function closure.
in.rdd.flatMap { row => Seq.fill(row.getAs[Double]("xxx").toInt + 1)(row) }
'데이터분석 > Preprocessing' 카테고리의 다른 글
| Cannot call methods on a stopped SparkContext (0) | 2018.05.06 |
|---|---|
| [링크] lag spark scala (0) | 2018.05.05 |
| R에서의 NA처리 na.approx 주의와 NA채우는 꼼수 (0) | 2018.04.21 |
| R eval parse 예 (0) | 2018.04.13 |
| 결측치 제거를 위한 몇가지 팁 (0) | 2017.08.13 |