옛날 블로그

b.groupBy(identity).mapValues(s => s.size)

say we have string type array like below,val arrayy = Array("AA","BB","CCAB","AABA")We have to split into code that consists of just TWO characters.Using just a flatmap function will solve your problema.flatMap{ _.grouped(2) }

A.join(B, Seq("id"), "left").orderBy("id").groupBy("id", "name").agg(concat_ws(" ", collect_list("text")) as "texts") concat string into single column using agg collect_list returns array in that case,so if you want to use it inside the udf definition, you should take as Seq[String}

Linde–Buzo–Graykmeans와 이진분류의 강점만 가져왔다고 하는데 실무에서 써본적도 본적도 없다.논문은 돈을 내야 보인다.

import breeze.linalg._ val df = spark.sparkContext.parallelize(List((1.0,3.0,5.0), (2.0,4.0,6.0))).toDF() val darr = df.collect() val da = darr.map{ row => Array(row.getAs[Double](0), row.getAs[Double](1), row.getAs[Double](2) )} val ncol = da.transpose.length val nrow = da.length val dd = da.transpose.flatten val dv = new DenseMatrix(nrow, ncol, dd) // val rdd1 = spark.sparkContext.parallelize(..

잡음까지 포함된 입력 데이터를 재귀적으로 처리하는 필터Kalman filtering, also known as linear quadratic estimation (LQE), is an algorithm that uses a series of measurements observed over time, containing statistical noise and other inaccuracies, and produces estimates of unknown variables that tend to be more accurate than those based on a single measurement alone, by estimating a joint probability distribution over the..

이글에서 분석해볼 paper는 [Forecasting at Scale] 으로, Facebook의 신기방기한 시계열 분석 라이브러리인 Prophet에 대한 설명이 있는 paper입니다. 논문으로는 20페이지가 넘어 읽기가 불편(?)할수 있어 제가 대신 읽어보겠습니다. peer-reviewed가 되어있지 않다고 되어있지만, 현실에서 미치는 라이브러리의 현재 파급력으로 보아 충분히 볼만한 가치가 있어보입니다. 저작권을 살펴보니 냅다 사용해도 괜찮네요.이를 살펴보게 된 이유는, KDD2018 미세먼지 예측에서 상위권에 포진한 랭커가 날씨 예보정보를 전혀 쓰지않고 과거정보만으로 냅다 미세먼지 예측량을 맞추게 되는 방법중 하나가 바로 이 Prophet library이기 때문이였기 때문입니다. 이 글에서 대부분의 내..

Spark Dataframe UDF - Schema for type Any is not supported When implementing udf (user defined function), don't forget to take care of all possible situation that can happen in the code block.when IF comes, remember that ELSE always follows.So simple, So Stupid.

The simplest solution for reading face image file, and converting to face landmark description.

Error: stat_count() must not be used with a y aesthetic.ggplot(ah, aes(x=Var1, y=Freq)) + geom_bar(stat = "identity")add stat=identity Error in -freq : invalid argument to unary operatormultiline problem if case of not working well, use aes method to the inside of ggplot() method