Akumulatori su varijable koje se samo "dodaju" kroz asocijativnu operaciju i stoga mogu biti efikasno podržane paralelno. Mogu se koristiti za implementaciju brojača (kao u MapReduce) ili sume. Spark izvorno podržava akumulatore numeričkih tipova, a programeri mogu dodati podršku za nove tipove.
Zašto koristimo akumulator?
Hidraulički akumulatori se koriste u širokom spektru industrija za skladištenje energije; održavati pritisak; prigušiti vibracije, pulsacije i udare; i mnogo više. Skladištenje energije – Akumulatori mogu prihvatiti, skladištiti i oslobađati energiju u obliku tekućine pod pritiskom kako bi poboljšali efikasnost vašeg hidrauličkog sistema.
Koja je razlika između emitovanja i akumulatora u Sparku?
Ključna razlika između broadcast varijable i akumulatora je to što je varijabla emitiranja samo za čitanje, akumulator se može dodati. … Svaki radnički čvor može samo pristupiti i dodati svojoj lokalnoj vrijednosti akumulatora, a samo upravljački program može pristupiti globalnoj vrijednosti.
Kako radi Spark akumulator?
Akumulatori su varijable koje se koriste za agregiranje informacija među izvršiocima. Na primjer, ove informacije se mogu odnositi na podatke ili dijagnozu API-ja kao što je koliko je zapisa oštećeno ili koliko puta je pozvan određeni API biblioteke.
Zašto radnik varijablu akumulatora u Sparku ne bi trebao koristiti za operacije transformacije?
Akumulator će dati pogrešan izlaz. Ako zadatak tada radi sporo, Spark može pokrenuti spekulativnu kopiju tog zadatka na drugom čvoru. Presuda: Nije obrađeno. Akumulator će dati pogrešan izlaz.
