Huduma

Utaratibu wa kusafisha data wa Spark Streaming
(I) DStream na RDD
Kama tunavyojua, hesabu ya Spark Streaming inategemea Spark Core, na msingi wa Spark Core ni RDD, kwa hivyo Utiririshaji wa Spark lazima uhusishwe na RDD pia.Walakini, Utiririshaji wa Spark hauruhusu watumiaji kutumia RDD moja kwa moja, lakini huchota seti ya dhana za DStream, DStream na RDD ni uhusiano unaojumuisha, unaweza kuelewa kama muundo wa mapambo katika Java, ambayo ni, DStream ni uboreshaji wa RDD, lakini tabia ni sawa na RDD.
DStream na RDD zote zina masharti kadhaa.
(1) kuwa na vitendo sawa vya ugeuzaji, kama vile ramani, reduceByKey, n.k., lakini pia baadhi ya kipekee, kama vile Window, mapWithSated, n.k.
(2) zote zina vitendo vya Kitendo, kama vile foreachRDD, count, n.k.
Mfano wa programu ni thabiti.
(B) Utangulizi wa DStream katika Utiririshaji wa Spark
DStream ina madarasa kadhaa.
(1) Madarasa ya chanzo cha data, kama vile InputDStream, mahususi kama DirectKafkaInputStream, n.k.
(2) Madarasa ya ubadilishaji, kwa kawaida MappedDStream, ShuffledDStream
(3) madarasa ya matokeo, kwa kawaida kama vile ForEachDStream
Kutoka hapo juu, data kutoka mwanzo (pembejeo) hadi mwisho (pato) hufanywa na mfumo wa DStream, ambayo ina maana kwamba mtumiaji hawezi kuzalisha moja kwa moja na kuendesha RDDs, ambayo ina maana kwamba DStream ina fursa na wajibu wa kuwa. kuwajibika kwa mzunguko wa maisha wa RDDs.
Kwa maneno mengine, Spark Streaming inakusafisha moja kwa mojakazi.
(iii) Mchakato wa kuzalisha RDD katika Utiririshaji wa Spark
Mtiririko wa maisha wa RDD katika Utiririshaji wa Spark ni mbaya kama ifuatavyo.
(1) Katika InputDStream, data iliyopokelewa inabadilishwa kuwa RDD, kama vile DirectKafkaInputStream, ambayo hutoa KafkaRDD.
(2) kisha kupitia MappedDStream na ubadilishaji mwingine wa data, wakati huu unaitwa moja kwa moja RDD inayolingana na mbinu ya ramani ya ubadilishaji.
(3) Katika utendakazi wa darasa la pato, wakati RDD imefichuliwa tu, unaweza kumruhusu mtumiaji kutekeleza hifadhi inayolingana, hesabu zingine na shughuli zingine.