Scaling CRON tasks in distributed systems

S.V. Kozlov, I.A. Karpov

Abstract


The article briefly outlines the purpose of CRON tasks as a mechanism for running scheduled tasks. Examples of scheduled product tasks are provided. The need for horizontal scaling of services in a microservice architecture is briefly described. The problems that arise during horizontal CRON scaling in distributed systems are described: depending on the number of replicas repeated or repeated execution of logic, data races leading to anomalies, additional load on external nodes. The problems under consideration are illustrated by cases from product development: the weekly sending of emails and the zeroing of accumulated domestic currency. A description and analysis of five scaling methods is presented: making CRON a separate service, assigning a leader among replicas, using kubernetes CronJob, applying additional attributes to the database, and using task queues using Bull as an example. In the fourth method, additional attributes in the tables act as a flag indicating whether a specific task has started, which avoids duplication. The nuances of implementation, advantages and disadvantages of each method are described. The relevance of the article is due to the widespread use of scheduled tasks in highly loaded distributed systems and the need for their reliable, predictable and fault-tolerant scaling.

Full Text:

PDF (Russian)

References


Radostev D. K., Nikitina E. Ju. Strategija migracii programmnogo koda iz monolitnoj arhitektury v mikroservisy // Vestnik Permskogo universiteta. Matematika. Mehanika. Informatika. – 2021. – # 2(53). – S. 65-68. – DOI: 10.17072/1993-0550-2021-2-65-68.

Volkov M. Ju., Maleckaja M. V., Rozov A. S. Sravnenie ispol'zovanija monolitnoj i mikroservisnoj arhitektury veb-prilozhenija v sfere telekommunikacii // Nauchno-tehnicheskij vestnik Povolzh'ja. – 2024. – # 7. – S. 277-280.

Shevchenko V. A., Medvedev M. Ju., Nazarkin A. S. Dekompozicija slozhnoj dinamicheskoj sistemy s setevoj arhitekturoj na baze diakoptiki Krona // Inzhenernyj vestnik Dona. – 2018. – # 3(50). – S. 86.

Gromej D. D., Lebedenko E. V. Matematicheskoe obespechenie podderzhki processa upravlenija shemoj reljacionnoj bazy dannyh v zadachah gorizontal'nogo masshtabirovanija // Modelirovanie, optimizacija i informacionnye tehnologii. – 2019. – T. 7, # 2(25). – S. 65-79. – DOI: 10.26102/2310-6018/2019.25.2.006.

Shema gorizontal'nogo masshtabirovanija veb-servisov na osnove protokola websocket / V. A. Alekseev, P. A. Domashnev, T. V. Lavruhina, O. A. Nazarkin // Sistemy upravlenija i informacionnye tehnologii. – 2018. – # 3(73). – S. 52-55.

Chirkov I. A., Dunaev M. E. Issledovanie vozmozhnostej nejronnyh setej dlja prognozirovanija pokazatelej funkcionirovanija brokerov soobshhenij tehnologicheskih platform // International Journal of Open Information Technologies. – 2021. – T. 9, # 8. – S. 36-42.

Razrabotka unificirovannoj modeli dlja rascheta vremeni HTTP-zaprosov na primere veb-prilozhenij Express i fastapi / V. S. Koshel'kov, T. A. Grjazev, M. A. Sokolov, N. N. Zhukov // Sovremennye naukoemkie tehnologii. – 2024. – # 5-1. – S. 57-63. – DOI: 10.17513/snt.40005.

Lapkina A. V., Petukhov A. A. HTTP-request classification in automatic web application crawling // Proceedings of the Institute for System Programming of the RAS. – 2021. – Vol. 33, No. 3. – P. 77-86. – DOI: 10.15514/ISPRAS-2021-33(3)-6.

Lapin A. V., Madumarov T. A. Ispol'zovanie mehanizmov udalennogo vyzova procedur pri otladke i testirovanii vstraivaemyh sistem kosmicheskogo naznachenija // Voprosy jelektromehaniki. Trudy VNIIJeM. – 2023. – T. 196, # 5. – S. 14-19.

Voronova O. V., Il'in I. V., Hareva V. A. Razrabotka arhitekturnoj modeli biznes-servisov sistemy vzaimodejstvija s potrebiteljami setevyh torgovyh kompanij // Izvestija Sankt-Peterburgskogo gosudarstvennogo jekonomicheskogo universiteta. – 2020. – # 6(126). – S. 86-92.

Moroz V. V., Motajlenko L. V. Ispol'zovanie replikacii bazy dannyh dlja gorizontal'nogo masshtabirovanija informacionnyh sistem // Prikladnaja matematika i informatika: sovremennye issledovanija v oblasti estestvennyh i tehnicheskih nauk: Materialy III nauchno-prakticheskoj vserossijskoj konferencii (shkoly-seminara) molodyh uchenyh, Tol'jatti, 24–25 aprelja 2017 goda. – Tol'jatti: Izdatel' Kachalin Aleksandr Vasil'evich, 2017. – S. 373-375.

Lipatnikov V. A., Shevchenko A. A. Sposob kontrolja ujazvimostej pri masshtabirovanii avtomatizirovannoj sistemy menedzhmenta predprijatija integrirovannoj struktury // Informacionnye sistemy i tehnologii. – 2016. – # 2(94). – S. 128-140.

Bagirova S. A., Aliyev A. A. Synchronizing mechanism in distributed information processing systems // Sistemy upravlenija i informacionnye tehnologii. – 2021. – No. 2(84). – P. 44-48. – DOI: 10.36622/VSTU.2021.84.2.010.

Kozlov S. V., Sedenkov S. A. Analiz LSTM i GRU modelej dlja

postroenija prognozov vremennyh rjadov // International Journal of Open Information Technologies. - 2024. - T. 12. # 7. - S. 43-50.

Kozin A. A., Harchenko A. V. Arhitektura mikroservisov dlja nebol'shih komand // Prikladnaja matematika: sovremennye problemy matematiki, informatiki i modelirovanija: Materialy VI Vserossijskoj nauchno-prakticheskoj konferencii, molodyh uchenyh, Krasnodar, 15–21 aprelja 2024 goda. – Krasnodar: Krasnodarskij CNTI – filial FGBU "RJeA" Minjenergo Rossii, 2024. – S. 402-405.

Carrión C. Kubernetes as a Standard Container Orchestrator – A Bibliometric Analysis // Journal of Grid Computing. – 2022. – Vol. 20, No. 4. – P. 42. – DOI: 10.1007/s10723-022-09629-8.

Ding Zh., Wang S., Jiang Ch. Kubernetes-Oriented Microservice Placement with Dynamic Resource Allocation // IEEE Transactions on Cloud Computing. – 2023. – Vol. 11, No. 2. – P. 1777-1793. – DOI: 10.1109/tcc.2022.3161900.

Dell'immagine G., Soldani Ja., Brogi A. KubeHound: Detecting Microservices’ Security Smells in Kubernetes Deployments // Future Internet. – 2023. – Vol. 15, No. 7. – P. 228. – DOI: 10.3390/fi15070228.

Danilov A. D., Sinjukov D. S. Podhod k upravleniju tranzakcijami v geterogennyh raspredelennyh replicirovannyh sistemah baz dannyh v real'nom masshtabe vremeni // Sistemy upravlenija i informacionnye tehnologii. – 2021. – # 3(85). – S. 59-65. – DOI: 10.36622/VSTU.2021.85.3.011.

Saenko I. B., Udal'cov A. V., Ermakov A. V. Analiz problemy sinhronizacii lokal'nyh baz dannyh v raspredelennoj informacionnoj sisteme // Trudy Nauchno-issledovatel'skogo instituta radio. – 2022. – # 4. – S. 37-41. – DOI: 10.34832/NIIR.2022.11.4.004.

Lobachev A. Ju., Zasov V. A. Kollektivnyj algoritm obnaruzhenija sostojanij gonki dannyh v mnogopotochnyh sistemah // Vestnik SamGUPS. – 2022. – # 4(58). – S. 101-109.

Zhiganov A. I., Kozhevnikov P. V., Afonin A. Ju. Razrabotka programmnogo obespechenija vysokonagruzhennyh sistem upravlenija IOT ustrojstvami dlja vstraivaemyh sistem s masshtabiruemoj logikoj upravlenija // Informacionnye tehnologii v nauke i obrazovanii. Problemy i perspektivy: sbornik nauchnyh statej IV ezhegodnoj mezhvuzovskoj nauchno‐prakticheskoj konferencii, Penza, 15 marta 2017 goda. – Penza: Penzenskij gosudarstvennyj universitet, 2017. – S. 148-150.

Kozlov S. V. Ispol'zovanie matematicheskogo apparata implikativnyh matric pri sozdanii i soprovozhdenii informacionnyh sistem // International Journal of Open Information Technologies. – 2017. – T. 5, # 12. – S. 16-23.

Kozlov S. V. Matematicheskie osobennosti ispol'zovanija vozmozhnostej programmnogo kompleksa "Advanced Tester" kak instrumenta funkcional'nogo analiza sistemnyh dannyh // International Journal of Open Information Technologies. – 2019. – T. 7, # 2. – S. 21-30.

Tatarnikova T. M., Arhipcev E. D., Karmanovskij N. S. Opredelenie razmera klastera i chisla replik vysokonagruzhennyh informacionnyh sistem // Izvestija vysshih uchebnyh zavedenij. Priborostroenie. – 2023. – T. 66, # 8. – S. 646-651. – DOI: 10.17586/0021-3454-2023-66-8-646-651.


Refbacks

  • There are currently no refbacks.


Abava  Кибербезопасность ИТ конгресс СНЭ

ISSN: 2307-8162