Backend & CDN
GreenCDN
Naše CDN je postavena na Nginx webserveru + Python/LUA a data ukládáme do několika CEPH storages. Opisujeme od large-scale deploymentu CEPHu v CERNu.
Data jsou servírována z farmy vysoce customizovaného Nginx webserveru s moduly v LUA, které řeší logiku CDN (ACL, accounting, traffic shaping & DDoS protection, monitoring interních metrik).
Díky CEPHu dosahujeme lineárního škálovaní - do CDN se přidávají disky a servery, zbytek je plně automatizovaný.
StaticCDN pro malé soubory (hlavně obrázky) jsou servírovány z CEPH skrze object storage (S3 like API), data servíruje opět Nginx, opět lineárně škálovatelné.
Petabyte scale storage
Základ našich škálovatelných primárních úložisť tvoří CEPHFS, několik primarních storages, každá o velikosti několika PB.
CDN backend, Python & DevOps
S daty pracujeme nejnovější verzí jazyka Python za podpory mnoha doplňujících knihoven a utilit. Kód je čistý, kontrolovaný vždy několika vývojaři a důkladně testován strojově i ručně.
Vyznáváme maximální míru automatizace a pro co nejtěsnější a bezproblémovou integraci mezi provozem a SW vývojem využíváme konceptu DevOps.
Backend File Processing
GreenCDN je schopná obsluhovat mnoho existujících datových formátů, nejen video. Tedy umíme antivirovou kontrolu (včetně externích security API kontrol), spolehlivou identifikaci content-type,
vytváření grafických náhledů většiny dostupných formátů, video i grafické konverze a mnoho dalšího. To vše řeší v naší CDN AFP - software napsaný v Pythonu.
AFP beží virtualizovaně ve škálovatelném OpenStacku, automatizovaný Puppety. Data jsou v MySQL, jako NoSQL DB používame Redis a Aerospike.