Detekce anomálií pro Seznam.cz
Významným zdrojem příjmů pro Seznam.cz je reklama. Uhlídat optimální fungování všech obchodních kanálů, kterými reklama protéká, není v lidských silách. Proto má Seznam.cz řadu automatizovaných nástrojů, kterými sleduje jejich správné fungování.
Cílem našeho projektu bylo na míru vyrobit nástroj, který odhalí a upozorní na nestandardní jevy – anomálie, které mohou nastat a často nastávají při zobrazování reklamy na Skliku v tzv. výdejových zónách. Výdejová zóna je místo na webu, kde se reklama zobrazuje. Anomálii vnímáme jako nízký nebo žádný počet zobrazení reklamy (impresí) v dané zóně, říkejme ji „výpadek“. A právě díky rychlému odhalení a následnému opravení těchto výpadků nepřichází Seznam.cz o část příjmů.
Realizace projektu:
- Data
K dispozici jsme měli data za poslední 2 roky na denní bázi, v počtu unikátních kombinací se zobrazovalo téměř 10 tisíc výdejových zón denně. Dalšími parametry, s nimiž jsme pracovali, byly typ zařízení (mobil, desktop atd.), cílení, typ reklamy a prohlížeč, ve kterém se zóna zobrazuje.
- Postup
- Pro lepší porozumění jsme provedli celkové vyhodnocení poskytnutých dat v Keboola Connection, kterou Seznam.cz používá.
- Definovali jsme si anomálie a jejich závažnosti, tedy od jakého počtu impresí se jedná o nestandardní jev, a za jakých podmínek může anomálie nastat.
- Slučování zón bylo důležitým krokem. Odfiltrovali jsme zóny bez aktivity a malé zóny sloučili do větších, čímž jsme se z tisíců dostali na stovky.
- Výběr algoritmů k detekci anomálií prošel důkladným testováním, ne všechny algoritmy totiž identifikovaly anomálie stejně. Detekci ovlivňuje např. velkost zóny, ty s vyššími počty impresí mají individuální proces pro vyhodnocení anomálie, s přísnějšími kritérii.
Nakonec jsme vybrali tuto kombinaci:
|
Algoritmus |
Popis |
|
MissingDays |
Chybějící hodnota počtu impresí pro výdejovou zónu |
|
KernelDensity |
Počet impresí byl vyhodnocen jako anomálie |
|
IsolationForest |
Počet impresí byl vyhodnocen jako anomálie |
|
Zero |
Hodnota impresí pro výdejovou zónu je 0 nebo 1 |
|
StandardDeviation2 |
Denní imprese pod -2 standardní odchylky |
|
StandardDeviation2.5 |
Denní imprese pod -2.5 standardní odchylky |
|
Prophet (Trend) |
Dlouhodobý (10 týdnů) pokles trendu zóny o 50% |
Výstupy:
- reporting zobrazující globální pohled na výdejové zóny včetně pohledu na výdej Skliku v daných zónách
- soubor s detekovanými anomáliemi slouží i jako nástroj k čištění – hodně anomálií jsou nepoužívané zóny, které nejsou (a měly být) vypnuté
Ukázka reportingu
Přínosy
Okamžitá možnost zjištění anomálií a jejich rychlé opravení, což má za následek snížení počtu a délky výpadků a zvýšení příjmů.
