Kako provjeriti učinkovitost algoritama koje određuje umjetna inteligencija (AI) marketinške platforme?

Što se mene tiče, ovo je najteže pitanje na koje trebam odgovoriti kad predstavljam elemente kontekstualnog marketinga na primjeru korištenja platforme, kao što je Emarsys Customer Engagament Platform. Jednostavno zato što je to u praksi nemoguće.

Naravno, Emarsys (kao i slične platforme nižeg cjenovnog razreda) pruža statističko izvješće o tome koliko se predviđenih događaja uistinu dogodilo. No, u tome nije poanta. Kad bolje razmislimo, ključno je pitanje: je li AI postavio predviđanje koje će biti najtočnije ili ono koje donosi najveću moguću vrijednost vašem poslovanju?

Zamislite da marketinška platforma selektira kupce za koje procjenjuje da će u sljedećih 30 dana vrlo vjerojatno obaviti kupnju u vašoj online trgovini. Naravno, taj segment vrlo vjerojatnih kupaca rado bismo isključili iz skupine kupaca koji, uz promotivnu akciju za Valentinovo ostvaruju još i kupon za popust od 10 posto. Za tih 2000 kupaca (segmentiranih pomoću AI) vodite posebnu kampanju u kojoj ne dijelite dodatne popuste. Nakon mjesec dana vidjeli ste da je 91% kupaca (ukupno njih 1820) stvarno obavilo kupnju, unatoč tome što nisu dobili promotivni kupon s popustom. Na prvu loptu, čini se da AI radi svoj posao. Marketinški stručnjaci se tapšaju po ramenima i dodatno investiraju u implementaciju platforme na nekom drugom području. Nakon uspješno obavljenog posla, zadovoljno odlaze na pivo.

Međutim, onda se javi netko tko posumnja u ova predviđanja. Što ako je popis onih koji će najvjerojatnije obaviti kupnju u sljedećih 30 dana opsežniji od popisa s 2000 kupaca, koje je AI pripremio svojom pametnom segmentacijom? Što ako ih ima 5000, a ne 2000? Ukoliko se ovog puta predviđanje ostvari sa samo 60% točnosti, kampanja i dalje donosi 3000 kupnji za koje nije potrebno davati dodatni popust. Gotovo dvostruko više.

Odgovor nije tako jednostavan. Možda smo kratkoročno zaradili više, ali smo možda nekome dosadili s ovom kampanjom pa je povukao svoju suglasnost i vrlo vjerojatno nas napustio kao kupac. Koliko takvih imamo, ako malo agresivnije predvidimo tko je spreman na ponovnu kupnju i zabunom dođemo do „false positive“ kupca?

Ukoliko smo i mislili da ćemo u „split testu“ suočiti AI i našeg najboljeg marketinškog stručnjaka, brzo smo shvatili da je previše dimenzija koje trebamo pratiti i uspoređivati. Slično kao što za navigaciju tijekom vožnje koristite Waze ili Google Maps. Sve što zapravo možete je provjeriti hoćete li stići u predviđeno vrijeme ukoliko se držite preporučene rute. Ne možete stvarno, objektivno testirati bi li druga ruta bila brža, već možete samo predvidjeti rezultate preporučene rute. Godinama sam pokušavao biti brži od predviđanja. Sad kad sam na putu, svjestan sam mogućnosti i vjerojatno ću ih ispuniti. Prije ili kasnije usvojit ćemo sličan pristup planiranju i upravljanju marketinškim kampanjama. Algoritam treba vjernike. Vjernicima je, međutim, potrebno neko vrijeme da to doista postanu.