Egy online kutatás megszervezésénél a kérdőív megszerkesztésén túlmenően a megfelelő válaszadók megtalálása és meghívása is kardinális feladat. Ma már kevesen emlékeznek csak rá, hogy a megfelelő kitöltői kör megtalálása és elérése milyen nehézségekkel járt az internet előtti időkben.
Manapság már az online kutatások során a résztvevők azonosítása, elérése, az adatok begyűjtése még a legnehezebben elérhető csoportokban is jól működő gyakorlat. Számos cég szakosodott online válaszadói panelek létrehozására és karbantartására. De mit is értünk panel karbantartáson? És pusztán a válaszadók rendelkezésre állásán túl, miért nagyon fontos foglalkozni a kitöltött kérdőívek kapcsán az adatminőséggel? Cikksorozatunk első részeként most az online kutatások során nyert adatok minőségéről és az adatellenőrzések jelentőségéről lesz szó.
Mi az adatminőség?
Az adatminőség az online felmérések esetében is egy összetett és sokoldalú fogalom, ezért nehéz egyszerűen definiálni. Abban mindenki egyetérthet, hogy érvényes piackutatáshoz, melyből üzleti döntésekre ható következtetéseket szeretnénk levonni, minőségi adatra van szükség.
Egy indirekt meghatározás, vagyis a „gyenge” vagy nem megfelelő adat definíciója segíthet minket az adatminőség fogalmának megértésében: a minőségi adatot csak néhány (ámde nagy jelentőséggel bíró) jellemző választja el a hiányos vagy nem eléggé hiteles adattól.
Ha például egy zenei streaming alkalmazást használó felhasználó csak minden 6 hónapban egyszer használja a szolgáltatást, a tőle kapott, az applikációt részleteiben értékelő válaszok, hiányos képet fognak adni (kivéve, ha az app-ot ritkán használók megkérdezése a cél és ők képezik a felmérés célcsoportját). Ilyen visszajelzések alapján nem javasolt messzemenő következtetésekre jutni.
Onlinekutatás.hu tipp: Mindig nagyon alaposan gondoljuk át a tervezett online survey típusú felméréseknél a célcsoportot és annak pontos szűrését, mert ezzel számos problémát megelőzhetünk. A jó célcsoport targetálás kérdése nagyrészt az „érvényesség” (validitás) módszertani kérdéséhez tartozik, azonban érdemesnek tartjuk itt is felhívni rá a figyelmet.
Az adatokból levonható következtetések lehetősége sérülhet akkor is, ha elképzelt online válaszadó hősünk rendszeresen kölcsönadja zenelejátszóját családtagjainak, vagy barátainak. Ebben az esetben megint csak kérdéses az adatok hitelessége és konzisztenciája. Az online kérdőívben kapott válaszok így nem tükrözik hűen a megkérdezett felhasználó személyes preferenciáit (ami eredetileg célunk lett volna).
Onlinekutatás.hu tipp: Amikor a válaszadókat meghívjuk egy-egy konkrét kutatásra, a jól átgondolt célcsoportdefiníció egyenes folyománya kell, hogy legyen a szintén alaposan átgondolt szűrőkérdőív. Pár kérdés segíthet e kérdések összeállításában: Kiknek a véleményét szeretném részletesen megismerni, amely véleményekre valós döntéseket fogok alapozni? Kik azok, akiket mindenképpen ki kell zárnom a vizsgálatból annak érdekében, hogy ne jussak téves következtetésekre az eredményekből?
Az adatminőség 4 fő dimenzióját különböztetjük meg az online felméréseknél is. A társadalomkutatók és a piackutatók rendszerint csoportszinten és egyéni szinten egyaránt vizsgálják az adatok minőségét. Mindkét területen ezeket tartjuk fókuszban:
- konzisztencia
- megfelelőség
- teljesség
- hitelesség
Egy felmérés válaszainak konzisztenciája
A kutatók a válaszok konzisztenciáját egyéni szinten a válaszok ellentmondásaival, illetve az azonos információkra vonatkozó keresztkérdésekkel vizsgálják (pl. Hány éves vagy? / Mikor születtél? – a kérdőív eltérő fázisaiban). Több hasonló ellenőrző kérdés beiktatásával az ellentmondásos választ adók szűrhetőek és indokolt esetben törölhetőek az adatkészletből (az ő válaszaikra nem alapozunk az elemzésnél).
Onlinekutatás.hu tipp: A válaszok konzisztenciája nemcsak egyéni, válaszadói szinten mérhető, hanem a teljes, elemzésre szánt adatbázisban. A belső megbízhatóság mérésére táblázatos (több „itemet” tartalmazó pl. skálás) kérdéseknél például használhatjuk a Cronbach Alpha vizsgálatot: az ennek eredményeképpen kapott Cronbach Alfa lényegében a belső konzisztencia mérőszáma, amely 0 és 1 közé esik.
Ez a leggyakrabban alkalmazott belső konzisztenciát mérő mutató, értékének javasolt minimális értéke 0,6. A Cronbach Alfa relatíve egyszerűen kiszámítható (ld. pl. SPSS-ben), részben ennek is köszönheti nagy népszerűségét. Érdemes használniuk a piackutatóknak annak érdekében, hogy statisztikailag validált kérdésszettekkel dolgozzanak, vagyis bizonyosak lehessenek abban, hogy összességében valóban a mérni kívánt fogalmat ragadják meg pl. a skálás kérdéseikkel. Ennek a bizonyosságnak az ismételt felmérések (pl. negyedéves trackingek esetében különösen nagy jelentősége van).
Az online válaszok megfelelősége
Egy-egy válaszadónál az adatok megfelelőségét vagyis „korrektségét” úgy ítélhetjük meg, hogy megvizsgáljuk, vajon a kérdőívet kitöltő azonos tárgyban következetes válaszokat adott-e (erről már volt szó korábban). Egy kutató azonban jellemzően nemcsak egyéni szinten hanem a teljes adatbázis, a válaszadók összességének szintjén is értékeli az adatok megfelelőségét: ellenőrzi, hogy az adatok hogyan illeszkednek a más hasonló és eltérő vizsgálatokban megfigyelt eredményekhez.
A válaszok teljeskörűsége
A válaszadók esetében a kérdőív teljes kitöltöttsége a legtöbb esetben alapkövetelmény, így a teljes adatbázis szintjén túlnyomórészt elmondható, hogy csak ún. „sikeres” kérdőívek, vagyis a teljes mértékben elejétől a végéig megválaszolt kérdőívek kerülnek az elemzésre szánt adatbázisba.
Ritkább esetben – a Netpanelnél megbízóink külön kérésére, megegyezés szerint – elfogadunk ún. részleges kitöltést is, pl. szűkebb, nehezebben elérhető célcsoportok esetében, vagy akkor, ha túl hosszú egy kérdőív. Ez lényegében teljes egészében a megbízóink döntése: az alaphelyzet az, hogy csak a végig megválaszolt kérdőívet tekintjük kitöltöttnek, azaz sikeresnek.
Onlinekutatás.hu tipp: Összetettebb célcsoportszűrésnél, vagy hosszabb kérdőívek esetében érdemes megfontolni a részleges kitöltés elfogadását is. Ebben a Netpanelnél szakértő projekt menedzserek segítenek (természetesen a szabályrendszer megalkotásában és az adatfelvételhez történő programozásában is számíthatsz a segítségünkre). Így azokban az esetekben, amikor minden válasz „kincs”, nem esünk el fontos információktól, csak azért, mert az utolsó pár kérdésnél fogyott el bizonyos kitöltők figyelme (de pl. a kérdőív elején lévő szűrés, az érdemi koncepcióteszt rész és a demográfiai kérdések töltve vannak).
Mint azt jeleztük, alapvetően minden adatfelvételnél csak a kérdőívet teljes egészében kitöltők véleményeit adjuk át az adatfelvétel végén, így, ha szeretnél ettől eltérni, azt jelezni szükséges, akár már az ajánlatkérés során, hogy a számotokra legjobb megoldást találjuk.
A válaszadók hitelessége és őszintesége
Értelemszerűen akkor beszélhetünk hiteles eredményekről, ha a válaszadók a kutatás során a legjobb tudásuk szerint, és saját személyes véleményüket vállalva, kifejezve válaszolják végig a kérdéseket. Személyes szinten, vagyis egy-egy válaszadó esetében itt ugyancsak a konzisztencia, illetve az erősebb túlzások kiszűrésével ellenőrizhetjük a hitelességet. A szúrópróbaszerű utólagos ellenőrzések is hasznosak, sőt, ajánlottak.
A nem megfelelő alapossággal kitöltött kérdőívek árulkodó jele lehet a túl gyors kitöltés (angol nyelvű szakirodalomban a „speed clicking”), illetve az esetlegesen megfigyelhető anomáliák egy adott kérdőívkitöltő válaszaiban.
Onlinekutatás.hu tipp: A Netpanel által használt freQuest kérdőívszerkesztő és kutatásmenedzsment szoftver számos ellenőrzést és szűrést tartalmaz az adatok minőségének biztosítása érdekében. Ezek közül csak az egyik a kérdőív átlagos idejének a mérése és a gyorsklikkelők alapvető szűrése. Már az adatjavítás során sem foglalkozunk a túl gyors kitöltőkkel, hiszen őket már maga a frequest rendszer kiszűri az adatfelvétel folyamata során. Ez a kutatások kvótafigyelését és a kvóták, illetve a teljes vizsgálat zárását is segíti, megelőzi a kellemetlen meglepetéseket (végleges megkérdezetti szám tekintetében).
Ez utóbbi anomáliákat főként a nem túl válaszadóbarát hosszú kérdőívek vagy nagy táblázatos kérdések esetében érdemes vizsgálni és – ha kell – kiszűrni.
Sorozatunk folytatódik
Fontosnak tartjuk, hogy az online kérdőíves felmérések kapcsán egyre több szó essen az adatminőségről, ezért ebben a témában folytatjuk cikksorozatunkat: legközelebb arról írunk majd, hogy adatfelvételi és kutatás-előkészítési oldalról mit teszünk mi a Netpanelnél a minél jobb és hitelesebb adatokért és partnereink megfelelő tájékoztatásáért.
