The Florida “truth” anti-tabak media evaluation: design, first year results, and implications for planning future state media evaluations | Tobacco Control

Methodology

DESIGN

The tracking, monitoring, and target reaction functions of the evaluation were planned around four surveys. Een basisenquête werd gehouden vóór de start van de campagne in april 1998. Er werden gegevens verzameld over de bekendheid en de bevestigde bekendheid (CA) van antitabaksadvertenties, mediaboodschappen, attitudes ten aanzien van antitabak, gedragingen ten aanzien van tabaksgebruik, en bijkomende demografische, huishoudelijke en leefstijlparameters. De tweede enquête – de Florida anti-tabaksmedia-evaluatie (FAME) – werd ongeveer zes weken na aanvang van de campagne uitgevoerd. Het doel van deze enquête was om de initiële penetratie van de campagneboodschap en de reacties van jongeren op advertenties te meten, zodat de enquête veel korter was dan de basisenquête. Twee aanvullende onderzoeken voor het eerste jaar waren gepland voor september 1998 (zes maanden na het begin van de campagne) en mei 1999, het eind van het eerste campagnejaar. De vragenlijst die in de zes- en twaalfmaandelijkse enquêtes werd gebruikt, kwam sterk overeen met de basisvragenlijst. Tijdens het eerste jaar bedroegen de bruto ratingpunten van de advertenties gemiddeld ongeveer 1600 per kwartaal. Door het bereik te vermenigvuldigen met de blootstellingsfrequentie kan men stellen dat er ongeveer 16 geplande blootstellingen per kwartaal waren. Het is belangrijk te beseffen dat deze maatstaf niet aangeeft hoe vaak een advertentie door een lid van de doelgroep wordt gezien.

Om te beoordelen of de mediacampagne de attitudes/overtuigingen ten aanzien van tabak en het gedrag ten aanzien van tabaksgebruik veranderde, werd een quasi-experimentele opzet gekozen. Deze opzet hield in dat een populatie werd geïdentificeerd die overeenkwam met de doelgroep in Florida, met uitzondering van de blootstelling aan de (behandelde) mediacampagne. Slechts vier staten (Arizona, Californië, Massachusetts, Oregon) hadden georganiseerde, grootschalige antitabaksprogramma’s met opmerkelijke mediacomponenten gelanceerd, of zouden dat mogelijk gaan doen. Uit een aantal studies blijkt dat cohorten jongeren in de VS meer op elkaar zijn gaan lijken in hun attitudes, gedragingen en levensstijlen4-7 , zodat als vergelijkingspopulatie (controlepopulatie) werd gekozen voor 12-17-jarigen in andere staten dan de bovengenoemde vier. Representatieve steekproeven uit de vergelijkingspopulatie werden bij de start en na 12 maanden ondervraagd met instrumenten die overeenkwamen met de FAME-enquête.

Kortom, de evaluatieopzet omvatte zes enquêtes: vier onder de behandelingspopulatie en twee onder de nationale vergelijkingspopulatie. De inhoud van de FAME-enquêtes was bedoeld om het bereik, de penetratie en de ontvankelijkheid van de advertenties en de boodschap van de campagne te volgen en na te gaan hoe het veranderende bereik, de penetratie en de ontvankelijkheid verband houden met de attitudes/overtuigingen en het gedrag ten aanzien van tabaksverslaving.

SAMPLES

Een reeks van mogelijke steekproefkaders werd overwogen, waaronder willekeurige nummerkeuze, “opgeschoonde” lijsten van willekeurige getallen, en gerichte willekeurige getallen voor roosters van leerlingen van openbare scholen uit registers van het Ministerie van Onderwijs, schoolgidsen, en gegevens over huishoudens die worden bijgehouden door het National Center for Health Statistics voor hun lopende gegevensverzamelingsprogramma. De methoden van willekeurig kiezen werden vroegtijdig uitgesloten. De redenen hiervoor zijn elders uitvoerig besproken8 , maar hielden verband met de unieke demografische structuur van Florida en de wens om steekproeven te trekken op basis van de bevolking en niet op basis van het huishouden. Andere potentiële steekproefkaders werden uitgesloten door wettelijke of bureaucratische beperkingen, of door bezorgdheid over hun representativiteit.

Een andere mogelijkheid om steekproefkaders te selecteren was de aankoop van een door een verkoper gegenereerde lijst. Een van die verkopers is gespecialiseerd in de schoolgaande bevolking.8 Wij konden vaststellen dat hun bestanden naar schatting de helft van de personen in de beoogde leeftijden in Florida bevatten. De bronnen waaruit zij hun informatie putten zijn onder meer openbare en particuliere schoolgidsen en jaarboeken, alsmede kampen, clubs en gemeenschapsorganisaties die liefdadigheidsdiensten verlenen, alsmede abonneelijsten en andere bronnen voor marktonderzoek. De bestanden van de verkoper bevatten naam, adres, telefoonnummer, geslacht, etniciteit en verwachte afstudeerdatum. Deze informatie werd gebruikt om een willekeurig geselecteerde lijst van namen te genereren, gestratificeerd om representatief te zijn voor de doelgroep naar regio, geslacht, etniciteit en leeftijd. Deze bron bood het bijkomende voordeel dat wij bij elk telefoongesprek naar een specifiek persoon met naam konden verwijzen. De verkoper heeft in elke staat een kantoor dat verantwoordelijk is voor het verzamelen van de gegevens van de staat en het rapporteren ervan aan een centraal kantoor. Wij schatten dat de dekking voor individuele staten varieert van ongeveer 15% tot meer dan 65%, met de laagste percentages in staten met de kleinste bevolking.8 Om dit probleem voor de nationale steekproeven op te lossen, hebben wij de gegevens van de staten samengevoegd tot censusregio’s en gestratificeerd op basis van de parameters die voor Florida zijn gebruikt. Vergelijkingen met de meest recente beschikbare schattingen toonden geen significante verschillen voor beide steekproeven en hun referentiepopulatie langs een aantal dimensies waarvoor niet gestratificeerd was, waaronder het percentage dat in een eenoudergezin woonde en het percentage dat naar een particuliere/openbare school ging. De beoogde steekproefomvang was 1800 voor de FAME-enquêtes en 1000 voor de nationale enquêtes.

TELEFONISCHE PROCEDURES

Interviewers waren universiteitsstudenten en docenten die zes uur training kregen en moesten slagen voor een “testinterview”. De interviews werden afgenomen in het Engels of Spaans. De gemiddelde doorlooptijd (behalve voor de kortere FAME van juni) bedroeg minder dan 25 minuten. Alle interviews begonnen met een gescript bericht waarin de ouder of wettelijke voogd van het beoogde kind bij naam werd gevraagd. Er werd tot vijf keer teruggebeld om de ouder te bereiken. De ouders werden op de hoogte gebracht van het doel van het gesprek en dat hun kind een betaling van $12,50 zou ontvangen voor deelname. Als de ouder/voogd toestemming gaf, en het kind aanwezig was, spraken we onmiddellijk met het kind. Als het kind niet aanwezig was, of niet in staat was om op dat moment deel te nemen, werd een tijdstip afgesproken waarop het kind werd teruggebeld. Er werden maximaal vijf terugbelmomenten per kind afgesproken. De interviews met de jongeren begonnen met een geïnformeerde toestemmingsverklaring.

Een analyse van de responspercentages, en de kenmerken van de jongeren door ouders en jongeren die weigerden, werd voltooid. We vonden geen significante verschillen tussen de onderzoeken op een van de onderzochte factoren.89 Weigeringspercentages op het niveau van de ouders waren gemiddeld minder dan 10%; op het niveau van het kind minder dan 6%. Ouders van jonge vrouwen hebben echter consequent vaker toestemming geweigerd dan zowel alle ouders als ouders van jonge mannen. De weigeringspercentages voor deze groep zijn nog steeds laag (minder dan 13%). Als rekening wordt gehouden met teruggebelde gesprekken, heeft één op de 1.397 gebelde nummers een interview opgeleverd; het gemiddelde responspercentage lag net onder 69%. Aan het eind van elk interview werd de respondenten gevraagd of zij bereid zouden zijn opnieuw te worden geïnterviewd; 98% antwoordde positief. De interviewers beoordeelden elk interview zelf op drie aspecten. Bij 8,5% van de interviews meldden de interviewers dat ze reden hadden om aan te nemen dat iemand meeluisterde of aanwezig was in de onmiddellijke omgeving, en bij ongeveer 21% van deze interviews dat de respondent hierdoor gehinderd of afgeleid leek. Dit was waarschijnlijker voor middelbare scholieren (12%) dan voor middelbare scholieren (8%). Er was geen systematische bias in de rapportage van tabaksgebruik tussen respondenten die rapporteerden dat er iemand meeluisterde of aanwezig was, en degenen die dat niet deden.9 Dit zou gedeeltelijk een functie kunnen zijn van het plaatsen van de items over tabaksgebruik aan het eind van het interview.

MAATREGELEN

In de analyse hieronder richten we ons op campagne-CA en advertentiespecifiek bewustzijn en CA. Er wordt aandacht besteed aan televisieadvertenties (TV) omdat uit gedetailleerde analyses is gebleken dat respondenten die op de hoogte waren en CA van TV-advertenties ook respondenten waren die op de hoogte waren van advertenties in andere mediavormen. Dat wil zeggen, weinig respondenten die meldden dat ze zich bewust waren van advertenties, of die bevestigden dat ze zich bewust waren van advertenties die via andere media werden geleverd, beweerden niet ook dat ze zich bewust waren van tv-advertenties en bevestigden dat niet.

Bewustzijn, CA en ontvankelijkheid van antitabaksadvertenties werden gemeten aan de hand van één reeks items waarin naar elke specifieke advertentie in elke enquête werd gevraagd. Het eerste item in deze reeks verwees naar een enkele “cue” binnen de context van het algemeen geformuleerde item: “Hebt u onlangs een antirookadvertentie gezien waarin ‘cue’ werd getoond?” Respondenten die op dit item positief antwoordden, werden gecodeerd als bewust. Om de CA te meten, werden de respondenten twee bijkomende items gevraagd. Het eerste vroeg de respondent om de details van de advertentie te beschrijven zonder bijkomende cues. Het tweede vroeg de respondent om de hoofdboodschap of het hoofdthema van de advertentie te beschrijven zonder verdere aanwijzingen. Antwoorden die de cue herhaalden of die algemeen waren (bijvoorbeeld “niet roken”) werden niet gecodeerd als bevestigd. Respondenten die op de hoogte waren van een advertentie, kregen drie vragen voorgelegd om hun reacties erop te peilen: vonden ze de advertentie leuk, hebben ze er met vrienden over gesproken, en heeft de advertentie hen aan het denken gezet over de vraag of ze wel of niet zouden moeten roken?

De basisreeksen voor Florida en het hele land bevatten dezelfde drie tv-reclames. Dit waren nationaal populaire public service announcements (PSA’s) die in Arizona waren ontwikkeld, een ontgroeningsthema hadden, en verkrijgbaar waren via het CDC media resource centre. De opeenvolgende FAME-enquête bevatte drie tv-reclames. Deze hadden thema’s over manipulatie in de industrie en waren geproduceerd door de mediacontractant in Florida. Voor de nationale enquête van één jaar werkten we samen met de CDC en zijn distributiecontractant om te bepalen wat in de loop van het jaar de drie meest bestelde tv-reclames waren. Deze reclames werden gebruikt in de nationale enquête van een jaar. In de onderstaande analyse werden respondenten als bewust en CA geteld als ze beweerden bewust te zijn (of CA) van een advertentie in een vlucht.

We rapporteren ook gegevens voor vier maatstaven van campagne-, in tegenstelling tot advertentiespecifieke, CA; twee werden afgeleid van items zonder hulp. De eerste maat werd afgeleid uit twee items. Respondenten werd gevraagd of ze op de hoogte waren van een antitabaks- of antirookcampagne in Florida. Als ze “ja” antwoordden, werd hen gevraagd naar het belangrijkste thema van de campagne op CA. Een tweede item werd gebruikt om de “naamsbekendheid” van de campagne te meten. In de discussie wordt dit “logo bevestiging” genoemd. Dit werd gemeten door de respondenten te vragen aan te geven waar ze aan dachten toen ze het woord “waarheid” binnen een ovaal zagen – het symbool voor de campagne. Respondenten werden als CA gecodeerd als zij een van de belangrijkste thema’s of slogans van de campagne herhaalden, d.w.z. “ons merk is waarheid, hun merk is leugens”.

De derde maatstaf voor campagne-CA is een samenstelling van advertentie-CA. Naast de tv-component bevatte de campagne beperkte radio-, billboard- en display-advertenties, evenals promotieartikelen zoals stickers, lanyards, petten en T-shirts. Om de bekendheid van elk van deze artikelen te bevestigen werden soortgelijke items gebruikt als die voor het meten van de CA van tv-reclame. Voor elke FAME-enquête werd een samengestelde maat van mediacampagne-CA berekend door elke persoon die op een van deze of een tv-reclame bevestigde als bevestigd te coderen. De laatste maatstaf van campagne-CA is het percentage respondenten dat op ten minste een van de drie bovenstaande punten bevestigde.

De gegevens worden ook gepresenteerd voor geselecteerde items over antitabak attitudes/overtuigingen. Elk van deze vragen werd in de FAME-enquête en in de nationale enquêtes aan de respondenten gesteld. De respondenten werd gevraagd aan te geven of zij het met elk van deze items eens, eens, oneens of zeer oneens waren. In de analyse zijn deze categorieën samengevoegd tot mee eens/niet mee eens. Alle metingen van tabaksgedrag zijn gebaseerd op zelfrapportage.

EVALUATIE HYPOTHESES

Twee reeksen hypothesen zijn opgesteld voor evaluatiedoeleinden. De eerste heeft betrekking op het bereik en de penetratie van het mediaprogramma bij de doelgroep, en op de reactie van de doelgroep op het programma. De eerste van deze hypothesen was contractueel vastgelegd; de mediacontractant zou een bonus ontvangen indien de CA van de campagne aan het einde van het eerste jaar 85% zou bereiken. Dit was de “tracking-hypothese”. Een tweede hypothese was dat de doelgroep ontvankelijker zou zijn voor een georganiseerde, op een centraal thema gerichte reeks advertenties dan voor PSA’s. Deze hypothese was gebaseerd op de communicatietheorie in het algemeen,10-13 en op eerder onderzoek dat suggereerde dat het thema “manipulatie door de industrie” een grote aantrekkingskracht had op jongeren.14-16 De tweede reeks hypothesen werd getest met het quasi-experimentele ontwerp. Deze hypothesen stelden dat een campagne-effect in Florida een grotere verandering teweeg zou brengen dan in het land zelf: bekendheid en CA van advertenties, grotere ontvankelijkheid, meer verandering in anti-tabak attitudes/overtuigingen, en verminderd tabaksgedrag.