The Florida „truth” anti-tobacco media evaluation: design, first year results, and implications for planning future state media evaluations | Tobacco Control

Methodology

DESIGN

Funkcje śledzenia, monitorowania i reagowania na cele ewaluacji zostały zaplanowane wokół czterech badań. Badanie podstawowe zostało przeprowadzone przed rozpoczęciem kampanii w kwietniu 1998 roku. Zebrano w nim dane dotyczące świadomości i potwierdzonej świadomości (CA) reklam antytytoniowych, przekazów medialnych, postaw antytytoniowych, zachowań związanych z używaniem tytoniu oraz pomocniczych parametrów demograficznych, gospodarstwa domowego i stylu życia. Drugie badanie – Florida anti-tobacco media evaluation (FAME) – zostało przeprowadzone około sześć tygodni po zakończeniu kampanii. Celem tego badania było zmierzenie początkowej penetracji przekazu kampanii i reakcji młodzieży na reklamy, dlatego było ono znacznie krótsze niż badanie podstawowe. Dwa dodatkowe badania w pierwszym roku zaplanowano na wrzesień 1998 roku (sześć miesięcy kampanii) i maj 1999 roku, czyli na koniec pierwszego roku kampanii. Kwestionariusz zastosowany w badaniach sześcio- i dwunastomiesięcznych był identyczny jak w badaniu podstawowym. W ciągu pierwszego roku reklamy punkty ratingowe brutto wynosiły średnio około 1600 na kwartał. Mnożąc zasięg razy częstotliwość ekspozycji, sugeruje to, że było około 16 planowanych ekspozycji na kwartał. Ważne jest, aby zdać sobie sprawę, że środek ten nie wskazuje, ile razy reklama jest postrzegana przez członka populacji docelowej. Raczej reprezentuje liczbę razy, kiedy wszystkie osoby mogą zobaczyć reklamę w oparciu o szacunkową liczbę wszystkich widzów w czasie, gdy reklama jest emitowana.

Aby ocenić, czy kampania medialna zmieniała postawy/przekonania antytytoniowe i zachowania związane z używaniem tytoniu, przyjęto projekt quasi-eksperymentalny. Projekt ten polegał na zidentyfikowaniu populacji, która była podobna do populacji docelowej na Florydzie, z wyjątkiem jej ekspozycji na kampanię medialną (leczniczą). Jedynie cztery stany (Arizona, Kalifornia, Massachusetts, Oregon) uruchomiły, lub sądziły, że mogą uruchomić, zorganizowane programy antytytoniowe na dużą skalę z istotnymi elementami medialnymi. Szereg badań wskazuje, że kohorty młodych ludzi w USA stały się bardziej podobne pod względem postaw, zachowań i stylu życia4-7 , dlatego też populacja porównawcza (kontrolna) obejmowała osoby w wieku 12-17 lat w stanach z wyłączeniem czterech wyżej wymienionych. Reprezentatywne próby z populacji porównawczej zostały przebadane na poziomie podstawowym i 12 miesięcy przy użyciu instrumentów, które były zgodne z ankietą FAME.

W skrócie, projekt ewaluacji obejmował sześć ankiet: cztery z populacji leczonej i dwie z porównawczej populacji krajowej. Zawartość ankiety FAME została zaprojektowana w celu śledzenia i monitorowania zasięgu, penetracji i receptywności reklam oraz tematu kampanii, a także w celu oceny, jak zmieniające się poziomy zasięgu, penetracji i receptywności są związane z postawami/przekonaniami i zachowaniami antytytoniowymi. The national surveys were timed and designed to allow parallel measurements in the control population not exposed to the „truth” campaign.

SAMPLES

An array of potential sampling frames was considered including random digit dialling, „cleaned” lists of random numbers, and targeted random numbers to rosters of public school students from Department of Education records, school directories, and household records maintained by the National Center for Health Statistics for their ongoing data collection programme. Metody losowego wybierania numerów zostały wcześnie wykluczone. Powody tego są szczegółowo omówione w innym miejscu,8 ale związane z unikalną strukturą demograficzną Florydy i pragnieniem posiadania populacji, a nie gospodarstw domowych, opartych na próbkach. | Czy kiedykolwiek [ubiegał się Pan/ubiegała się Pani] o rentę inwalidzką z tytułu niezdolności do pracy lub o dodatek opiekuńczy?

Jeden z takich dostawców specjalizuje się w populacji w wieku szkolnym.8 Byliśmy w stanie ustalić, że ich pliki zawierały szacunkowo połowę osób w wieku docelowym na Florydzie. Źródła, z których pozyskuje on informacje, obejmują zarówno katalogi i roczniki szkół publicznych i prywatnych, jak i obozy, kluby i organizacje społeczne świadczące usługi charytatywne, a także listy subskrypcyjne i inne źródła badań rynku. Pliki sprzedawcy zawierają imię i nazwisko, adres, numer telefonu, płeć, pochodzenie etniczne i przewidywaną datę ukończenia szkoły. Informacje te zostały wykorzystane do wygenerowania losowo wybranej listy nazwisk stratyfikowanych tak, aby były reprezentatywne dla grupy docelowej ze względu na region, płeć, pochodzenie etniczne i wiek. To źródło miało tę dodatkową zaletę, że pozwalało nam odnosić się do konkretnej osoby po nazwisku podczas każdego połączenia. | W którym roku [ubiegał się Pan/ubiegała się Pani] o rentę inwalidzką z tytułu niezdolności do pracy lub o dodatek opiekuńczy? Oszacowaliśmy, że zasięg dla poszczególnych stanów waha się od około 15% do ponad 65%, z najniższymi procentami w stanach o najmniejszych populacjach.8 Aby rozwiązać ten problem dla prób krajowych, zagregowaliśmy dane stanowe do regionów spisowych i stratyfikowaliśmy na podstawie parametrów użytych dla Florydy. Porównania z ostatnimi dostępnymi szacunkami nie wykazały znaczących różnic dla żadnej z prób i ich populacji referencyjnej wzdłuż kilku wymiarów, które nie zostały rozwarstwione, włączając w to procent żyjących w gospodarstwie domowym z jednym rodzicem/opiekunem i procent uczęszczających do szkół prywatnych/publicznych.

PROCESY TELEFONICZNE

Wywiadowcami byli studenci college’u i nauczyciele, którzy otrzymali sześć godzin szkolenia i musieli przejść „wywiad testowy”. Wywiady były prowadzone w języku angielskim lub hiszpańskim. Średni czas realizacji (z wyjątkiem krótszego czerwcowego FAME) wynosił poniżej 25 minut. Wszystkie wywiady rozpoczynały się od skryptowanej wiadomości, w której proszono o podanie imienia i nazwiska rodzica lub opiekuna prawnego dziecka. W celu skontaktowania się z rodzicem wykonywano do pięciu połączeń zwrotnych. Rodzice byli informowani o celu rozmowy i o tym, że ich dziecko otrzyma zapłatę w wysokości 12,50 dolarów za udział w badaniu. Jeśli rodzic/opiekun wyraził zgodę, a dziecko było obecne, natychmiast z nim rozmawialiśmy. Jeśli dziecko było nieobecne lub nie mogło uczestniczyć w rozmowie w tym czasie, ustalano termin oddzwonienia. Dla każdego dziecka wykonano do pięciu telefonów zwrotnych. Wywiady z młodzieżą rozpoczynały się od oświadczenia o świadomej zgodzie.

Analiza wskaźników odpowiedzi i charakterystyki młodzieży według odmowy rodziców i młodzieży została zakończona. Nie znaleźliśmy znaczących różnic między badaniami w żadnym z rozważanych czynników.89 Odsetek odmów na poziomie rodziców wynosił średnio mniej niż 10%; na poziomie dzieci mniej niż 6%. Jednak rodzice młodych kobiet konsekwentnie częściej odmawiali zgody niż wszyscy rodzice i rodzice młodych mężczyzn. Wskaźniki odmowy dla tej grupy były nadal niskie (poniżej 13%). Po uwzględnieniu oddzwonień, jeden na każde 1,397 wydzwonionych numerów skutkował przeprowadzeniem wywiadu; średni wskaźnik odpowiedzi wynosił nieco poniżej 69%. Pod koniec każdego wywiadu, respondenci byli pytani, czy byliby skłonni do przeprowadzenia kolejnego wywiadu; 98% z nich udzieliło pozytywnej odpowiedzi. | Czy kiedykolwiek [ubiegał się Pan/ubiegała się Pani] o rentę inwalidzką z tytułu niezdolności do pracy lub o dodatek opiekuńczy? | Czy kiedykolwiek [ubiegał się Pan/ubiegała się Pani] o rentę inwalidzką z tytułu niezdolności do pracy lub o dodatek opiekuńczy z tytułu niezdolności do pracy? Było to bardziej prawdopodobne w przypadku młodzieży gimnazjalnej (12%) niż licealnej (8%). Nie zaobserwowano systematycznej tendencyjności w raportach dotyczących używania tytoniu pomiędzy respondentami, którzy zgłosili, że ktoś ich podsłuchiwał lub był obecny, a tymi, którzy tego nie zrobili.9 Może to częściowo wynikać z umieszczenia pytań dotyczących używania tytoniu na końcu wywiadu. Ankieterzy zgłosili, że mniej niż 4% respondentów miało trudności ze zrozumieniem zadawanych pytań.

ŚRODKI

W poniższej analizie skupiamy się na CA związanym z kampanią i CA związanym z reklamą. Uwaga poświęcona jest reklamom telewizyjnym (TV), ponieważ szczegółowe analizy wykazały, że respondenci, którzy byli świadomi i CA reklam telewizyjnych, byli również respondentami świadomymi reklam dostarczanych przez inne formy mediów. To znaczy, niewielu respondentów, którzy zgłosili, że są świadomi reklam lub którzy potwierdzili swoją świadomość reklam dostarczanych przez inne media, nie twierdziło również, że są świadomi reklam telewizyjnych i nie potwierdziło tego.

Świadomość, CA i receptywność reklam antytytoniowych były mierzone na podstawie jednej serii pozycji pytających o każdą konkretną reklamę w każdym badaniu. Pierwsza pozycja w tej sekwencji zapewniała odniesienie do pojedynczej „wskazówki” w kontekście ogólnie sformułowanej pozycji: „Czy widziałeś ostatnio reklamę antynikotynową, która pokazywała 'cue’?”. Respondenci, którzy udzielili pozytywnej odpowiedzi na to pytanie, zostali zakodowani jako świadomi. Aby zmierzyć CA, respondentom zadano dwa dodatkowe pytania. Pierwsza z nich wymagała od respondenta opisania szczegółów reklamy bez dodatkowych wskazówek. Druga wymagała od respondenta opisania głównego przesłania lub tematu reklamy bez żadnych wskazówek. Odpowiedzi, które powtarzały wskazówkę lub były ogólne (na przykład: „nie pal”), nie były kodowane jako potwierdzone. Respondenci, którzy byli świadomi istnienia reklamy, zostali zapytani o trzy kwestie, aby zmierzyć ich reakcje na nią: czy reklama im się podobała, czy rozmawiali o niej z przyjaciółmi i czy reklama skłoniła ich do zastanowienia się nad tym, czy powinni palić, czy nie? Były to popularne w całym kraju reklamy publiczne (PSA) opracowane w Arizonie, których tematem była deglomeracja i które były dostępne za pośrednictwem centrum zasobów medialnych CDC. Kolejne badanie FAME zawierało trzy reklamy telewizyjne. Miały one tematykę manipulacji w przemyśle i zostały wyprodukowane przez wykonawcę medialnego z Florydy. Dla rocznego badania krajowego pracowaliśmy z CDC i jego wykonawcą dystrybucji, aby ustalić, jakie były trzy najczęściej zamawiane reklamy telewizyjne w ciągu roku. Reklamy te zostały użyte w rocznym sondażu krajowym. W poniższej analizie respondenci byli liczeni jako świadomi i CA, jeśli twierdzili, że świadomość (lub CA) jakiejkolwiek reklamy w locie.

Raportujemy również dane dla czterech miar kampanii, w przeciwieństwie do reklamy specyficznej, CA; dwa zostały wyprowadzone z pozycji bez pomocy. Pierwsza miara została wyprowadzona z dwóch pozycji. Respondenci zostali zapytani, czy wiedzieli o jakiejkolwiek kampanii antytytoniowej lub antynikotynowej prowadzonej na Florydzie. Jeśli odpowiedzieli „tak”, poproszono ich o podanie głównego tematu kampanii dla CA. Drugi element został użyty do pomiaru „świadomości marki” kampanii. W dyskusji jest to określane jako „potwierdzenie logo”. This was measured by asking respondents to indicate what they thought of when they see the word „truth” inside an oval – symbol for the campaign. Respondenci zostali zakwalifikowani jako CA, jeśli powtórzyli jeden z głównych tematów lub tagów kampanii, czyli „nasza marka to prawda, ich marka to kłamstwo”.

Trzecia miara CA kampanii jest złożeniem CA reklamy. Oprócz komponentu telewizyjnego, kampania zawierała ograniczone reklamy radiowe, billboardowe i displayowe, a także artykuły promocyjne, takie jak naklejki, smycze, czapki i koszulki. Pytania podobne do tych użytych do pomiaru CA reklam telewizyjnych zostały użyte do potwierdzenia świadomości każdego z nich. Dla każdej ankiety FAME obliczono łączną miarę CA kampanii medialnej poprzez zakodowanie każdej osoby, która potwierdziła znajomość którejkolwiek z tych rzeczy lub reklamy telewizyjnej jako potwierdzoną. The last measure of campaign CA is the percentage of respondents who confirmed on at least one of the three above measures.

Data are also presented for selected anti-tobacco attitudes/beliefs items. Każda z nich została zadana respondentom w badaniu FAME oraz w badaniach ogólnopolskich. Respondenci byli proszeni o wskazanie, czy zdecydowanie zgadzają się, zgadzają się, nie zgadzają się lub zdecydowanie nie zgadzają się z każdym z nich. W analizie te kategorie zostały zamienione na zgadzam się/nie zgadzam się. Wszystkie pomiary zachowań tytoniowych są oparte na raportach własnych.

HIPOTEZY EWALUACYJNE

Do celów ewaluacji ustalono dwa zestawy hipotez. Pierwsza z nich odnosi się do zasięgu programu medialnego i penetracji grupy docelowej oraz reakcji grupy docelowej na ten program. Pierwsza z tych hipotez została ustalona na podstawie umowy; wykonawca medialny miał otrzymać premię, jeśli CA kampanii osiągnie 85% do końca pierwszego roku. Była to „hipoteza śledząca”. Drugą hipotezą było to, że cel będzie bardziej podatny na zorganizowany, centralny temat kierowany zestaw reklam niż PSA. Hipoteza ta była oparta na teorii komunikacji ogólnie,10-13 i w poprzednich badaniach sugerujących „manipulacji przemysłu” temat miał dużą atrakcyjność dla młodzieży.14-16 Drugi zestaw hipotez został przetestowany z quasi-eksperymentalnej konstrukcji. Hipotezy te postulowały, że efekt kampanii spowoduje większe zmiany na Florydzie niż w całym kraju: świadomość i CA reklam, większa otwartość, większa zmiana postaw/przekonań antytytoniowych i ograniczenie zachowań związanych z paleniem tytoniu.