Badania dla sektora publicznego .
Jerzy Głuszyński, Instytut Badawczy Pro Publicum

Każdy chciał być badaczem społecznym

Studiowanie na kierunkach humanistycznych wiąże się (przynajmniej kiedyś tak było) z naturalną ciekawością świata społecznego. Aby coś o nim wiedzieć, należało znać wyniki badań społecznych. Co ambitniejsi studenci (w czasie niemasowych studiów bywało ich nawet sporo) nie tylko studiowali dostępne wyniki badań, uczyli się metodologii prowadzenia badań, ale chcieli też sami je wykonywać.

Równolegle z nastaniem po 1989 roku w Polsce demokracji i wolnego rynku, pojawiła się - jako naturalna ich konsekwencja - branża badawcza. Nic więc dziwnego, że agencje badawcze pełne były wtedy ambitnych studentów, z których większość chciała "robić" badania społeczne. Ciągle jeszcze podstawowy "zasób kadrowy" branży badawczej (dziś już głównie na pozycjach managerskich) wywodzi się z grupy tamtych "ambitnych studentów".

Zwykle pierwsze rozczarowanie praktykantów, stażystów i nowych pracowników wynikało z "przymusu robienia badań rynkowych", bo celem ich pracy w komercyjnych agencjach badawczych było uczestniczenie przy jak największej liczbie badań społecznych.

Niemal wszystkie firmy badawcze - w większym lub mniejszym zakresie - wykonywały wówczas badania społeczne. Jak nie było na nie zamówień zewnętrznych, robiono je na tzw. "własne zamówienie" - głównie po to, aby nazwa firmy mogła zaistnieć w mediach. Był to wtedy typowy, niemal powszechny sposób reklamy firm badawczych - pokazywania się poprzez swoje produkty.

Nigdy jednak badania społeczne nie uzyskały znaczącego udziału w rynku badawczym. Dla większości firm była to działalność raczej uzupełniająca aniżeli podstawowa. Rynek badań społecznych był płytki, chimeryczny (trudny do prognozowania), wymagający (znacząco większe nakłady pracy i środków na obsługę tej grupy klientów) i mniej rentowny niż segment rynkowy. Tworzyły go wtedy głównie media (zainteresowane specyficznym produktem badawczym), administracja publiczna, instytucje akademickie, organizacje pozarządowe, ale i firmy komercyjne, zainteresowane niekiedy także "kontekstem społecznym" dla swoich produktów czy usług.

Od początku ten rodzaj badań (gdzie z zasady wyniki były upubliczniane w odróżnieniu od badań rynkowych z zasady poufnych) stał się wizytówką szybko rozwijającej się branży badawczej. Firmy badawcze aktywnie współuczestniczyły we wszystkich ważnych procesach transformacji ustrojowej i gospodarczej, wspomagając i jednocześnie ilustrując przebieg tych procesów. To przede wszystkim badania społeczne ukształtowały publiczny wizerunek branży badawczej i poszczególnych firm. Siła tego medialnego przekazu była tak wielka, że przynajmniej przez jakiś czas w odbiorze społecznym badania opinii stały się wręcz synonimem socjologii, a pracownikom instytutów badawczych (niezależnie od rodzaju posiadanego wykształcenia) z definicji przypisywano status socjologów.

Odwieczny problem - sondaże polityczne

Osobnym zagadnieniem były i są nadal badania sondażowe, przede wszystkim sondaże wyborcze. Te od zawsze wywoływały ekstremalne reakcje. Listę najzagorzalszych krytyków sondaży politycznych stanowią oczywiście ich najwierniejsi czytelnicy - politycy, dla których stanowią one miarę ich zawodowego powodzenia. Nie mogą więc, niejako z definicji, lubić i poważać sondaży politycy przegrani czy nawet ci okresowo tracący społeczne poparcie. Wykonawcy sondaży mogą więc liczyć na akceptację tylko najwyżej notowanych polityków (a tych z natury rzeczy nie może być wielu), czy tych, którym w danym czasie notowania rosną.

Sondaże wyborcze to więc gra pokerowa, gdzie każda kolejna elekcja to komenda "sprawdzam". Sondażyści mają wyniki preferencji "sprzed" (niekiedy nawet znacznie sprzed), a rozliczani są z wyniku "po" (wyniku wyborów zależnych od bardzo wielu czynników, zupełnie niezależnych od sondażystów). Wyborcze egzaminy dla branży badawczej (w zasadzie całej, niezależnie od tego kto wykonywał sondaże i z jakim skutkiem) wypadały różnie. Gdyby ocen tych dokonywali jedynie niezależni specjaliści, to ocena łączna za ponad dwie dekady informowania obywateli o ich preferencjach politycznych i wyborczych, musiałaby być całkiem niezła. Wystarczy spróbować sobie wyobrazić, jak wyglądałaby nasza demokracja, gdybyśmy takimi niezależnymi miarami preferencji politycznych nie dysponowali. Opinia publiczna ma jednak na temat sondaży znacznie gorsze zdanie. Odzwierciedla ona bowiem nie rzeczywiste "fakty sondażowe", ale "fakty społeczne" - budowane w reakcji na publikowane i komentowane wyniki sondaży. Po wyjściu z agencji sondaż żyje już swoim - zupełnie niezależnym od agencji - życiem, gdzie zwykle (i coraz bardziej) obowiązują już tylko reguły "wolnej amerykanki". Może się jedynie zastanawiać, dlaczego wśród najzagorzalszych krytyków firm sondażowych nieodmiennie występują właśnie specjaliści od tej mało szlachetnej dyscypliny.

Przez wiele lat funkcjonował dość dobrze rozwinięty (zarówno od strony popytowej jak i podażowej) rynek sondaży politycznych. Zawsze jednak towarzyszyła mu jakaś "sondażowa kontrkultura" - obecność efemeryd badawczych (głoszących niezależność nawet od najbardziej podstawowych reguł rzemiosła badawczego). Od jakiegoś już czasu (od kiedy firmy badawcze zostały sprowadzone do roli "sondażowni") rynek sondaży politycznych uległ istotnej dekompozycji. Najważniejszym odbiorcom sondaży politycznych: politykom (którzy są przedmiotem ocen) i dziennikarzom (którzy powinni prezentować obywatelom ich opinie o działalności polityków), udało się dość skutecznie "podciąć gałąź, na jakiej siedzą". I nawet tego nie zauważyli.

A mogło być tak dobrze

Niezbyt duży rynek badań społecznych, wraz z wejściem Polski do UE, wyraźnie się powiększył. Na rynku badawczym - dawniej skromnie reprezentowany - wyrósł znaczący podmiot zamawiający badania - administracja publiczna.

Można więc było oczekiwać, że po kilkunastu latach funkcjonowania branża badawcza (kiedy już była w pełni ukształtowana), uzyska poważny impuls rozwojowy. Obok badań robionych pod dyktando zamawiających (co w badaniach rynkowych jest regułą), pojawi się także szansa na wykonywanie badań "najwyższej próby", gdzie można będzie wykorzystać cały posiadany potencjał wiedzy i doświadczenia. Bo gdzie jak nie przy realizacji tego rodzaju badań (odpowiadających na społeczne zapotrzebowanie, publicznie prezentowanych i komentowanych) powinny rozkwitać badawcze talenty i odbywać się szlachetna rywalizacja między autorami badań i firmami badawczymi.

Powstały więc warunki, aby młodzieńcze marzenia "ojców założycieli" polskiej branży badawczej mogły się po czasie zrealizować - mogli włączyć się w opisywanie, a przez to i doskonalenie funkcjonowania polskiego społeczeństwa. Mogli spełnić oczekiwania kolejnego pokolenia badaczy, chcących aktywnie uczestniczyć w opisywaniu i objaśniania świata, w jakim żyją. Więcej, mogli zrealizować nie tylko swoje, ale i marzenia swoich uniwersyteckich mistrzów, którym nie było dane (ze względów cenzuralnych i finansowych) prowadzić badań empirycznych na tak szeroką skalę.

Bo przecież, na (niemal nagłe) pojawienie się tak dużych kwot na realizację badań społecznych właściwie zareagować mogły przede wszystkim profesjonalne firmy badawcze, dysponujące kadrą, doświadczeniem i środkami techniczno -organizacyjnymi (w tym własnymi sieciami ankieterskimi). Funkcji tych nie mogły wypełnić (i jak wiemy, poza wyjątkami potwierdzającymi regułę, nie wypełniły) instytucje akademickie, nie przygotowane zarówno wówczas jak i obecnie do realizacji tego rodzaju zadań.

Wprawdzie realizacja tych nowych zadań nie była oczywista w całości także dla branży badawczej, w tym także dla firm o największym potencjale (zdolnych do wykonywania w krótkim czasie dużej ilości złożonych metodologicznie badań). Firmy te wypełniały warunki formalne, techniczne, organizacyjne, realizacyjne (w tym o tak istotnym znaczeniu jak - działający w oparciu o branżowy system samoregulacji- certyfikowany Program Kontroli Jakości Pracy Ankieterów), ale niekoniecznie dysponowały wymaganą liczbą specjalistów do prowadzenia wymagających dużej wiedzy badań społecznych. Zorganizowana część środowiska badawczego (firmy zrzeszone w OFBOR, indywidualni badacze zaś w PTBRiO, ESOMAR i w innych organizacjach zawodowych) skupiała głównie specjalistów od badań rynkowych. Realizowanie badań społecznych wymagało zaś specjalistów o innych kwalifikacjach zawodowych i wyższej kulturze badawczej, dysponujących znajomością konkretnych metodologii badań (np. badań ewaluacyjnych).

Jednak to nie bariera braku dostatecznej ilości kwalifikowanych kadr przesądziła o mocno umiarkowanym wejściu firm badawczych w realizację badań dla sektora publicznego. Firmy badawcze z pewnością poradziłyby sobie z szybkim zrekrutowaniem brakujących specjalistów czy przebranżowieniem części "badaczy rynkowych" na "badaczy społecznych" (dla wielu z nich przecież mogła to być bardzo pożądana zmiana). Możliwa też była (w większym stopniu niż to ostatecznie miało miejsce) kooperacja akademickich specjalistów z zakresu badań społecznych (dysponujących koniecznymi kwalifikacjami) z firmami badawczymi (dysponującymi środkami niezbędnymi do ich realizacji).

Pojawienie się na rynku dużych pieniędzy na badania społeczne (w skali wcześniej wręcz niewyobrażalnej) nie spowodowało jednak znaczącego przyrostu wiedzy społecznej czy zwiększenia stopnia samoświadomości Polaków. Branża badawcza zaabsorbowała tylko niewielką część z tej wielkiej fali badań zlecanych przez sektor publiczny. Nie odnotowała więc ani znaczących efektów poznawczych (firmy aktywne w tym obszarze badań nie różnią się zasadniczo od pozostałych) czy społecznych (nie utrwaliła wizerunku firm badawczych jako instytucji zaufania publicznego). Niektóre firmy (raczej nieliczne) realizując badania dla sektora publicznego odnotowały znaczący wzrost obrotów. Nie wpłynęło to jednak na generalną poprawę jakości świadczonych przez nie usług badawczych. Badania te bowiem zwykle realizowane są przez odrębne (wyspecjalizowane) zespoły badawcze, których kultura badawcza nie przekłada się na inne działy badawcze firmy. A i sposób realizacji wielu badań społecznych, z różnych względów, niekoniecznie nadaje się do pełnienia wzorotwórczych funkcji.

W miejsce nie zajęte przez firmy badawcze (mimo że były do tego szczególnie predystynowane) weszły inne, bardzo różne podmioty. Zorganizowana branża badawcza (firmy i indywidualni badacze uczestniczący bezpośrednio lub pośrednio w działalności OFBOR czy PTBRiO) stanowi niewielką część podmiotów aktywnych na rynku badawczym dla sektora publicznego. Można więc powiedzieć, że sektor publiczny w zakresie badań obsługiwany jest w znacznym stopniu przez firmy niebadawcze, zaś wiele firm stricte badawczych nie występuje na rynku zamówień publicznych.

Można jedynie zapytać, czy tak ukształtowany rynek wykonawców badań społecznych dobrze odpowiada na istniejące potrzeby społeczne?

Skoro mogło być dobrze, dlaczego jest źle

Gdyby to był tylko problem branży badawczej (mogła zyskać takiego "kopa rozwojowego", a nie potrafiła z niego skorzystać), byłoby to "pół biedy". Problem jest jednak dużo bardziej złożony.

Ten relatywnie duży rynek badań społecznych i ewaluacyjnych "wybuchł" w Polsce nie w odpowiedzi na rzeczywiście istniejące potrzeby poznawcze. Nie jako konsekwencja przyjęcia planu modernizacji społecznej Polski, dla którego badania te miałyby stanowić konieczną podbudowę poznawczą. Ten rynek zaistniał zasadniczo jako konsekwencja wejścia Polski do UE. Realizacja badań (szczególnie badań ewaluacyjnych) stała się jednym z "zadań zadanych", które administracja publiczna - zgodnie z wymogami UE- musi wypełnić.

Przyjmowane plany wydatkowania środków na badania społeczne i ewaluacyjne generalnie są realizowane. Nasz kraj należy przecież do grona najbardziej sprawnych w wydatkowaniu unijnych pieniędzy i robimy to na ogół zgodnie z minimalnymi wymaganymi procedurami (nie zachodzi wiec niebezpieczeństwo zwrotów pieniędzy za niewłaściwie przeprowadzone projekty badawcze). Podobnie jak w przypadku budowy dróg (byliśmy największym w UE placem ich budowy), także w zakresie realizowanych ewaluacji - wykazujemy największą w UE liczbę ich wykonań. Czy dysponując tak wielką bazą wiedzy ewaluacyjnej możemy mieć pewność, że w nowym okresie finansowania osiągniemy znacząco lepsze efekty z wydatkowania środków unijnych? Sceptycyzm w tym zakresie nieobcy jest nawet zamawiającym ewaluacje.

Można więc powiedzieć, że na pewno wydatkujemy środki na badania. Nie koniecznie jednak właściwie generujemy (i kumulujemy) z badań wiedzę potrzebną do doskonalenia funkcjonowania państwa. Jak widać, dla sprawnego wydatkowania środków wystarczy administracja publiczna - taka, jaka jest. Dla właściwego prowadzenia badań społecznych i efektywnego wykorzystania ich wyników potrzebna byłaby jednak istotna zmiana sposobu jej funkcjonowania. W miejsce tradycyjnie pojmowanej administracji powinny funkcjonować nowoczesne instytucje publiczne zorientowane na zadania i wyniki, realizujące polityki publiczne w oparciu o obiektywne informacje i dowody (koncepcja evidencebased policy).

Doświadczenia z badań dla sektora publicznego wskazują, że ciągle jeszcze mamy do czynienia z administracją starego typu, dla której "zgodność postępowania z ustawą" jest często nie tylko najważniejszym, ale i wręcz jedynym wyznacznikiem działania. W ten sposób realizowane badania społeczne, to "odfajkowywanie" kolejnych przydzielonych określonym instytucjom i urzędnikom zadań.

Grzechy główne badawczego rynku zamówień publicznych

Badania społeczne przeprowadzane są niekoniecznie tam gdzie trzeba, kiedy trzeba i w takim kształcie, w jakim byłyby naprawdę potrzebne. Inicjowane są często w wyniku "instytucjonalnych konieczności" (dla rozliczenia projektu, czy programu wymagana jest ewaluacja), rutyny, dla potwierdzenia przyjętych wcześniej założeń, jako reakcja na zalecenia kontrolne, dla wykazania się wobec przełożonych, w celu wyróżnienia się od innych, aby wydać zaoszczędzone pieniądze, itd.

Zamawiający badania społeczne (jednostki administracji publicznej) nie mają "właściwej głowy" do prowadzenia wartościowych poznawczo badań społecznych. Uhierarchizowane struktury administracyjne, praktykujące staro-administracyjne (urzędnicze) standardy funkcjonowania, same z siebie nie są w stanie właściwie określić najważniejszych (z punktu widzenia interesu publicznego) celów realizacji badań społecznych i ewaluacyjnych. W konsekwencji zamiast rzeczywistych ewaluacji prowadzonych przez administrację polityk społecznych, realizowane są wielopiętrowe wycinkowe autoewaluacje poszczególnych działań, z reguły potwierdzające zasadność decyzji organu zlecającego ewaluacje. Instytucje zamawiające ewaluacje nie są gotowe na zmianę swojego funkcjonowania w oparciu o wnioski z przeprowadzonej ewaluacji. W takich przypadkach ewaluacje pełnią jedynie funkcje fasadowe.

Zamawiający badania społeczne (jednostki administracji publicznej) nie mają przygotowania merytorycznego (badania społeczne nie stanowią specjalizacji tych instytucji i ich pracowników) do właściwego prowadzenia badań społecznych. Rzeczywista wiedza z zakresu realizacji badań społecznych znajduje się po stronie ekspertów i wykonawców badań, od których administracja kupuje usługi badawcze. Kupujący nie ma więc dostatecznej wiedzy o przedmiocie zakupu (gdyby ją miał, nie dokonywałby zakupu!). Zanim więc kupi to, czego sam nie wie, musi określić szczegółowe warunki zakupu (osławione SIWZ). Czy nie mając ku temu wymaganych warunków merytorycznych, jest w stanie dobrze wykonać to zadanie?

Obowiązek zamawiania usług badawczych przez administracje publiczną w oparciu o PZP (tej samej, jaka reguluje zasady budowy autostrad, zakup tramwajów, zakupu materiałów biurowych, organizacji konferencji, usług remontowych, odbioru śmieci, itd.), w połączeniu z urzędniczym stosunkiem do prawa, reagowaniem na oceny zwierzchników i instytucji kontrolnych, itd., skutkuje wyjątkowo nieefektywnym sposobem planowania badań, wyłaniania wykonawców, realizowania badań, formułowania wniosków i rekomendacji i wdrażania ich do praktyki. Realizowane w tej procedurze projekty badawcze przybierają często zasadniczo inną postać niż ta, jaka wynikałaby ze zgromadzonej wiedzy na temat właściwej (zgodnej z akademickimi standardami) realizacji badań społecznych. Mnożą się wiec na potęgę "urzędnicze" standardy metodologii badań społecznych (często o mocno zastanawiającej oryginalności), mogące wypełniać jedynie "urzędnicze miary" efektywności prowadzonych badań społecznych.

Obniżają się standardy realizacji badań społecznych. Z braku potrzebnej wiedzy, dla wygody i z obawy przed uwagami niekompetentnych kontrolerów (ich wiedza o badaniach jest zwykle jeszcze mniejsza niż zamawiających) większość postępowań (84%) odbywa się w trybie przetargu nieograniczonego, gdzie w większości przypadków (92%) o wyborze wykonawcy zdecydowało kryterium ceny. Wykonawcy - mimo powszechnych narzekań na zbyt niskie wyceny badań społecznych - realnie zużywają na ich realizacje znacznie mniej środków przeznaczonych przez zamawiających na wykonanie badań. Bywają przetargi (i bywają tacy wykonawcy), że wystarcza nawet 20, czy 25 % (mediana byłaby pewnie w przedziale 40 - 60 %) budżetu aby - zgodnie z zawartą w umowie deklaracją - wykonać pełny zakres usługi i to jeszcze z należytą starannością. Można by to określić jako szczególny przejaw "zbiorowego masochizmu", o ile nie "zbiorowego samobójstwa" branży badawczej. Administracja publiczna (w ramach samousprawiedliwień, motywując to interesem publicznym) dokonuje hurtowych zakupów badań niskiej jakości (byle taniej!). Musiało to doprowadzić do degradacji badawczego rynku zamówień publicznych, gdzie już dawno "gorszy pieniądz wypiera lepszy". Jego krzyczącym potwierdzeniem jest np. uruchamianie badań kontrolujących, czy wyłonieni w tak złożonych procedurach (renomowani, certyfikowani, itd.) wykonawcy rzeczywiście wykonują badania, które w umowie zadeklarowali wykonać.

Czyż może być większa hańba dla branży badawczej jak zinstytucjonalizowana (za publiczne pieniądze) wątpliwość, czy firmy badawcze rzeczywiście realizują badania! A pojawienie się takiej metody kontroli rzetelności badań, z pewnością nie jest bez przyczyny. Pionierzy "tanich badań" i zwolennicy "rezygnacji z etyki" w profesji badawczej zbierają więc swoje żniwo. Niestety nie tylko oni, a nawet nie przede wszystkim oni. Jak widać, jesteśmy już na poziomie firm eventowych, którym zamawiający w SIWZ'ach określają gramaturę papieru toaletowego, jaki ma być dostarczony na konferencje.

W konsekwencji nikt nie jest zadowolony. Badania społeczne i ewaluacyjne (mimo wydatkowania na nie tak znaczących środków) na ogół nie satysfakcjonują ani zamawiających (słyszy się przecież jeden wielki lament, jaka to udręka robić badania z tak złymi wykonawcami), ani wykonawców (każdy, kto ma jakieś doświadczenie w tym zakresie, wie o czym mowa), ani - co bezsprzecznie najważniejsze - nie realizują w wymaganym zakresie interesu publicznego.

Jak można z sensem realizować badania dla sektora publicznego?

Oto jest (iście Szekspirowskie) pytanie?

Badania dla sektora publicznego to także nasze (jako obywateli) badania, za nasze (unijne to też nasze) pieniądze. Wiedząc więcej o badaniach mamy większe obowiązki reagowania na złe praktyki funkcjonowania tego segmentu rynku.

Jeśli świętą zasadą jest, aby badania robić dobrze, albo w ogóle ich nie robić, to w przypadku badań społecznych (których sami jesteśmy beneficjentami) zasada ta jest podwójnie uzasadniona.

Branża badawcza jest w stanie określić grupę warunków (w tym cenowych) koniecznych dla realizacji właściwych badań - takich, których realizacja ma merytoryczny i społeczny sens.

Należy wiec wydzielić grupę realizowanych badań, które nie spełniając tych elementarnych warunków, nie powinny uchodzić na wiarygodny zasób wiedzy społecznej. Jej "używanie" (w tym przez administracje publiczną) powinno odbywać się na ryzyko tych, którzy z takiego zasobu "wiedzy wątpliwej" chcą korzystać.

Przede wszystkim jednak nie należy wykonywać tego rodzaju wątpliwych badań. Najwyższy czas przestać "równać do najtańszych" - bo musi to oznaczać "równanie do najgorszych".

Nie ma też powodu nie być asertywnym wobec uczestników rynku, którzy go ewidentnie psują. Badania społeczne to zbyt ważna sprawa, aby pozostawić ją w gestii nieprzygotowanych do udźwignięcia tego trudnego zadania zamawiających, badawczych hochsztaplerów czy "niewidzialnej ręki rynku".