Ocena nauki i uczonych w systemie komunikacji naukowej

dr hab. Marek Nahotko

V Seminarium CPI Badania naukowe,

Warszawa 21.11.2012 1

Ocena nauki i uczonych w

systemie komunikacji naukowej

Trzy tendencje rozwojowe


Warszawa 21.11.2012 2

Na rozwój nauki w kontekście komunikacji

naukowej wpływają w wielkim stopniu trzy

czynniki:

Wzrost liczby uczonych (a więc także autorów)

Wzrost liczby publikacji

Wzrost ilości i dostępności danych oraz procesów

ich przetwarzania

Trzy tendencje


Warszawa 21.11.2012 3

Korelacja zjawisk


Warszawa 21.11.2012 4

Ware 2006

Wzrost liczby uczonych


Warszawa 21.11.2012 5

Na „zwykły” rozwój nauki nakłada się wzrost publikacji związany z publikowaniem w Sieci:

Redukcja barier publikowania i dystrybucji.

Ocena po opublikowaniu, a nie przed.

Zacieranie różnic między uczonym a amatorem:

Dostępność narzędzi do analizy danych, jak Many Eyes i Google Maps i pakietów statystycznych, jak STATA;

Dostępność platform współpracy, jak Walkaround, Google Docs.

Liczba członków matematycznych towarzystw naukowych

1930 1960 1990 2010

USA 1.926 6.725 25.623 29.000

Polska 216 555 - 1.900

Wzrost liczby publikujących


Warszawa 21.11.2012 6

Wg Pelli, Bigelow 2009

Wzrost liczby publikacji


Warszawa 21.11.2012 7

Fragmentacja wyników badań:

Dotąd: „Work. Finish. Publish” (Faraday) lub

„Publish or Perish” (Harnad) – recenzowany artykuł

„złotym standardem” publikowania;

Teraz: wiele mniejszych, mniej formalnych form

publikowania (blogi, twitty, raporty).

„Płynna” nauka: syndrom „beta wersji” – wyniki

rozpowszechniane jako drafty, dla zebrania uwag

i dalszej modyfikacji; rozwój open science i jej

nowych narzędzi.

Wzrost ilości danych i przetwarzania


Warszawa 21.11.2012 8

Łatwiejszy dostęp do danych (np. rządowych).

Znaczny wzrost podaży danych, w tym nieoficjalnych.

Olbrzymie zasoby danych oficjalnych i nieoficjalnych

do potencjalnego wykorzystania w badaniach

naukowych.

Problemy: dane o krótkotrwałej wartości, bardzo

szczegółowe, dane na poziomie mikro: osobiste,

instytucjonalne.

Nowe metody badań: data mining, odszukiwanie

korelacji między danymi w heterogenicznych bazach

danych, zamiast tradycyjnych eksperymentów.

Konieczność selekcji


Warszawa 21.11.2012 9

Wielkie ilości danych i publikacji zmuszają do poszukiwań nowych sposobów dostępu do nich.

Potrzeba wiarygodnych serwisów filtrujących treści.

Filtracja oparta na reputacji: Reputacja jako czynnik ściągający uwagę,

zapewniający uznanie i źródła finansowania;

Niezbędne łączenie czynników ilościowych i jakościowych;

Powstają zewnętrzne systemy dynamicznej ewaluacji reputacji uczonych, m.in. na podstawie danych z Sieci (ImpactStory, ScienceCard).

Autorytety kognitywne


Warszawa 21.11.2012 10

Autorytety kognitywne to ludzie (ale także teksty i instrumenty), których osądom ufamy w określonej sytuacji lub sprawie.

Bycie autorytetem kognitywnym zależy od wielu czynników, w tym od rodzaju odbiorców (sieci praktyk).

Sposoby określania poziomu autorytetu tekstu: Przejęcie autorytetu od osób odpowiedzialnych za tekst

(autorzy, redaktorzy, recenzenci); Historia tekstu: np. publikacja przez prestiżowe

wydawnictwo w prestiżowym czasopiśmie, afiliowanym w prestiżowym stowarzyszeniu;

Przydatność dla użytkownika: przedstawianie ważnych idei w dobrze sformułowany sposób.

System reputacji


Warszawa 21.11.2012 11

Tworzenie autorytetów kognitywnych:

Reputacja uczonego

Reputacja instytucji naukowej, zatrudniającej

uczonych

Reputacja w działalności wydawniczej (czasopisma,

redakcji, wydawcy)

Reputacja uczonego


Warszawa 21.11.2012 12

Pozycja uczonego budowana poprzez wiele

czynników: wskaźników ilościowych,

jakościowych: reputacji, „widzialności” i „wpływu”

w otoczeniu.

Reputacja uzyskiwana w środowisku otwartym –

potrzeba uzyskania szerszej publiczności; ryzyko

przedostawania się teorii popularnych, ale mało

naukowych.

Szczególna potrzeba oceny uczestników badań w

otwartych inicjatywach współpracy naukowej.

Reputacja uczonego


Warszawa 21.11.2012 13

Reputacja uczonego


Warszawa 21.11.2012 14

Reputacja uczonego


Warszawa 21.11.2012 15

Reputacja uczonego (ScienceCard)


Warszawa 21.11.2012 16

System oceny reputacji IBM


Warszawa 21.11.2012 17

Reputacja instytucji


Warszawa 21.11.2012 18

Czynniki

reputacji

czasopisma


Warszawa 21.11.2012 19

Björk, Holmström, 2006

Przydatność oceny publikacji


Warszawa 21.11.2012 20

W świecie druku kontrola jakości niezbędna dla wydawców w celu selekcji materiałów do druku w sytuacji nadmiaru podaży tekstów w stosunku do możliwości technicznych i ekonomicznych.

Kontrola jakości dla uczonych ma różne znaczenie – np. w trakcie komunikacji nieformalnej między specjalistami podobnego poziomu i specjalizacji jest w ogóle zbędna.

Kontrola przydatna dla urzędników podejmujących decyzje o przyznawaniu funduszy itp. celów.

Ocena tradycyjna


Warszawa 21.11.2012 21

Przed opublikowaniem:

Brak oceny (stosunkowo częste dla mat.

konferencyjnych);

Przegląd dokonywany przez redaktora lub zespół

redakcyjny;

Recenzowanie realizowane w różnych wariantach.

Po opublikowaniu: cytowania.

Sposoby te pozostają „w długim cieniu

Oldenburga”.

Nowe formy oceny


Warszawa 21.11.2012 22

Powstały formy oceny typowe dla środowiska

elektronicznego.

Ocena dokonywana przed opublikowaniem.

Ocena dokonywana po opublikowaniu.

Ocena na każdym etapie badań.

Ocena przed opublikowaniem


Warszawa 21.11.2012 23

Recenzowanie otwarte (komentarze) tekstów

zamieszczanych w Sieci przed oficjalnym

opublikowaniem – możliwość oceny oceniających,

co pozwala uzyskiwać im reputację.

Systemy mieszane, łączące recenzowanie

tradycyjne z komentowaniem; ostateczna wersja

powstaje na podstawie uwag z recenzji,

komentarzy i modyfikacji autora.

Ocena po opublikowaniu


Warszawa 21.11.2012 24

Komentarze i adnotacje po opublikowaniu (PLoS,

Annotea, Faculty of 1000).

Zakładki do stron publikacji naukowych (Zotero,

CiteUlike, Connotea, Mendeley).

Punktowanie przez czytelników (Digg, PLoS).

Ocena stopnia wykorzystania publikacji: metody

webometryczne:

Liczba dostępów (otwarcia: ilość, czas,

skopiowania, wydruku);

Cytowania (bibliografie, hiperlinki).

A.nnotate


Warszawa 21.11.2012 25

Komentarze – scholarly skywriting


Warszawa 21.11.2012 26

Kom

enta

rze


Warszawa 21.11.2012 27

Ko

me

nta

rze


Warszawa 21.11.2012 28

Wady komentarzy


Warszawa 21.11.2012 29

Mała popularność tej metody oceny:

Brak gotowości do publicznej krytyki ze strony

uczonych;

Komentarze nie uwzględniane w dorobku.

Zasada 90-9-1:

90% zainteresowanych tylko obserwuje,

9% bierze skromny udział,

tylko 1% bierze aktywny udział.

Komentarze – inaczej? – reddit.com


Warszawa 21.11.2012 30

F1000: rekomendacje i punktowanie


Warszawa 21.11.2012 31

Ocena: recenzowanie


Warszawa 21.11.2012 32

Mia

ry o

ceny a

rtykułu


Warszawa 21.11.2012 33

Mia

ry o

ceny c

d.


Warszawa 21.11.2012 34

Application Programming Interfaces

(API)


Warszawa 21.11.2012 35

Sta

tysty

ki użytk

ow

ania

art

ykułu


Warszawa 21.11.2012 36

Sta

tysty

ki użytk

ow

ania

ina

cze

j


Warszawa 21.11.2012 37

Ocena na każdym etapie badań


Warszawa 21.11.2012 38

Wnioski


Warszawa 21.11.2012 39

Jakość publikacji naukowych nie zależy od medium, w jakim są publikowane.

Zasadnicze znaczenie ma dostępność danych w środowisku otwartym.

Potrzeba meta-serwisu dla nauki, integrującego wszystkie miary ocen.

Nowe formy oceny jakości powodują zmianę od preselekcji do publikacji ku opiniom środowiska po opublikowaniu.

Wzrost jawności oceny.

Czas jednym z najważniejszych czynników wpływających na sposób prowadzenia kontroli.


Warszawa 21.11.2012 40

Dziękuję za uwagę!

[email protected]

Ocena nauki i uczonych w systemie komunikacji naukowej

Documents