Odkrywanie niewidzialnych ...

Odkrywanie niewidzialnych zasobów sieci- ElectroBoogie, Socjoekonomika, III rok

[ Pobierz całość w formacie PDF ]
II seminarium z cyklu INFOBROKER:
Wyszukiwanie i przetwarzanie cyfrowych informacji,
Centrum
Promocji Informatyki, Warszawa 17 kwietnia 2007 r.
Lidia Derfert-Wolf
Biblioteka Główna Uniwersytetu Technologiczno-Przyrodniczego w Bydgoszczy
e-mail: lidka@utp.edu.pl
Odkrywanie niewidzialnych zasobów sieci
I. Niewidzialne zasoby Web
Fragment sieci Internet indeksowany przez standardowe wyszukiwarki (np. Google, Netsprint) określa
się jako sieć widoczną / płytką / indeksowaną (ang.
surface web, visible web, indexable web
). Są to
zasoby „rozpoznawalne” przez roboty wyszukiwarek (najczęściej statyczne HTML), do których
odnośniki znajdują się na innych witrynach albo zostały zgłoszone do baz wyszukiwarek przez
użytkowników. Pozostałe zasoby sieci - trudno dostępne dla standardowych wyszukiwarek –
nazywane są
ukryty Web
/ niewidoczny web / głęboki web (ang.
hidden web, deep web, invisible
web
). Terminu
invisible Web
użył po raz pierwszy w 1994 r. Jill Ellsworth dla określenia informacji
„niewidzialnych” dla konwencjonalnych wyszukiwarek. Najczęściej cytowane definicje ukrytej sieci to:
Invisible Web
wg C. Shermana i G. Price’a (2001) -– dostępne w sieci i często bardzo
wartościowe strony tekstowe, pliki czy inne informacje, których z przyczyn technicznych bądź
innych ograniczeń nie indeksują ogólne wyszukiwarki;
Deep Web
wg M. K. Bergmana (2001) –– strony www tworzone dynamicznie jako wyniki
specjalistycznych wyszukiwań w bazach danych.
Badacze sieci ukrytej określili
typy zasobów
tego obszaru Internetu, które obecnie coraz częściej
zasilają indeksy wyszukiwarek i tym samym stają się siecią widoczną:
zawarto
ść
publicznie dost
ę
pnych baz danych
Większość zasobów sieci ukrytej stanowią bazy danych (głównie relacyjne), których zawartości nie
jest w stanie spenetrować robot konwencjonalnej wyszukiwarki. Znajdzie on jedynie stronę główną
serwisu, gdzie następnym krokiem jest zadanie pytania bazie danych, czego wyszukiwarka już nie
potrafi. Tak więc ogromne zasoby (miliardy rekordów, pełnych tekstów publikacji) pozostają „w
ukryciu”, choć są dostępne w sieci i to często jako strony HTML, ale wygenerowane po zadaniu
pytania bezpośrednio bazie danych. W tej grupie zasobów ukrytej sieci mieści się również
zdecydowana większość katalogów i innych baz danych tworzonych przez biblioteki, np. bibliografii
publikacji pracowników
1
W tej grupie są również niektóre archiwa gazet i czasopism, słowniki, książki
telefoniczne, itp. Ale oczywiście nie jest to regułą. Wszystko zależy od technologii, w której tworzona
jest baza danych i jak współpracuje z robotem konkretnej wyszukiwarki.
strony i pliki nietekstowe, w innych formatach ni
ż
HTML
Raport Bergmana i praca C. Shermana i G. Price’a powstały w czasie, gdy roboty wyszukiwarek nie
radziły sobie z indeksowaniem stron i plików zapisanych w formatach innych niż HTML. Do zasobów
ukrytych zaliczano więc wszystkie inne materiały, np.
dokumenty PDF, Postscript, PHP, doc, xls, ppt, rtf
witryny czy elementy prezentacji stworzone w technologii Flash czy JavaScript
pliki multimedialne, nagrania dźwiękowe, obrazy, pliki video
struktury substancji chemicznych
programy
pliki skompresowane (np. *zip, *rar)
1
Zasoby baz publikacji pracowników tworzonych przez biblioteki np. w Expertusie, ALEPH nie są indeksowane
przez Google
 Obecnie najlepsze wyszukiwarki bez trudu znajdują strony zapisane w PDF, Postscript, doc, xls, ppt,
rtf, o ile spełniają one inne kryteria robotów. Problemem nadal pozostają witryny stworzone w całości
lub częściowo w technologii Flash
które dla większości robotów są nieczytelne, a więc treści na nich
zawarte – często wartościowe – pozostają częściowo „w ukryciu”. Roboty nie radzą sobie też plikami
graficznymi, dźwiękowymi, video. Dostępne są wprawdzie opcje przeszukiwania grafiki, audio czy
video, ale np. robot Google nie rozpoznaje tekstu zawartego w grafice – wyszuka obrazek tylko wtedy,
gdy nazwa pliku lub tekst w jego pobliżu w kodzie źródłowym odpowiada naszemu zapytaniu.
strony, do których nie prowadz
ą
odsyłacze z innych witryn
Zgodnie z jedną z zasad działania robotów wyszukiwarek – indeksowania stron, do których prowadzi
przynajmniej jeden link z innej strony - do indeksów wyszukiwarek nie zostaną włączone strony, do
których brak odsyłaczy z innych stron.
strony wył
ą
czone z procesu indeksacji przez twórców
Niektóre serwisy (w tym komercyjne bazy danych) wymagają płatnej rejestracji bądź są dostępne dla
subskrybentów po dokonaniu autoryzacji, więc ze względów oczywistych takie zasoby muszą być
wyłączone z procesu indeksacji przez wyszukiwarki. Roboty nie są również w stanie, z powodów
technicznych, zalogować się do serwisów wymagających bezpłatnej rejestracji. Te dwa rodzaje
zasobów tworzą tzw. sieć zastrzeżoną, której pokaźną częścią są cenne naukowe bazy danych, np.
Inspec, EBSCO. Druga grupa stron wyłączonych z indeksacji to te, których twórcy zabronili robotom
indeksowania treści dokumentów i zamieścili pliki robots.txt w kodzie źródłowym strony.
strony i pliki tworzone dynamicznie lub w czasie rzeczywistym
Strony generowane dynamicznie, w ramach zazwyczaj dużych serwisów internetowych tworzonych
przy pomocy np. technologii ASP czy PHP, powstają po zainicjowaniu pewnej „akcji” przez
użytkownika, np. zadaniu pytania bazie danych albo wyszukiwarce serwisu, wypełnieniu formularza
czy ustawianiu własnych preferencji. Jest to więc informacja generowana „w locie” i tworzona przez
specjalne skrypty, zgodnie z potrzebami konkretnego użytkownika strony i niekoniecznie istotna dla
innego użytkownika. Adres URL stron tworzonych dynamicznie jest zazwyczaj bardzo długi i zawiera ?
lub &. Nie każdy robot wyszukiwarki odnajdzie taką stronę, a te które znajdują często nie
zamieszczają ich w swoich indeksach. Kolejnym problemem dla standardowych wyszukiwarek są
strony tworzone w czasie rzeczywistym, których zawartość zmienia się prawie każdego dnia, np.
notowania giełdowe, prognozy pogody, rozkłady lotów. Roboty często celowo rezygnują z ich
indeksowania, gdyż są to dane “ulotne”, krótkotrwałe, a przede wszystkim w wielkich ilościach.
Co jeszcze jest tak naprawd
ę
„widoczne”, ale „ukrywa si
ę
”?
Coraz więcej z w/w zasobów jest i będzie indeksowanych przez standardowe wyszukiwarki.
Pozostanie natomiast, a wręcz będzie narastał, problem przeładowania informacji. Rezultaty
wyszukiwania np. w Google to zazwyczaj setki, tysiące witryn. Użytkownik zagląda do pierwszych
kilkudziesięciu, tymczasem to, co go najbardziej interesuje może być dużo „głębiej”. Kolejnym
problemem jest umiejętność zadawania pytań. Programy wyszukiwawcze są coraz bardziej
„inteligentne”, jednak wyszukanie specyficznej informacji ciągle wymaga sformułowania precyzyjnego
pytania i korzystania z formularzy zaawansowanych, co nie jest powszechne. Ponadto
przyzwyczajenie do jednej wyszukiwarki – „mit” Google – i pomijanie innych narzędzi, które rejestrują
zasoby „widzialne”, np. katalogów tematycznych czy wyszukiwarek specjalnych (osób, grafik, blogów
itp.), powoduje otrzymywanie w rezultatach wyszukiwania sporo zdublowanych i zbędnych informacji.
Jak wielkie s
ą
zasoby ukryte i jakie to rodzaje informacji?
Powszechnie wiadomo, że nie można precyzyjnie zliczyć wszystkich stron WWW, ani tych, które
„widzą” wyszukiwarki. Mimo to, co pewien czas podejmowane są badania, w których naukowcy starają
się oszacować
wielko
ść
sieci płytkiej i gł
ę
bokiej
. Najczęściej cytowana praca, na której opierało się
wiele następnych to wyniki badań M. K. Bergmana dla Bright Planet z 2001 r., wg których:
deep web
jest ok. 400-550 razy większy niż zasoby indeksowane przez wyszukiwarki i liczy
ok. 550 mld dokumentów (7.500 terabajtów);
60 największych baz danych ukrytego Internetu zawiera 750 TB danych;
2
Np. robot Gooru - jeśli pierwsza strona serwisu jest w całości wykonana we Flash'u i do kolejnych podstron nie
prowadzi żaden link w formacie HTML robot nie znajdzie pozostałych stron w serwisie.
 ok. 95% zasobów "ukrytych" jest dostępnych publicznie, bezpłatnie;
ponad połowa to tematyczne bazy danych;
zasoby
deep web
są odwiedzane przez użytkowników o 50% częściej niż zasoby „płytkie”.
C. Sherman podał w 2001 r. nieco inne wyniki badań i oszacował ukryty web jako ok. 2-50 razy
większy niż zasoby indeksowane przez wyszukiwarki. D. Lewandowski i P. Mayr, P uznali w 2006 r.
szacunki M. K. Bergmana za bardzo zawyżone z powodu błędu statystycznego (korzystania ze
średniej zamiast mediany) oraz liczenia rozmiaru baz danych w GB zamiast rekordach. Sami
oszacowali rozmiar „naukowej sieci ukrytej” na ok. 20-100 mld dokumentów. A. Gulli i A. Signorini
opublikowali w 2005 r. wyniki badań nad siecią indeksowaną przez wyszukiwarki (
surface Web
),
szacując jej wielkość na ok. 11,5 mld stron. Z tego zbioru 9,36 mld stron jest dostępnych w indeksach
czterech największych wyszukiwarek (Google, Yahoo, MSN, Ask). Wykazali również, że przeciętnie
ok. 70% zasobów
surface web
można było uzyskać za pomocą w/w wyszukiwarek (np. Google 76%),
a część wspólna indeksów czterech w/w wyszukiwarek wynosi 2,7 mld stron (28,85%). Standardowe
wyszukiwarki uniwersalne ciągle doskonalą mechanizmy swoich robotów i powiększają dzieki temu
swoje bazy/indeksy, pomniejszając przy tym rozmiar ukrytej sieci. Jednak na razie żadna z nich, nie
wyłączając Gogle, nie jest w stanie zindeksować całego Web.
Wymienione wcześniej typy ukrytych zasobów sieci wyszczególniono w punktu widzenia
technicznego, technologicznego bądź prawnego, biorąc pod uwagę rodzaje formatów i metody
tworzenia zasobów. Jakie natomiast rodzaje informacji kryją się w sieci pozornie niewidzialnej?
Autorzy wielu publikacji na ten temat zgodnie podkreślają, że większość stanowią bardzo wartościowe
materiały, a pośród nich:
publikacje i raporty naukowe, dysertacje (pełne teksty lub abstrakty);
artykuły z gazet i czasopism (pełne teksty lub abstrakty);
dokumenty rządowe;
archiwa materiałów źródłowych i referencyjnych;
zasoby biblioteczne (katalogi, zbiory digitalizowane, publikacje pracowników uczelni);
niektóre repozytoria Open Access;
szara literatura;
dane, wzory, grafiki;
słowniki i encyklopedie,
bazy teleadresowe;
i wiele, wiele innych.
W tej grupie dokumentów przeważająca część to materiały przydatne dla nauki i edukacji. D.
Lewandowski i P. Mayr (2006) zaproponowali termin „
Naukowa Sie
ć
Niewidzialna
” dla określenia
baz danych i kolekcji o istotnym znaczeniu dla środowisk naukowych, bibliotekarzy i specjalistów
informacji, a nie wyszukiwalnych przez standardowe wyszukiwarki. Naukowa Sieć Niewidzialna
zawiera literaturę (np. artykuły, rozprawy, raporty, książki), dane (np. dane z badań), materiały
wyłącznie online (np. dokumenty Open Access). Głównymi dostarczycielami tych zasobów są: twórcy i
sprzedawcy baz danych i innych serwisów (np. document delivery), biblioteki, wydawcy komercyjni,
uczelnie, instytucje i stowarzyszenia naukowe.
II. Sposoby „odkrywania” niewidzialnych zasobów sieci
Odkrywanie zasobów ukrytych to z jednej strony obejmowanie coraz większych obszarów sieci przez
wyszukiwarki, z drugiej zaś umiejętne korzystanie z zasobów pozostających poza zasięgiem
wyszukiwarek. Pierwszy problem może być rozwiązywany przez rozwijanie możliwości robotów
wyszukiwarek, ale również podejmowanie ich współpracy z dostawcami informacji, dotąd zastrzeżonej
dla ogółu użytkowników sieci. Drugi problem to odpowiedź na pytanie „dlaczego warto nie
poprzestawać na Google?” w wyszukiwaniu informacji. Wspomniano już, że wszystkich zasobów Web
nie da się do końca „uwidocznić”. Ponadto żadna wyszukiwarka nie obejmuje swym zasięgiem całej
sieci „widocznej”. Rezultaty wyszukiwania często są zdublowane – te same informacje pochodzą z
różnych serwisów. Odmienną sytuację mamy w serwisach
deep web
, gdzie informacje
rzadko się
powielają i charakteryzują się wysoką jakością. Warto zatem podejmować pewne działania
zmierzające z jednej strony do wzajemnej „współpracy” tworzonych zasobów (szczególnie
bazodanowych i repozytoriów OA) oraz ich „współpracy” ze standardowymi wyszukiwarkami, z drugiej
– uświadamiania użytkownikom internetu istnienia ukrytego web. Starania te powinni podejmować
zarówno twórcy baz danych, wydawcy, biblioteki (razem!), ale też twórcy wyszukiwarek.
1. Specjalne usługi standardowych wyszukiwarek, współpraca z wydawcami czasopism oraz
twórcami baz danych i katalogów
Największe wyszukiwarki oferują odrębne usługi, dzięki którym można dotrzeć do część sieci ukrytej.
Są to najczęściej odnośniki do publikacji naukowych, rządowych, artykułów z czasopism czy zasobów
baz danych. Specjalistyczna wyszukiwarka Google Scholar
3
rejestruje pełne teksty lub abstrakty prac
naukowych (artykułów, raportów, książek), w tym linki do publikacji z wydawnictw komercyjnych.
Publicznie dostępne są pełne teksty publikacji funkcjonujących w sieci bez ograniczeń, jak również
informacje bibliograficzne oraz abstrakty tekstów z baz komercyjnych. Pełne teksty tych ostatnich
dostępne są dla subskrybentów na zasadzie współpracy Google z wydawcami i dostawcami baz, np.
EBSCO. W Google Scholar jest też możliwość sprawdzenia dostępności książek w wielu bibliotekach
(w tym NUKAT – opcja „Find In NUKAT”), dzięki współpracy z WorldCat OCLC czy zamówienia kopii
w artykułu w British Library. Z innych usług Google warto wymienić Google Books
4
, współpracujący
również z Worldcat OCLC (opcja "Find this book in a library") oraz Google Pate
Serach
5
(7 mln
pełnych tekstów opisów patenowych USA).
Wyszukiwarka Live Search
(MSN) uruchomiła usługę
Academic
, która umożliwia wyszukiwanie
artykułów i innych publikacji naukowych, m.in. z repozytoriów Open Access. Pełne teksty publikacji
mogą uzyskać użytkownicy z instytucji opłacających dostęp do serwisów czasopism elektronicznych
lub baz danych, np. EBSCO, Elsevier, Wiley. Wymagane jest jednak uprzednie zgłoszenie instytucji
do Live Serach i dokonanie odpowiednich ustawień w wyszukiwarce.
Kolejny potentat na rynku wyszukiwarek – Yahoo! – oferuje usługę
Search Subscriptions
dzięki której
subskrybenci różnych baz danych mogą przeszukiwać jednocześnie wszystkie zasoby, do których
mają uprawnienia, np. LexisNexis, IEEE publications, Consumer Reports.
Ponadto dostawcy, np. IEEE Xplore,
„ujawniają” dla standardowego Google informacje ze swoich baz
do poziomu np. opisu bibliograficznego, a reszta (abstrakt, pełen tekst) jest zastrzeżona. Jeśli na taki
odnośnik trafi użytkownik, którego instytucja opłaca dostęp do pełnych tekstów, natychmiast otrzymuje
ten tekst na ekranie swojego komputera, na podstawie kontroli numerów IP.
2. Stosowanie odpowiednich standardów i innych rozwi
ą
za
ń
technicznych przez twórców
zasobów sieciowych
To zagadnienie dotyczy przede wszystkim twórców bezpłatnych baz danych i dynamicznych stron
internetowych, których prace zmierzają w kierunku uwidaczniania swoich zasobów standardowym
wyszukiwarkom. Jednym z rozwiązań jest konwersja bazy danych do regularnych stron HTML, np. w
Amazon.com, każdy rekord jest konwertowany do HTML i „widoczny” dla robotów wyszukiwarek.
Można to sprawdzić porównując URL konkretnego rekordu wyszukanego bezpośrednio w
Amazon.com i potem tego samego tytułu wyszukanego w Google.
Stosowanie protokołów Z39.50 i/lub OAI-PMH
umożliwia jednoczesnego przeszukiwanie (
cross
search
) wielu serwisów i baz danych, tych ukrytych i dostępnych dla wyszukiwarek. Doskonałym
przykładem jest brytyjski serwis TechXtra
9
ukierunkowany na inżynierię i technikę, przeszukujący 4
mln rekordów z 30 baz danych, serw
ów tematycznych, repozytoriów OA. Innym ciekawym
przykładem jest E-Print Network
10
- serwis przeszukujący repozytoria e-printów z zakresu nauki i
techniki. Protokół OAI-PMH pozwala również na jednoczesne wyszukiwanie w zasobach bibliotek
cyfrowych oraz ich uwidaczniania w wyszukiwarkach (Heliński, M. i inni 2005). Dzięki temu zasoby
bibliotek polskich stosujących oprogramowanie dLibra
11
mogą być przeszukiwane wspólnie (opcja
„Przeszukaj zdalne biblioteki” na stronie którejkol
k z nich), są „widoczne” w Google i
wyszukiwarkach specjalistycznych, np. OAIster.
3
4
5
6
7
8
Open Archives Initiative Protocol for Metadata Harvesting. Zob. więcej na stronie dLibra:
9
10
11
(zob. Wdrożenia)
          3. Tworzenie specjalistycznych wyszukiwarek i multiwyszukiwarek
Wyszukiwarki specjalistyczne umożliwiają wyszukiwanie w ramach określonej dziedziny (np. technika,
sztuka), formatu plików (np. dźwiękowych, video, *pdf), rodzaju informacji (np. rządowe) bądż są
przeznaczone dla okreslonej grupy odbiorców (np. wyszukiwarki naukowe). Mogą też łączyć kilka z
tych kryteriów. Dobrym przykładem jest Internet Archive - biblioteka internetowa dla naukowców,
oferująca dostęp do kolekcji z zakresu nauk humanistycznych w postaci cyfrowej, w tym tekstów
Open-Access, plików audio, filmów i programów. Doskonałą wyszukiwarką plików graficznych jest
Picsearch. Z wyszukiwarek naukowych najpopularniejszymi są Scirus, CiteSeer, Find Articles. Na
uwagę zasługują również wyszukiwarki w repozytoriach i czasopismach Open Access, np. OAIster -
katalog i wyszukiwarka zasobów bibliotek cyfrowych różnych instytucji, repozytoriów instytucjonalnych
i czasopism elektronicznych, Open Access DOAJ - katalog czasopism bezpłatnie dostępnych w sieci
czy OpenDOAR - wyszukiwarka akademickich repozytoriów.
Druga grupa specjalistycznych narzędzi wyszukujących to różnego rodzaju multiwyszukiwarki
kierujące pytanie użytkownika do wielu wyszukiwarek, baz danych i innych serwisów, w tym zasobów
deep web
. Interesująca jest multiwyszukiwarka GoshMe, przeszukująca indeksy wyszukiwarek
ogólnych i specjalistycznych. Z innych na uwagę zasługują Turbo10, INCYWINCY, Trovando. Typowe
katalogi zasobów ukrytych, w większości baz danych, to Geniusfind i CompletePlanet.
4. Zintegrowane przeszukiwanie elektronicznych zasobów bibliotek
Przy rosnącej liczbie zasobów elektronicznych dostępnych dla użytkowników jednej instytucji, np.
biblioteki, materiały te stają się „niewidoczne” dla użytkowników, bo …. jest ich bardzo dużo i linki do
nich zamieszczane są w różnych działach, pod nazwami nie zawsze czytelnymi. Powstają wobec tego
programy ułatwiające poruszania się po witrynach bibliotecznych, coraz bardziej „obładowanych”
informacjami i dostępami do wielu katalogów, baz danych, pełnych tekstów artykułów, bibliotek
cyfrowych i innych repozytoriów. Najlepszym rozwiązaniem jest przeszukiwanie wszystkich zasobów
elektronicznych danej biblioteki (lokalnych i zdalnych) przy pomocy jednego interfejsu – jedno pytanie
do kilku bądź wszystkich serwisów. Oczywiście dostęp do zasobów komercyjnych mają wtedy
wyłącznie zarejestrowani użytkownicy. Istnieje wiele rozwiązań typu
federated searching
13
.
Przykładem jest serwis RUG Combine biblioteki Uniwersytetu w Groningen
14
, AquaBrowser Quee
Library
15
czy BASE – zintegrowana wyszukiwarka katalogu biblioteki uniwer
teckiej w Bielefeld oraz
ok. 160 serwisów OA
16
5. Tworzenie katalogów tematycznych, w tym serwisów o kontrolowanej jako
ś
ci
subject
gateway
Tworzenie katalogów tematycznych pozostaje w gestii ludzi, a maszyny jedynie tę działalność
wspierają. Katalogi wywodzą się ze zwykłych wykazów przydatnych linków, zazwyczaj
wyselekcjonowanych dla określonej grupy odbiorów. Najcenniejsze dla użytkowników są serwisy typu
subject gateways
(Derfert-Wolf, L. 2004) czyli serwisy tematyczne o kontrolowanej jakości
18
Są to
dziedzinowe przewodniki (miejsca startowe) po zasobach internetowych, uporządkowane według
kategorii tematycznych. Zasoby są selekcjonowane, oceniane, opisywane i katalogowane przez
bibliotekarzy lub ekspertów z danej dziedziny. Linki zgromadzone w tych serwisach dobiera się
zgodnie z oficjalnie opublikowaną listą kryteriów oceny jakości i opisuje według powszechnie
stosowanych systemów klasyfikacyjnych. Natomiast gwarancją regularnej aktualizacji i kontroli linków
jest profesjonalne zarządzanie ich kolekcją.
Subject gateways
dają w efekcie zorganizowany zbiór
(bazę danych) linków do źródeł o kontrolowanej jakości, przeszukiwany według słów kluczowych i
przeglądany wg kategorii tematycznych. Rezultaty zawierają standardowe opisy - zestaw metadanych.
Cechy charakterystyczne serwisów tematycznych o kontrolowanej jakości to:
1) serwis online kierujący do wielu innych serwisów lub dokumentów w sieci;
2) dobór źródeł jest twórczym procesem zgodnym z opublikowanymi kryteriami jakości (wyklucza
się np. dobór na podstawie automatycznie mierzonej popularności źródeł);
12
Adresy URL i krótkie opisy omawianych w tym dziale serwisów podano w Tab. 1
13
Lista programów m.in. na stronie
14
15
16
17
Adresy URL i krótkie opisy omawianych w tym dziale serwisów podano w Tab. 1
18
DESIRE Information Gateways Handbook
         [ Pobierz całość w formacie PDF ]

zanotowane.pl

doc.pisz.pl

pdf.pisz.pl

happyhour.opx.pl