Den mörka sidan av nätet

När Google indexerar så många miljarder webbsidor att det inte ens bryr sig om att lista numret längre, är det svårt att föreställa sig att mycket ligger bortom dess långtgående tentakler.

Under finns dock en online-värld som få vet existerar. Det är ett rike av enorma, outnyttjade reserver av värdefull information som innehåller vidsträckta databaser, dolda webbplatser och skumma forum. Det är en värld där akademiker och forskare kan hitta den information som krävs för att lösa några av mänsklighetens största problem, men också där kriminella syndikat verkar och där terroristhandböcker och barnpornografi distribueras fritt.

Samtidigt är den underjordiska webben det bästa hoppet för dem som vill fly de totalitära statscensurens band, och dela sina idéer eller erfarenheter med omvärlden.

Intresserad? Du är inte ensam. Den djupa webben och dess ”mörknät” är en ny slagfält för dem som vill upprätthålla rätten till privatliv online, och de som känner att rättigheter måste offras för samhällets säkerhet. Den djupa webben är också den nya gränsen för dem som vill konkurrera med Google inom sökområdet. Ta en resa med oss ​​till andra sidan internet.

Djupa nät, det mörka nätet och mörka nät

Det första att förstå är att även om elementen som utgör denna andra webb har aspekter gemensamma, pratar vi inte om en enda enhetlig enhet. De som vet pratar ofta om det djupa eller osynliga nätet, mörka nät och det mörka nätet, och du kanske tror att allt är samma sak. Faktum är att de är separata fenomen, om än sammanlänkade av gemensamma teman, egenskaper eller intressen.

Det djupa nätet är inte hälften så konstigt eller ondskefullt som det låter. Inom datavetenskap hänvisar det till de delar av webben som, av någon anledning, har varit osynliga för konventionella sökmotorer som Google.

Majoriteten av denna djupa webb består av dynamiskt skapade sidor och databasposter som endast är tillgängliga genom manuellt ifyllande av ett HTML-formulär

Majoriteten av denna djupa webb består av dynamiskt skapade sidor och databasposter som endast är tillgängliga genom manuellt ifyllande av ett HTML-formulär. En mindre andel har av misstag eller avsiktligt gjorts otillgängliga för Googles sökrobotar, medan andra områden sitter bakom lösenordsskyddade eller endast prenumerationswebbplatser.

Gör inga misstag, den djupa webben är enorm. Michael Bergmans banbrytande studie från 2001, The Deep Web: Surfacing Hidden Value, uppskattade att den stod för 7 500 TB data vid en tidpunkt då sökmotorer bara kunde indexera 19.

Även de mer konservativa uppskattningarna i en tidning från 2007 skriven av Googles Jayant Madhavan, Alon Halevy och kollegor, tyder på att det finns mer än 25 miljoner olika källor till djupt webbinnehåll, varav många är enorma arkiv.

”Det finns en rådande känsla i databasgemenskapen att vi missade båten med WWW,” avslutade Google-tidningen. ”Det övergripande budskapet i detta dokument är att en andra båt är här, med svindlande mängder strukturerad data, och den båten borde vara vår.”

Djupets skatter

”Det finns mycket legitimt och värdefullt innehåll i djupwebben”, säger Dr Juliana Freire, ledare för ett University of Utah-projekt, DeepPeep, som syftar till att göra djupwebbensinnehåll mer tillgängligt.

”Till exempel finns det flera vetenskapliga datamängder (som Sloan Digital Sky Survey och Center for Coastal Margin Observation & Prediction), dokument och databaser, och dessa är användbara för samhället och har många viktiga tillämpningar.”