Глава 7. Скрытый web

Содержание

7.1. Общие слова от интернете
7.2. Архитектура web-пространства
7.3. New Web Map Reveals Previously Unseen ‘Bow Tie’ Organizational Structure
7.4. Скрытый web
7.5. Deep Web FAQ

В главе использована книга [LAND], c. 15-41.

7.1. Общие слова от интернете

Сеть Интернет стала одним из самых из самых известных явлений современности. Почему из сотни компьютерных сетей именно Интернет получила такое развитие?

  1. Высокая технологичность, надежность и расчет на работу сети в любых, даже экстремальных условиях.

  2. Открытость протоколов (правил), их доступность каждому.

  3. Поддержка широким кругом пользователей, так и крупнейшими производителями ПО и аппаратного обеспечения.

  4. Способность системы к саморазвитию, саморасширению. Чем больше ресурсов вовлекается в сеть, тем она становится интереснее и полезнее пользователям, круг которых растет. Также наблюдается постоянное снижение расходов на работу в сети.

In the February 2007 survey we received responses from 108,810,358 sites, an increase of 1.93 million from last month. http://news.netcraft.com/archives/2007/02/02/ february_2007_web_server_survey.html

Интернет-ресурсы - это прежде всего объемы - 108,810,358 в феврале, 97 992 447 сайтов (октябрь 2006). В 1998 количество сайтов было 1 млн. Аналитичеcкая служба Netcraft.com.

Причем здесь идет речь о ресурсах открытой части сети, доступной ИПС. А ведь имеется еще скрытый Интернет (deep web).

Сегодня каждый пользователь ощущает один из парадоксов этой среды: полезной информации становится все больше, но найти что-то определенное становится все сложнее.

Даже самые крупные ИПС в мире охватывают в своих индексах не более 30-40% существующих ресурсов. Было бы логичным, чтобы владельцы некоторых систем подобного типа, договорившись, попытались охватить лишь определенные "вертикальные" фрагменты Сети, совместно решая задачу полного охвата ресурсов и обеспечивая качественную навигацию в своих областях. Однако такая модель утопична, а тенденции на рынке глобальных ИПС никак нельзя назвать радужными. Реалии таковы: новизна охватываемой информации падает, навигационные сервисы в основной своей массе не улучшаются, а количество самих глобальных информационно-поисковых систем (за редким исключением не ставших порталами) стремительно растет.