IT News: Digital Camera, OS, Laptop, Smartphone, Smart TV, Sound...

The Author's Project by Valeri N.Kravchuk
Сайт проверен Dr.Web
Меню сайта
  • Главная страница
  • Информация о сайте
  • Дневник
  • Каталог файлов
  • Обратная связь
  • Каталог сайтов
  • FAQ
  • Доска объявлений
  • Форум
  • Фотоальбом
  • Категории раздела
    Измерительная техника, инструменты [278]
    Drones, boats, cars... [99]
    Накопители данных [186]
    Гаджеты для спорта и здоровья... [166]
    Автомобильные гаджеты... [159]
    Сети, сетевые технологии, оборудование... [211]
    Гаджеты, аксессуары... [604]
    News IT, Это интересно, ликбез... [1048]
    Linux и не только [4195]
    Windows 10... [271]
    Планшеты [738]
    Нетбуки, Ноутбуки, Ультрабуки [618]
    Смартфоны, фаблеты.. [4986]
    GPS-навигаторы, трекеры... [49]
    Видеорегистраторы [195]
    mini computers и не только... [365]
    Своими руками [322]
    CB, LPD, PMR- связь... [110]
    Smart TV, UltraHD, приставки, проекторы... [404]
    Радар-детекторы [22]
    DECT, IP-телефоны [18]
    Мультиварки, блендеры и не только... [122]
    Smart Watch [225]
    Блоки питания, Power Banks, зарядки... [340]
    Sound: наушники, плееры, усилители... [568]
    Безопасность IT [478]
    Электронные книги [75]
    Роботы-пылесосы [26]
    electric cars [28]
    Фотокамеры, объективы, искусство фотографии.. [433]
    Время

    Интересные ссылки

    COMPIZOMANIA

    Наш опрос
    Оцените мой сайт
    Всего ответов: 1243
    Статистика
    Анализ веб сайтов

    Яндекс.Метрика

    Рейтинг@Mail.ru Яндекс цитирования

    Russian America Top. Рейтинг ресурсов Русской Америки.

    eXTReMe Tracker

    Правильный CSS!


    Онлайн всего: 1
    Гостей: 1
    Пользователей: 0
    Locations of visitors to this page
    Форма входа
    Главная » 2014 » Март » 18 » Невидимый Интернет: от поверхности до самых глубин
    08:14
    Невидимый Интернет: от поверхности до самых глубин

    Невидимый Интернет: от поверхности до самых глубин

    В Google и других поисковых системах можно найти только часть информации, содержащейся в Интернете. Данные, хранящиеся в так называемом «глубоком» и «темном вебе», для них закрыты. Эта огромная параллельная вселенная служит как законным, так и незаконным целям.

    Поисковые системы, такие как Google и «Яндекс», являются единственными воротами в онлайн для большинства пользователей Интернета: тот, кому требуется отыскать что-либо в мировой Глобальной сети, обычно вводит свой запрос в поисковую форму одного из этих сервисов и выбирает именно ту информацию, которая появляется в результатах поиска, — причем, как правило, только сайты, находящиеся на первых страницах поисковой выдачи. Но даже если бы у путешественника по просторам Всемирной паутины хватило терпения открыть все показанные ему тысячи ссылок, он увидел бы лишь часть того, что доступно в Интернете, потому что Google и другие поисковые машины вовсе не всеведущи. Если кому-то нужно скрыть что-нибудь в Сети от поисковиков, он может с легкостью сделать это.

    В одних частях Интернета поиск очень прост, в других — сложен. Все зависит от того, какую информацию вы хотите найти и где. Спектр простирается от таких повседневных сайтов, как Google, до сомнительных порталов, торгующих нелегальными товарами. Мы продемонстрируем вам разные уровни видимости.

    0-1

    «Поверхностный веб»

    Google и другие поисковые системы делают для нас видимым всевозможный контент: тексты, изображения, видео, онлайн-магазины, социальные сети, игры. То, что Google не находит в поверхностном Интернете, можно отыскать в «глубоком» или «темном вебе».

    0-2

    «Глубокий веб»

    Библиотеки.  Многие библиотеки не позволяют Google индексировать свои базы данных. Их можно обнаружить только через такие специальные сервисы, как Scirus, предназначенные для поиска информации в «глубоком вебе».

    Музеи. Некоторые музеи уже перевели в цифровые форматы большую часть своих коллекций: экспонаты, каталоги, видео. Если ввести в Google поисковый запрос «Database» («база данных»), эти сокровища можно найти, только если повезет.

    Пиратские копии. Такие хостеры, как Freedom Hosting, предоставляют анонимные хранилища данных в первую очередь для сайтов с пиратским содержимым. Поскольку на серверах выложен всевозможный нелегальный контент, Freedom Hosting часто подвергается атакам.

    Организации. Правительства разных стран, некоммерческие организации, медицинские ассоциации, — все они имеют огромные фонды данных, но получить доступ к ним можно только с помощью специальных поисковых систем.

    Динамический контент. Страницы, возвращающие содержимое в ответ на специфичные запросы, тоже не индексируются поисковыми машинами. На них можно попасть только в том случае, если вам известен их адрес.

    Сайты с ограниченным доступом. Владельцы некоторых сайтов запрещают доступ к своим творениям поисковым роботам специальными командами, либо капчей или формой обязательной авторизации для пользователей. В результате информация на таких ресурсах не видна поисковым системам.

    0-3

    «Темный веб»

    Анонимные пользовательские сети.  Ресурсы для обмена файлами, сообщениями, мнениями на форумах и другой информацией с анонимным доступом, построенные на базе инфраструктуры Интернета или за счет прямого соединения между пользователями, содержат огромное количество всевозможных данных.

    Торговля запрещенными товарами. Нельзя сказать, что бизнес по торговле нелегальными товарами в анонимных сетях процветает. Правда, время от времени торговцы предлагают краденые вещи, оружие, запрещенные вещества и поддельные документы.

    «Глубокий веб»: больше, чем WWW

    В Интернет есть огромные базы данных с различной информацией, в силу ряда причин недоступные для популярных поисковых систем. Пользователи могут получить доступ к ним лишь в том случае, если отправят к базе данных специальный запрос или зайдут на страницы, адреса которых им заранее известны.

    Сейчас владелец каждого веб-сайта может сам определить, какая часть его контента должна попасть в индекс Google и других поисковых систем, и должна ли попасть туда вообще. Если владелец закроет доступ на свой ресурс для поисковых роботов, запретит незарегистрированным пользователям просматривать страницы или же не удосужится должным образом оптимизировать свой сервис, то его информация не появится в списках результатов поиска даже в том случае, когда на нее есть ссылки с десятков тысяч сайтов, проиндексированных поисковыми системами. При обычных обстоятельствах это гарантировало бы самое высокое место в результатах выдачи. Поисковые машины как бы слепы на один глаз — и показывают своим пользователям только часть того, что есть на просторах Интернета.

    Хорошим примером «глубокого веба» являются каталоги библиотек. Хотя эти списки книг и журналов хранятся в основном на традиционных веб-серверах, доступ к ним разрешается только после регистрации, выполнить которую поисковые системы не в состоянии. Им остается лишь в некотором роде «посмотреть снаружи на запертую дверь» и идти дальше. То же самое относится к базам данных с информацией об авиарейсах, специальных медицинских материалах, различной производственной документацией, социальным сетям и т. д. Правда, Google, купив ITA Software (подразделение, разрабатывающее ПО для транспортной индустрии, ранее — независимая компания), решила хотя бы проблему с авиаперелетами: американские пользователи Google уже могут вводить поисковые запросы типа «самый дешевый рейс из Нью-Йорка в Лас-Вегас» и получать результат.

    Иногда владельцы ресурсов, информация которых не должна попадать в Сеть, допускают технические ошибки, вследствие которых конфиденциальные сведения оказываются в результатах поиска (все эти данные также относятся к «глубокому вебу»). Подобный случай произошел 18 июля 2011 года, когда «Яндекс» проиндексировал часть SMS-сообщений, отправленных с сайта фирмы «Мегафон» абонентам сотового оператора. Как впоследствии пояснили специалисты «Яндекса», в разделе отправки SMS на странице «Мегафона» в момент индексации поисковой системой отсутствовал файл robots.txt, в котором содержатся команды поисковому роботу. В нем, в частности, должен быть обозначен запрет на индексацию конфиденциальных разделов сайта. Сейчас эта информация уже удалена из результатов поиска, но внимательные пользователи успели ее сохранить и выложить в файлообменные сети, где она доступна и по сей день.

    Однако это еще не полное погружение в «глубокий веб».

    Сталкеры «глубокого веба»

    Открыть доступ к недрам Интернета обещают такие поисковые системы, как CompletePlanet и Scirus. Они устроены иначе, чем Google и «Яндекс», и позволяют находить информацию в таких базах данных, перед которыми традиционные поисковые системы пасуют. Например, CompletePlanet, как утверждают ее создатели, предоставляет доступ примерно к 70 000 сложноиндексируемых баз, а Scirus поможет отыскать информацию в различных научных архивах с данными.

    Их работа стала возможной благодаря передовым поисковым роботам (часть поисковой системы, ответственная за сбор информации на сайтах). Они, в частности, способны генерировать вполне осмысленные запросы к базам данных и заполнять за пользователя формы благодаря поддержке специфичных языков.

    Традиционные поисковые системы тоже стремятся добраться до информации, которая находится в глубоком Интернете, что неудивительно — по оценкам экспертов, там ее содержится в тысячу раз больше, чем в поверхностном. Компания Google, например, разработала особый формат для карт сайтов, благодаря чему ее поисковые роботы посещают даже те страницы, ссылки на которые с других ресурсов отсутствуют. Разумеется, сперва такую карту должен создать владелец сайта. Постепенно поисковики будут индексировать все больше информации, находящейся в глубоком Интернете, и граница между «поверхностным» и «глубоким вебом» размоется. Но некоторая ее часть все равно останется недоступной для поиска — например, предоставляемый только по подписке платный контент.

    Категория: News IT, Это интересно, ликбез... | Просмотров: 415 | Добавил: laptop | Рейтинг: 0.0/0
    Всего комментариев: 0
    Добавлять комментарии могут только зарегистрированные пользователи.
    [ Регистрация | Вход ]
    Волк слабее льва и тигра, но в цирке волк не выступает!
    Волк слабее льва и тигра, но в цирке волк не выступает!
    Волк - единственный из зверей, который может пойти в бой на более сильного противника.
    Если же он проиграл бой, то до последнего вздоха смотрит в глаза противника. После этого умирает...

    Праздники сегодня

    Погода
    Погода в Нью-Йорке Погода в Бреcте
    Поиск
    Календарь
    Архив записей
    Друзья сайта
  • Официальный блог
  • JEEP - the best! Mercedes - the best! Автомобильный портал города Бреста: технические характеристики с фото, авторынок, автоспорт...
    Наша кнопка
    IT новости с моего лаптопа...

    Внимание!
    Администратор сайта laptop.ucoz.ru не несет ответственности за содержание рекламных объявлений. Все используемые на сайте зарегистрированные товарные знаки принадлежат своим законным владельцам! Используемая со сторонних источников информация публикуется с обязательными ссылками на эти источники.
    Copyright Valeri N.Kravchuk © 2007-2019