Тег "robots". Стоит упомянуть  еще об одном важном теге - "robots". Если владелец по каким-либо  причинам не желает, чтобы страница  была проиндексирована, помещают  туда данный тег: <META name="robots" content="noindex">. К сожалению, не каждый спайдер понимает данный тег, и более надежным методом является помещение файла robots.txt в корневую директорию сервера со списком страниц, индексации которых не желают.

       Все вышеперечисленное верно для спайдеров, если на страницу наткнутся случайно, в том случае, если на web-сайт будут вести ссылки с других страниц. Но зачастую это происходит не скоро, поэтому следует проиндексировать web-сайт в как можно большем количестве поисковых систем самостоятельно. Индексирование можно проводить с помощью специальных бесплатных серверов-регистраторов: Submit It!, Add Me!, WWW Broadcaster, Sputnik ADDER, @Submit! - зарубежные, Система TAU – российская, но все же лучше регистрироваться повторно в ручную на наиболее важных серверах.

       Сколько страниц надо регистрировать? В принципе, если с главной страницы по ссылкам можно попасть на любую из страниц web-сайта, можно зарегистрировать только главную страницу. Робот поисковой системы рано или поздно обойдет весь сайт, но следует иметь в виду следующее:

      - при регистрации поисковые системы  обычно оперативно помещают в  индексы указанную страницу и  ставят весь остальной сайт  в очередь на индексацию. И  разница по времени между индексацией  указанной страницы и всего остального сайта может составить несколько недель;

      - некоторые поисковые системы  не индексируют автоматически  внутренние страницы сервера  глубже четвертого уровня (т.е.  когда для попадания на страницу  надо совершить четыре перехода);

      - организация навигации с помощью frames, imagemaps, java-скриптов может помешать роботу пройти вглубь web-сайта для индексации внутренних страниц.

       Принимая во внимание вышеперечисленное,  желательно регистрировать не  только начальную страницу сайта,  но и ряд внутренних ключевых страниц. Конечно, во всем надо знать меру: не стоит регистрировать отдельно каждую страницу, если у их несколько десятков.

       Через некоторое время после  регистрации можно проверить,  проиндекированы ли страницы  сайта в системе, в каком  виде выдается результат и т.д. и если требуется изменить или подкорректировать регистрацию.

       Многие поисковые системы позволяют  проверять наличие страниц в  индексах. Например, в AltaVista при следующих  запросах получаем:

       url:insurance.com - все проиндексированные страницы в этом домене;

      url:insurance.com/firms/ - все проиндексированные страницы в этой директории;

       url:insurance.com/firms/alco.htm - эту страницу, если она находится в индексах.

       Желательно раз в месяц наведываться  в стратегически важные поисковые системы и снова проверять, есть ли раскучиваемые страницы в индексах. Иногда случаются странные вещи, и страницы могут исчезнуть из индексов.

       По ряду причин страницы могут  вообще не попасть в индексы:

      - например, AltaVista позволяет индексировать  не более чем 600 страниц на один домен. Как следствие, страницы, расположенные в таком, например, обширном домене как geocities.com, имеют большой шанс быть вообще не проиндексированными;

     - специализированные поисковые системы,  например, Апорт, индексируют страницы только некоторых доменов (.ru, .su, .ua)

      - содержание страницы может быть  расценено системой как спам  поисковой машины, и соответственно  она не будет помещена в  индекс.

     Международные поисковые  системы.¹¹

      1. Alta Vista - http://www.altavista.com

      AltaVista была открыта в декабре 1995, уже более года принадлежит компании Compaq Computer Corporation (до этого была в ведении DEC). В июне 1996 стала партнером Yahoo!, c этого времени AltaVista является избранной поисковой системой этого знаменитого каталога. Alta Vista по праву считается самой большой и авторитетной поисковой системой.

      2. Excite - http://www.excite.com

       Запущенная в 1995 система быстро  развивалась, и в 1996 году Excite купил  двух своих конкурентов: Magellan и  WebCrawler. Несмотря на смену владельца, эти два поисковых сервера продолжают работать как независимые системы.

      Excite предусматривает поиск по  трем типам индексов:

      - Excite Search - индексы собираются поисковым  роботом-пауком;

      - Channels By Excite - индексы просмотрены  сотрудниками, некоторые имеют рецензии.

      - Excite NewsTracker - поиск ведется исключительно  по новостным серверам.

       

     3. Hot Bot - http://www.hotbot.com

       Система запущена в мае 1996 года. Является детищем культового журнала Wired. Система использует поисковый механизм Inktomi.

      4. Infoseek - http://www.infoseek.com

       Запущенная в начале 1995 года система  Infoseek имеет весьма солидную репутацию.  Помимо самой поисковой системы  включает каталог, формирование  которого осуществляется специальной  программой. Некотрые из сайтов, попавших в каталог, имеют специальную отметку, означающую - "сайт осмотрен персоналом и рекомендован пользователям".

      5. Lycos - http://www.lycos.com

       Существующая с конца 1994 года  поисковая система Lycos является  старейшей из основных поисковых систем. Помимо самой поисковой системы Lycos имеет каталог A2Z и рейтинг страниц top 5% of all websites, некогда бывший очень популярным.

       6.Northern Light - http://www.northernlight.com/

       Система начала работать с августа 1997 года и в данный момент стремительными темпами индексирует сеть, что ставит ее вровень с основными поисковыми системами. Система имеет возможность классифицировать документы по темам, что является еще одним положительным моментом.

      7.WebCrawler - http://www.webcrawler.com

       Существует с апреля 1995 года. Вскоре владельцем системы стала AOL, и всем пользователям этого сервис-провайдера была рекомендована именно эта поисковая система. В ноябре 1996 WebCrawler был куплен своим конкурентом Excite, хотя и продолжает работать как независимая поисковая система. Имеет свою директорию рецензированных страниц.

       Международные каталоги.

      Yahoo! - http://www.yahoo.com

       Существующий с конца 1994 года Yahoo! - самый популярный и старейший  из основных каталогов Интернета.  Содержит более полумиллиона web-страниц. При вводе запроса Yahoo! производит поиск по своему каталогу. Если результаты поиска здесь будут неудовлетворительны, запрос автоматически перенаправляется к избранной поисковой системе - AltaVista

       Как уже отмечалось выше, некоторые  поисковые системы имеют при себе еще и каталог:

       - Excite NetDirectory - http://www.excite.com

      - InfoSeek Select Sites - http://guide.infoseek.com

      - A2Z (Lycos) - http://a2z.lycos.com

     - GNN Select (WebCrawler) - http://www.webcrawler.com    

     3.2.2Сервисы Internet

Серверами называются узлы сети, предназначенные  для обслуживания запросов клиентов – программных агентов, извлекающих информацию или предающих ее в сеть и работающих под непосредственным управлением пользователей. Клиенты предоставляют информацию в понятном и удобном для пользователей виде, в то время как серверы выполняют служебные функции по хранению, распространению, управлению информацией и выдачу ее по запросу клиентов. Каждый вид сервиса в Internet предоставляется соответствующими серверами и может использоваться с помощью соответствующих клиентов.

     WWW

     Сервис  WWW – всемирная паутина, обеспечивает представление и взаимосвязи огромного количества гипертекстовых документов, включающих текст, графику, звук и видео, расположенных на различных серверах по всему миру и связанных между собой посредством ссылок в документах. Появление этого сервиса значительно упростило доступ к информации и стало одной из основных причин взрывообразного роста Internet с 1990 года. Сервис WWW функционирует с использованием протокола HTTP.

     Для использования этого сервиса  применяются программы-броузеры, наиболее популярными из которых в настоящий  момент являются Netscape Navigator и Internet Explorer.

     «Web browsers» – не что иное, как средства просмотра; они выполнены по аналогии с бесплатной коммуникационной программой под названием Mosaic, созданной в 1993 г. в лаборатории Национального центра суперкомпьютеров (National Center for Supercomputing Applications) при Университете шт. Иллинойс для облегчения доступа к WWW. Что же можно получить с помощью WWW? Почти все, что ассоциируется с понятием «работа в системе Internet», – от самых последних финансовых новостей до информации о медицине и здравоохранении, музыке и литературе, домашних животных и комнатных растениях, кулинарии и автомобильном деле. Можно заказывать авиабилеты в любую часть мира (реальные, а не виртуальные), туристические проспекты, находить необходимое программное и техническое обеспечение для своего ПК, играть в игры с далекими (и неизвестными) партнерами и следить за спортивными и политическими событиями в мире. Наконец, с помощью большинства программ со средствами доступа к WWW можно получить доступ и к телеконференциям (всего их около 10 000), куда помещаются сообщения на любые темы – от астрологии до языкознания, а также обмениваться сообщениями по электронной почте.

     Благодаря средствам просмотра WWW хаотические джунгли информации в Internet приобретают форму привычных аккуратно оформленных страниц с текстом и фотографиями, а в некоторых случаях даже с видеосюжетами и звуком. Привлекательные титульные страницы (home pages) сразу же помогают понять, какая информация последует дальше. Здесь есть все необходимые заголовки и подзаголовки, выбирать которые можно с помощью линеек прокрутки как на обычном экране Windows или Macintosh. Каждое ключевое слово соединяется с соответствующими информационными файлами посредством гипертекстовых связей. И пусть термин «гипертекст» вас не пугает: гипертекстовые связи – это примерно то же самое, что сноска в статье энциклопедии, начинающаяся со слов «смотри также...» Вместо того, чтобы листать страницы книги, Вам достаточно щелкнуть мышью на нужном ключевом слове (для удобства оно выделяется на экране цветом или шрифтом), и перед вами появится требуемый материал. Очень удобно, что программа позволяет возвращаться к ранее просмотренным материалам или, щелкнув мышью, двигаться дальше.

     E-MAIL

     E-mail – электронная почта. С помощью E-mail можно обмениваться личными или деловыми сообщениями между адресатами, имеющими E-mail  адрес.

     Ваш электронный адрес указывается  в контракте на подключение (youname@ukrpack.net). Наш сервер электронной почты, на котором для Вас заводится почтовый ящик, работает наподобие обыкновенного почтового отделения, на которое приходит Ваша почта. Ваш электронный почтовый адрес – это аналог арендованного абонентского ящика в почтовом отделении. Посланные Вами сообщения сразу направляются адресату, указанному в письме, а пришедшие Вам сообщения ожидают в Вашем абонентском ящике, пока Вы их не заберете. Вы можете посылать и принимать электронную почту от любого лица, имеющего электронный адрес. Для передачи сообщений в основном используется протокол SMTP, а для приема – POP3.

     Вы  можете использовать разнообразные  программы для работы с E-mail – специализированные, например Eudora, или же встроенные в Web броузер, например Netscape Navigator.

     NEWS/USENET

     Usenet – это всемирный дискуссионный клуб. Он состоит из набора конференций («newsgroups»), имена которых организованы иерархически в соответствии с обсуждаемыми темами. Сообщения («articles» или «messages») посылаются в эти конференции пользователями посредством специального программного обеспечения. После посылки сообщения рассылаются на серверы новостей и становятся доступными для прочтения другими пользователями.