Агенты и кроулеры, роботы

Агенты — самые «интеллектуальные» из поисковых средств. Кроме собственно функций поиска, они могут:

1) выполнять транзакции от Вашего имени;

2) искать cайты специфической тематики и возвращать списки cайтов, отсортированных по индексу цитируемости или посещаемости;

3) обрабатывать содержание документов, находить и индексировать другие виды ресурсов, не только страницы;

4) программироваться для извлечения информации из уже существующих баз данных.

Независимо от информации, которую агенты индексируют, они передают ее обратно базе данных поискового механизма.

Агенты извлекают и индексируют различные виды информации. Индексация может осуществляться различными способами, в числе которых:

— индексирование отдельных слов во встречающемся документе;

— индексирование только наиболее важных ста слов в каждом;

— индексирование размера документа и число слов в нем;

— индексирование названия, заголовка и подзаголовка.

Вид построенного индекса определяет, какой поиск может быть сделан поисковым механизмом и как полученная информация будет интерпретирована.

Администраторы поисковых систем могут определить, какие сайты или типы сайтов агенты должны посетить и проиндексировать. Проиндексированная информация отсылается базе данных поискового механизма так же, как было описано выше.

Пауки — это программы, осуществляющие общий поиск информации в Сети. Пауки сообщают о содержании найденного документа, индексируют его и извлекают итоговую информацию, просматривают заголовки, некоторые ссылки и посылают проиндексированную информацию базе данных поискового механизма.

Кроулеры — это программы, просматривающие заголовки и возвращающие только первую ссылку.

Роботы могут программироваться так, чтобы можно было переходить по различным ссылкам различной глубины вложенности, выполнять индексацию и даже проверять ссылки в документе. Из-за их природы они могут застревать в циклах, поэтому, проходя по ссылкам, им нужны значительные ресурсы Сети. Однако имеются методы, предназначенные для того, чтобы можно было запретить роботам поиск по сайтам, владельцы которых не желают, чтобы они были проиндексированы.

Роботы могут использоваться для выполнения множества полезных задач, таких как статистический анализ, обслуживание гипертекстов, исследование ресурсов или зазеркаливание страниц.

Зазеркаливание — популярный механизм поддержания FTP- архивов. Зеркало рекурсивно копирует полное дерево каталогов по FTP, а затем регулярно перезапрашивает те документы, которые изменились. Это позволяет распределить загрузку между несколькими серверами, успешно справиться с отказами сервера и обеспечить более быстрый и более дешевый локальный доступ, так же как и автономный доступ к архивам.

4.17.

<< | >>
Источник: Н.В.Абрамов и др.. Информационные системы в медицине: Учебное пособие— Нижневартовск: Изд-во Нижневарт. гуманит. ун-та,2008. — 171 с.. 2008

Еще по теме Агенты и кроулеры, роботы:

  1. СОЦІАЛЬНО-ПЕДАГОГІЧНА РОБОТА З СІМ'ЯМИ, ЩО ВИХОВУЮТЬ ДІТЕЙ З ОБМЕЖЕНИМИ ФІЗИЧНИМИ МОЖЛИВОСТЯМИ, В УМОВАХ РЕАБІЛІТАЦІЙНОГО ЦЕНТРУ ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ
  2. 653. Презюмируется ли ненадлежащее исполнение (неисполнение) агентом своих обязательств по агентскому договору в случае, если он не представил агенту отчет об исполнении порученных ему действий?
  3. 649. С какого момента у принципала возникает обязанность по выплате агенту вознаграждения: с момента утверждения отчета или с момента надлежащего совершения агентом юридических и фактических действий, составляющих предмет агентского договора?
  4. 410. Обязан ли клиент по договору факторинга к уплате финансовому агенту комиссионного вознаграждения (например, в том случае, если договор предусматривает обязательства финансового агента по ведению бухгалтерского учета)?
  5. 415. Возникают ли уступленные по договору факторинга будущие требования сразу непосредственно у нового кредитора (финансового агента) или же сперва они возникают у клиента и лишь затем автоматически переходят к финансовому агенту?
  6. 8.1. Страховые агенты
  7. Страховые агенты
  8. Обучение нескольких агентов.
  9. Взаимозависимость и взаимосвязь агентов.
  10. Несколько агентов, динамика.
  11. Один агент, динамика.
  12. Обучение страховых агентов.
  13. Обучение одного агента.