Компьютерный форум
Правила
Вернуться   Компьютерный форум > Форум программистов > Веб-программирование
Перезагрузить страницу Редактирование robots.txt снятие запрета на индексацию файлов
Ответ
 
Опции темы Опции просмотра
  (#1 (permalink)) Старый
Роман999 Роман999 вне форума
Member
 
Аватар для Роман999
 
Сообщений: 473
Сказал(а) спасибо: 32
Поблагодарили 43 раз(а) в 42 сообщениях
Регистрация: 01.08.2011
По умолчанию Редактирование robots.txt снятие запрета на индексацию файлов - 05.03.2016, 11:25

Всем добрый день!
По сути описание темы в заголовке.

При анализе ресурса, увидел что в robots.txt стоит запрет на индексацию фалов (фото).

Скоро сутки уже пройдут, как я стараюсь разобраться в robots.txt и снять запрет на индексацию.

Помогите пожалуйста.
Вложения
Тип файла: txt robots.txt.txt (1.4 Кб, 92 просмотров)
Ответить с цитированием
  (#2 (permalink)) Старый
CrazyPappulues CrazyPappulues вне форума
Новичок
 
Сообщений: 2
Сказал(а) спасибо: 0
Поблагодарили 1 раз в 1 сообщении
Регистрация: 07.03.2016
По умолчанию 07.03.2016, 18:24

а зачем индексировать файлы? это же впринципе не очень нужно и можно же полностью очистить robots а потом добавить что не надо потихоньку собирая файл
Ответить с цитированием
Пользователь сказал cпасибо:
Роман999 (07.03.2016)
  (#3 (permalink)) Старый
Роман999 Роман999 вне форума
Member
 
Аватар для Роман999
 
Сообщений: 473
Сказал(а) спасибо: 32
Поблагодарили 43 раз(а) в 42 сообщениях
Регистрация: 01.08.2011
По умолчанию 07.03.2016, 21:01

Цитата:
Сообщение от CrazyPappulues Посмотреть сообщение
а зачем индексировать файлы? это же впринципе не очень нужно и можно же полностью очистить robots а потом добавить что не надо потихоньку собирая файл
Уже разобрался.
На бесплатном варианте форума материалы грузятся не на него а на хостинг.
Так что уже не надо.
Ответить с цитированием
  (#4 (permalink)) Старый
Помощь студентам Помощь студентам вне форума
Member
 
Сообщений: 35
Сказал(а) спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Регистрация: 30.08.2015
По умолчанию 29.04.2016, 10:03

Если не понятно как работает robots.txt, то просто сделайте его пустым.
Ответить с цитированием
  (#5 (permalink)) Старый
Hemingway87 Hemingway87 вне форума
Member
 
Аватар для Hemingway87
 
Сообщений: 33
Сказал(а) спасибо: 7
Поблагодарили 1 раз в 1 сообщении
Регистрация: 13.07.2016
По умолчанию 21.07.2016, 23:15

Не понимаю для чего лишний раз усложнять себе работу под каждый бот писать отдельные команды. Достаточно указать User-agent: *, а дальше выделить командой Allow какие папки открыть для индексирования, Disallow закрыть.
Тем более вышла новая справка от Яндекса насчет этих двух директив
Ответить с цитированием
Ads.
  (#6 (permalink)) Старый
Помощь студентам Помощь студентам вне форума
Member
 
Сообщений: 35
Сказал(а) спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Регистрация: 30.08.2015
По умолчанию 21.07.2016, 23:36

Цитата:
Сообщение от Hemingway87 Посмотреть сообщение
Не понимаю для чего лишний раз усложнять себе работу под каждый бот писать отдельные команды. Достаточно указать User-agent: *
-Достаточно просто не писать robots.txt. Этот файл вообще не нужен тем, кто им озабочен.

Закрытие разделов от индексации делается другими методами. Robots.txt наверно полезен только для исправления логики работы с ссылками - удаление параметров сессии и "random".
Ответить с цитированием
  (#7 (permalink)) Старый
Роман999 Роман999 вне форума
Member
 
Аватар для Роман999
 
Сообщений: 473
Сказал(а) спасибо: 32
Поблагодарили 43 раз(а) в 42 сообщениях
Регистрация: 01.08.2011
По умолчанию 22.07.2016, 12:34

Если бы я имел достаточное образование, то я бы не просил помощи.
Что крякать то тут?
Вопрос то закрыт.

Последний раз редактировалось Роман999; 22.07.2016 в 12:39
Ответить с цитированием
  (#8 (permalink)) Старый
Hemingway87 Hemingway87 вне форума
Member
 
Аватар для Hemingway87
 
Сообщений: 33
Сказал(а) спасибо: 7
Поблагодарили 1 раз в 1 сообщении
Регистрация: 13.07.2016
По умолчанию 26.07.2016, 20:18

Цитата:
Сообщение от Роман999 Посмотреть сообщение
Если бы я имел достаточное образование, то я бы не просил помощи.
Что крякать то тут?
Вопрос то закрыт.
Пускай модераторы закрывают тему, а я выскажусь у меня ещё остались слова.

Цитата:
Сообщение от Помощь студентам Посмотреть сообщение
-Достаточно просто не писать robots.txt. Этот файл вообще не нужен тем, кто им озабочен.
Если бы так было как ты написал, то любую информацию можно было вытянуть с сайта, а количество всякого ненужного хлама, которое будет мешать индексировать весь сайт, а также позволит злоумышленникам в легкую спарсить весь код твоего сайта и ещё хуже взломать твою админку. + Прибавь ко всему этому огромное ненужное количество малоинформативных страниц с пагинацией.

Запрет на индексирование контента хорошо работает в связке Robots.txt + мета теги.
Ответить с цитированием
  (#9 (permalink)) Старый
Роман999 Роман999 вне форума
Member
 
Аватар для Роман999
 
Сообщений: 473
Сказал(а) спасибо: 32
Поблагодарили 43 раз(а) в 42 сообщениях
Регистрация: 01.08.2011
По умолчанию 28.07.2016, 14:39

Ты не пугай меня так)) Мошенников конечно много.
Ответить с цитированием
  (#10 (permalink)) Старый
Помощь студентам Помощь студентам вне форума
Member
 
Сообщений: 35
Сказал(а) спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Регистрация: 30.08.2015
По умолчанию 28.07.2016, 16:11

Цитата:
Сообщение от Hemingway87 Посмотреть сообщение
а также позволит злоумышленникам в легкую спарсить весь код твоего сайта и ещё хуже взломать твою админку
-Это бред ТП. Robots.txt никак не влияет на возможность скачивать страницы и тем более что-то там взламывать. Этот файл используется исключительно поисковыми системами и не влияет на настройки доступа в традиционных HTTP-серверах.
Ответить с цитированием
  (#11 (permalink)) Старый
Hemingway87 Hemingway87 вне форума
Member
 
Аватар для Hemingway87
 
Сообщений: 33
Сказал(а) спасибо: 7
Поблагодарили 1 раз в 1 сообщении
Регистрация: 13.07.2016
По умолчанию 28.07.2016, 16:38

Цитата:
Сообщение от Помощь студентам Посмотреть сообщение
-Это бред ТП. Robots.txt никак не влияет на возможность скачивать страницы и тем более что-то там взламывать. Этот файл используется исключительно поисковыми системами и не влияет на настройки доступа в традиционных HTTP-серверах.
Прежде чем писать что это бред, ты хоть раз на практике это проверял? Я вот проверял и мне удавалось заходить в админку чужого сайта. К примеру если отсутствует файл robots.txt и присутствует на сайте папка backup то не составит труда скачать файл к себе на компьютер и посмотреть пароли от базы данных, административной панели. Здесь бесконечно можно спорить о необходимости файла Robots.txt

Далеко в лес не нужно ходить, возьмите любой крупный сайт и у него обязательно найдется robots.txt и все по какой-то непонятно причине закрывают папки wp-admin, login, admin и т.д.

Элементарная логика ничего более.
Ответить с цитированием
  (#12 (permalink)) Старый
Помощь студентам Помощь студентам вне форума
Member
 
Сообщений: 35
Сказал(а) спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Регистрация: 30.08.2015
По умолчанию 28.07.2016, 17:18

Эту чушь может писать только ТП даже поверхностно не знакомая с работой HTTP-серверов.
Ответить с цитированием
Ads
  (#13 (permalink)) Старый
GTAlex GTAlex вне форума
Member
 
Сообщений: 23
Сказал(а) спасибо: 0
Поблагодарили 0 раз(а) в 0 сообщениях
Регистрация: 02.11.2016
По умолчанию 13.12.2016, 07:41

убей роботс и всего делов
Ответить с цитированием
Ads
Ответ

Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Trackbacks are Вкл.
Pingbacks are Вкл.
Refbacks are Выкл.


Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Снятие пароля с диска WD karel Накопители 7 24.07.2015 21:17
Снятие защиты с диска. Вячеслав 20 Любые вопросы от новичков 6 04.12.2013 05:29
Снятие вентилятора с радиатора zhe2605 Охлаждение и разгон 3 26.08.2012 22:07
Снятие скринов с экрана WinUser Любые вопросы от новичков 5 30.03.2012 18:11
Снятие ограничения скорости с ADSL? murik279 Любые вопросы от новичков 7 21.03.2011 18:26
Снятие пароля с жесткого диска IDE 2.5 сват Любые вопросы от новичков 0 20.03.2011 21:45
Снятие пароля Alexwas Ноутбуки 8 30.03.2008 21:52
Снятие защиты с ПАПКИ??????СРОЧНО! Max Администрирование и базы данных 4 27.03.2008 16:32
Снятие данных Lado Rain Prolog 5 25.08.2006 16:32
Как программно выполнить индексацию БД на ACCESS DeusEx C++ Builder 2 18.11.2005 05:13
Ключ для установки запрета HKCUSoftwareMicrosoftWindowsCurrentVersionPolicies System Bad-Teo C++ Builder 29 11.08.2004 03:50
Как можно организовать индексацию базы Pdox Anonymous Другие СУБД 0 31.05.2003 07:08



Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2018, Jelsoft Enterprises Ltd.
Нardforum.ru - компьютерный форум и программирование, форум программистов