как сделать сайт пошаговая инструкция  

   

как сделать robots txt

как сделать robots txt

Мы иногда началм встречать такой казус, что люди на своем сайте даже не добавляют файл robots.txt. И я удивляюсь, что сложного найти и прописать стандартный роботс для своего сайта? Или лень, или не знают об этом.

Для чего собственно нужен robots.txt? Да элементарно, чтобы ваш сайт поисковик лучше загружал. Роботсом мы закрываем все лишние директории сайта, которые не нужны для робота или мы не хотим, чтобы робот их видел.

Прежде чем читать далее посмотрите данное видео, чтобы осталось меньше вопросов и мы могли следовать дальше.

robots.txt для WordPress:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

robots.txt для DataLife Engine (DLE):

User-agent: *
Disallow: /engine/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /admin.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*page
Disallow: /page/
Disallow: /tags/

robots.txt для Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /component/*
Disallow: /component/search/
Disallow: /component/content/
Disallow: /images/ — эту строчку добавлять если не нужен индекс
картинок
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Важно файл robots.txt закидывать только в основную папку сайта через фтп доступ. Создавать обычный блокнот, туда вписывать все что нужно и загружать под указанным именем. Помните что «Robots» — это уже ошибка и как запрет для индексации так и разрешение индексировать поисковыми системами ваш сайт.

Еще нужно прописывать в роботс такие моменты Host:ваш сайт или Host:www.ваш сайт — так мы указываем основное зеркало сайта.

А также Sitemap: «Ссылка на карту сайта» — если есть карта сайта, то полезно указать в роботсе.

   
   
   
   
   
Нажмите здесь, чтобы присоединиться {х}
   

спонсоры проекта  

проститутки москвы метро москвы | проститутки Питера старые | проститутки Питера выезд | Видео порно с проститутками Самары. транслировать на телевизор Всё теперь включаю телевизор и сейчас покажу как настраивать работать с этим устройством и так мы подключились. Включили телевизор теперь выбираем наш разъём у меня — это 2. Как видно написано нас ожидает подключения для android-устройств подключение прям совсем простое особенно у меня вот телефон Galaxy A3 2015 года выпуска.
   

спонсоры проекта  

   

продвижение сайта самостоятельно  

http://www.mainlink.ru/?partnerid=214629

Оптимизация и продвижение сайта

Регистрация сайта в 200 белых каталогах статей

http://www.mainlink.ru/?partnerid=72501

Русский автосерфинг

Sell links for Google.We earn 1000$ per month selling links, and what about you?

Как заработать биткоин

 

читать книги онлайн бесплатно и без регистрации

уроки фотошо бесплатно для начинающих

читать книги онлайн бесплатно и без регистрации

простые и вкусные рецепты

вкусные и простые рецепты

фотошоп уроки для начинающих

фотошоп уроки бесплатно онлайн

официальные биржи криптовалют

курс доллара в банках на сегодня

курс валют на сегодня

курс доллара на сегодня

курс евро в банках на сегодня 

курс евро на сегодня

интернет магазин

купить в интернет магазине

купить квартиру в сочи

купить дом в сочи

купить квартиру в сочи

снять квартиру в сочи

автомастер с выездом сочи

автоэлектрик с выездом в сочи

грузоперевозки по России цены

перевозки автомобильным транспортом

программирование с нуля самоучитель 

самоучитель по программированию

ремонт квартир под ключ в москве цена

ремонт квартир в москве цены

   
   
   
   
   
© как сделать сайт,как заработать в интернете,как заработать на сайте