Много оператори на уебсайтове са неуредени. Очевидно абсолютно трябва да имате файл, наречен robots.txt. Какво е?
Windows + Linux / английски / с отворен код. Ако имате начална страница, обикновено искате да бъдете намерени. Има голямо разочарование, когато собствената ви страница не се показва в Google. Това може да се дължи на файла robots.txt. Но само ако е там. Този файл може да направи само едно нещо: забрана.
Във файла robots.txt можете да забраните на автоматичните програми, които денонощно сърфират в Интернет, достъп до вашите страници. Можете да обявите забраната навсякъде за всички тези роботи или за някои от тях. Можете да блокирате страниците си напълно или само определени области.
Ако файлът не съществува, съответно няма забрани. Вашите страници са отворени за всички търсачки. Ако все още не се появявате в Google, възниква съвсем друг въпрос: Вече сте регистрирали своите страници? Най -доброто нещо, което трябва да направите, е да направите това веднага. Просто въведете адреса тук:
https://www.google.com/webmasters/tools/submit-url
За да направите това, трябва да влезете в профила си в Google.
За да може да липсва липсващ файл robots.txt, сървърът също трябва да бъде конфигуриран неправилно. Тогава роботът може да се опита да получи достъп до файла и да срещне необичайни съобщения за грешка, което да доведе до прекъсване на процеса. Но този случай е много малко вероятен.
Ако искате да създадете файл robots.txt, запишете го в главната папка на вашия уеб сървър. Ако искате да позволите на всички да правят всичко, напишете следното:
Потребителски агент: *
Забрани:
Редът "User-Agent" показва за кого се прилага забраната. * означава: за всички. Редът „Disallow“ изразява забраната. Ако няма нищо повече, това означава, че всички достъпи са разрешени.
Още по темата:Завесете, тук идва вашият уебсайт: Как да създадете уебсайт с малко усилия
