Name		Name	Last commit message	Last commit date
Latest commit History 5 Commits
.idea		.idea
style		style
webstat		webstat
.gitignore		.gitignore
README.md		README.md
favicon.ico		favicon.ico
get.php		get.php
get.php.bak		get.php.bak
index.html		index.html
robots.txt		robots.txt
views.php		views.php

Repository files navigation

test-robots

About

Должно быть поле для ввода адреса сайта Вводим в это поле адрес - и скрипт выполняет следующие проверки 1. Наличие на сайте файла robots.txt 2. Код ответа сервера файла robots.txt 3. Вес robots.txt 4. Наличие директивы Host в файле robots.txt и т.д.

Readme