Что такое robots.txt? - это технический файл, который размещен в корневой папке  сайта. Зачем нужен robots.txt? - когда бот с поисковых систем входит на ваш сайт, то сначала он ищет файл robots.txt, анализирует его, а затем приступает к индексации страниц сайта в соответствии с правилами, прописанными для него в файле robots.txt. Таким образом, файл robots.txt нужен для  того, чтобы описать  исключения для поисковых роботов, т.е. дать им указание  на то, какие страницы, файлы не индексировать.

 Стандартный  robots.txt  для Joomla! выглядит так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Правильный   robots.txt  для Joomla! :

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/ 
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /index.php?*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 2
Host: вашсайт.ру 
Sitemap: http://ссылка на карту сайта=xml 

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/ 
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?sl*
Disallow: /index.php?*
Disallow: *.pdf$
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 2
Host: вашсайт.ру
Sitemap: http://ссылка на карту сайта=xml

Дополнительные пояснения к двум строчкам файла:

1) Host: вашсайт.ру (или www.вашсайт.ру -это уж в зависимости от вашего пожелания).
Но! - никаких http до и слэшей после!!!

2) Sitemap: http://ссылка на карту сайта=xml

Самый популярный компонент для создания карты сайта  на Joomla! - это Xmap, описанный в уроке "Компонент Xmap для создания карты сайта" . После установки компонента откройте его через меню Компоненты>>Xmap, и найдите в настройках место, которое я выделила на картинке синим цветом:

Понятно, что вместо названия моего сайта у вас будет своё. Скопируйте эту строчку в файл robots.txt.

Вот как выглядят две строчки в файле robots.txt  моего сайта:

Host: joomlalessons.ru
Sitemap: http://joomlalessons.ru/index.php?option=com_xmap&;sitemap=1&view=xml