Несколько тегов, разделённых запятой, означают логическое И между ними. Вы также можете использовать точку с запятой в качестве логического ИЛИ. И имеет высший приоритет над ИЛИ. Вы не можете использовать скобки для группировки условий. Звёздочка (*) внутри тега используется в качестве маски для "подстроки".
Robots.txt - очень полезный, но не всегда используемый инструмент, позволяющий вебмастеру контролировать то, как сайт индексируется роботами поисковых систем. Большинство "пауков" поисковых систем используют robots.txt как инструкцию по индексации сайта.