За замовчуванням будь який сайт на WordPress вже має стандартний robots.txt. Він має наступний набір правил:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Щоб додати свої правила, скористайтесь хуком:

add_filter( 'robots_txt', 'robots_mod', 10, 2 );
function robots_mod( $output, $public ) {
	$output .= "Allow: .js\n";
	return $output;
}

У підсвіченому рядку вкажіть своє правило, і у випадку, якщо потрібно створити ще одне, повторіть рядок 3, вписавши наступне правило. Для перевірки перейдіть за адресою: https://yoursite.url/robots.txt. У цьому випадку ми отримаємо наступний результат:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Allow: .js