Для ссылок вида: http://ya.ru/katalog/%D1%E5%F0%E6_%D0%FF%E1%F3%EA%E8%ED - ничего не происходило, содержимое не обрабатывалось, но при переходе напрямую в каталог http://ya.ru/katalog/ или http://ya.ru/katalog/index.php происходил редирект на главную.
Добавлено спустя   9 минут  6 секунд:
если такое возможно, сделать исключения для страниц которые находятся после /catalog/

RewriteRule

можно, а в php логику переадресации перенести никак?

в пшп можно, но я незнаю как мне легче через htaccess

создай index.php если нету и редиректи все куда надо)
или если есть проверяй переменную $_SERVER['QUERY_STRING'];

дело в том что этой категории как нет таковой она полностью генерируется в хтачисе

RewriteRule ^cast/([^/]*)(/?)+$ index.php?do=actors&actor=$1 [L]
RewriteRule ^cast/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=actors&actor=$1&cstart=$2 [L]

сторонним модулем, а сама cms такой вид ссылок обрабатывает категорией, если не созданна категория, то будет ошибка 404,

как-то так

Этот вариант не сделает исключение и перенаправит все ссылки вида /katalog/бла бла бла               на я.ру, но у меня и так не работает что то мешает

почему это все перенаправит?
там жестко прописано 2 адреса (ну 3).