コードの中身はちょっと微妙～なんだけど、そうそう。こういう事のためにWWW::RobotRules::Parserを書いた訳ですよ。



http://search.cpan.org/~apatwa/WWW-RobotRules-MySQLCache-0.02/lib/WWW/RobotRules/MySQLCache.pm