相关介绍 Screaming frog是最好用的爬虫模拟软件/工具，它可以快速爬取你整站的URL，分析TDK、状态码、http、重定向、文件大小、内链数、SERP等等。他是On-page的非常好的工具。免费版可以抓取500链接，对于一般的网站也够用。 Screaming frog的功能 1、文件类别（html、javascript、css、image、pdf、flash、other）； 2、HTTP 状态码（Status Code）； 3、Page Title 和Page Title 的长度； 4、Meta Description 和Meta Description 的长度； 5、Meta Keywords 和Meta Keywords 的长度； 6、H1 和H1 的长度； 7、H2 和H2 的长度； 8、Canonical URL； 9、文件大小：网址和图片的大小。 Screaming frog可以让蜘蛛在网页上不断的搜索需要的资源，可以设置搜索的一个主要网页地址，并设置自定义分析扩展页面的功能，这样软件就会自动在一个网站上分析几十个、上百个网页界面，通过Screaming Frog