雅虎蜘蛛抓取程序争取抓到更多不需要经过网站管理员专门支持的网页，但现实中仍然还有很多网站无法被程序抓取到。无论是通过雅虎还是其他同样强大的搜索系统，都会存在这样的情况。

　　雅虎蜘蛛抓取程序支持网页框架，并努力抓取复杂的网页，例如通过表单生成的页面、内容生成系统（content generation systems）以及动态页面生成软件，网智成认为如果想要雅虎搜索引擎收录，就需要从自身网站着手，针对雅虎搜索进行优化，而不是只让搜索引擎适应自身网站的发展。