蜘蛛通常从网站首页开始读取网页内容，找到网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，一传十，十传百，直到把这个网站所有的网页都抓取完。
但蜘蛛有时候并不能抓取回网站的完整信息，因为有些阿站的设计没有符合蜘蛛的“习性”。比如有些网页很庞大，蜘蛛只能抓取到部分内容，只能沿着部分链接爬行，这就产生了网站优化的问题，也即搜索引擎优化要依照蜘蛛的习性进行网站设计。
搜索引擎优化简称SEO，它的任务是在确定某几个关键词的前提下，通过研究搜索引擎如何抓取页面并依此对网页进行优化，从而提高网站访问量，最终使网站的自然排名得以提升的技术。
任何网站都需要SEO，就像每个人都要洗脸一样，洗脸还不够，还要尽量化妆打扮一下，让你在茫茫人海中保持着较高的回头率。
搜索引擎虽然希望网站能有好的结构，更容易被它抓取和索引，但千万别通过作弊手段把低质量内容的网站排名在搜索结果前面，影响了用户体验，否则会遭受按索引擎严厉的惩罚。
