1、遍历单个域名
维基百科那些指向词条页面（不是指向其他内容页面）的链接有三个共同点：
• 它们都在id是bodyContent的div标签里
• URL链接不包含分号
• URL链接都以/wiki/开头
# -*- coding: utf-8 -*-import refrom urllib.request import urlopenfrom bs4 import BeautifulSouphtml = urlopen("http://en.wikipedia.org/wiki/Kevin_Bacon")bsObj = BeautifulSoup(html, "lxml")for link in bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$")): if 'href' in link.attrs: print(link.attrs['href']) 运行以上代码，就会看到维基百科上凯文·贝肯词条里所有指向其他词条的链接。
简单地构建一个从一个页面到另一个页面的爬虫：
# -*- coding: utf-8 -*-import reimport datetimeimport randomfrom urllib.request import urlopenfrom bs4 import BeautifulSoup# 用系统当前时间生成一个随机数生成器random.seed(datetime.datetime.now())def getLinks(articleUrl): html = urlopen("http://en.wikipedia.org"+articleUrl) bsObj = BeautifulSoup(html ,"lxml") return bsObj.find("div", {"id":"bodyContent"}).findAll("a", href=re.compile("^(/wiki/)((?!:).)*$"))links = getLinks("/wiki/Kevin_Bacon")while len(links) > 0: newArticle = links[random.randint(0, len(links)-1)].attrs["href"] print(newArticle) links = getLinks(newArticle) 程序首先把起始页面里的词条链接列表设置成链接列表。然后用一个循环，从页面中随机找一个词条链接标签并抽取href属性，打印这个页面链接，再把这个链接传入getLinks函数重新获取新的链接列表。
2、采集整个网站
首先要做的就是对链接去重，以避免一个页面被重复采集。
接着我们可以打印出“页面标题、正文的第一个段落，以及编辑页面的链接（如果有的话）”。
# -*- coding: utf-8 -*-import refrom urllib.request import urlopenfrom bs4 import BeautifulSouppages = set()def getLinks(pageUrl): global pages html = urlopen("http://en.wikipedia.org"+pageUrl) bsObj = BeautifulSoup(html, "lxml") try: print(bsObj.h1.get_text()) print(bsObj.find(id="mw-content-text").findAll("p")[0]) print(bsObj.find(id="ca-edit").find("span").find("a").attrs['href']) except AttributeError: print("页面缺少一些属性！不过不用担心！") for link in bsObj.findAll("a", href=re.compile("^(/wiki/)")): if 'href' in link.attrs: if link.attrs['href'] not in pages: # 我们遇到了新页面 newPage = link.attrs['href'] print("----------------\n"+newPage) pages.add(newPage) getLinks(newPage)getLinks("") 以上程序一开始用getLinks处理一个空URL（其实是维基百科的主页）。接着打印出需要输出的信息，然后遍历页面上的每个链接，并检查是否已经在全局变量集合pages里面了（已经采集的页面集合）。如果不在，就打印到屏幕上，并把链接加入pages 集合，再用getLinks递归地处理这个链接。
3、通过互联网采集
# -*- coding: utf-8 -*-import reimport datetimeimport randomfrom urllib.request import urlopenfrom bs4 import BeautifulSouppages = set()random.seed(datetime.datetime.now())# 获取页面所有内链的列表def getInternalLinks(bsObj, includeUrl): internalLinks = [] # 找出所有以"/"开头的链接 for link in bsObj.findAll("a", href=re.compile("^(/|.*"+includeUrl+")")): if link.attrs['href'] is not None: if link.attrs['href'] not in internalLinks: internalLinks.append(link.attrs['href']) return internalLinks # 获取页面所有外链的列表def getExternalLinks(bsObj, excludeUrl): externalLinks = [] # 找出所有以"http"或"www"开头且不包含当前URL的链接 for link in bsObj.findAll("a", href=re.compile("^(http|www)((?!"+excludeUrl+").)*$")): if link.attrs['href'] is not None: if link.attrs['href'] not in externalLinks: externalLinks.append(link.attrs['href']) return externalLinks def splitAddress(address): addressParts = address.replace("http://", "").split("/") return addressParts def getRandomExternalLink(startingPage): html = urlopen(startingPage) bsObj = BeautifulSoup(html, "lxml") externalLinks = getExternalLinks(bsObj, splitAddress(startingPage)[0]) if len(externalLinks) == 0: internalLinks = getInternalLinks(startingPage) return getNextExternalLink(internalLinks[random.randint(0, len(internalLinks)-1)]) else: return externalLinks[random.randint(0, len(externalLinks)-1)] def followExternalOnly(startingSite): externalLink = getRandomExternalLink("http://oreilly.com") print("随机外链是："+externalLink) followExternalOnly(externalLink) followExternalOnly("http://oreilly.com") 上面这个程序从http://oreilly.com开始，然后随机地从一个外链跳到另一个外链。
网站首页上并不能保证一直能发现外链。这时为了能够发现外链，就需要递归地深入一个网站直到找到一个外链才停止。如果爬虫遇到一个网站里面一个外链都没有，这时程序就会一直在这个网站运行跳不出去，直到递归到达Python的限制为止。
如果我们的目标是采集一个网站所有的外链，并且记录每一个外链，可以增加下面的函数：
allExtLinks = set()allIntLinks = set()def getAllExternalLinks(siteUrl): html = urlopen(siteUrl) bsObj = BeautifulSoup(html, 'lxml') internalLinks = getInternalLinks(bsObj,splitAddress(siteUrl)[0]) externalLinks = getExternalLinks(bsObj,splitAddress(siteUrl)[0]) for link in externalLinks: if link not in allExtLinks: allExtLinks.add(link) print(link) for link in internalLinks: if link not in allIntLinks: print("即将获取链接的URL是："+link) allIntLinks.add(link) getAllExternalLinks(link)getAllExternalLinks("http://oreilly.com") 4、用Scrapy采集
创建Scrapy项目：在当前目录中会新建一个名称也是wikiSpider的项目文件夹。
scrapy startproject wikiSpider
在items.py文件中，定义一个Article类。
# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# from scrapy import Item, Fieldclass Article(Item): # define the fields for your item here like: # name = scrapy.Field() title = Field()
在wikiSpider/wikiSpider/spiders/文件夹里增加一个articleSpider.py文件。
from scrapy.selector import Selectorfrom scrapy import Spiderfrom wikiSpider.items import Articleclass ArticleSpider(Spider): name = "article" allowed_domains = ["en.wikipedia.org"] start_urls = ["http://en.wikipedia.org/wiki/Main_Page", "http://en.wikipedia.org/wiki/Python_%28programming_language%29"] def parse(self, response): item = Article() title = response.xpath('//h1/text()')[0].extract() print("Title is: " + title) item['title'] = title return item 在wikiSpider主目录中用如下命令运行ArticleSpider：
scrapy startproject wikiSpider
陆续出现的调试信息中应该会这两行结果：
Title is: Main PageTitle is: Python (programming language)
*可以在Scrapy项目中的setting.py文件中设置日志显示层级：
LOG_LEVEL = 'ERROR'
Scrapy日志有五种层级，按照范围递增顺序排列如下：CRITICAL，ERROR，WARNING，DEBUG，INFO
也可以输出（追加）到一个独立的文件中：
scrapy crawl article -s LOG_FILE=wiki.logTitle is: Main PageTitle is: Python (programming language)
Scrapy支持用不同的输出格式来保存这些信息，对应命令如下所示：
scrapy crawl article -o articles.csv -t csvscrapy crawl article -o articles.json -t jsonscrapy crawl article -o articles.xml -t xml
也可以自定义Item对象，把结果写入你需要的一个文件或数据库中，只要在爬虫的parse部分增加相应的代码即可。