php是最好的语言

python3利用requests绑定ipv6爬取数据

因为ipv6服务器可以有很多个ip这样子 每次爬取就换一个ip,至于怎样获取本机的ipv6的地址自己百度 这里说一下用requests爬取绑定ipv6,其他函数爬取的自行百度,


使用ipv6的前提是对方网站允许我们ipv6访问


谷歌搜索可以 谷歌学术不可以的原因(https://www.tomorrow.wiki/archives/672#respond),其他网站同理

import requests,sys,socket
from requests_toolbelt.adapters import source

s = requests.Session()
new_source = source.SourceAddressAdapter('2604:d180:36:65af:83c9:e4e9:9c9b:70b1') #这里是ipv6地址 当然这里我是随便给的一个没用的
s.mount('http://', new_source)
s.mount('https://', new_source)
print(s.get('http://www.google.com').text)


作者:xTao 分类:LNMP 浏览:3036 评论:0