这里有一个需求就是同时发起多个请求 其中一个请求先返回数据 就停止其他请求from multiprocessing import Process,Pool
import time
allData = []
p = ""
#子进程任务
def one():
time.sleep(1)
mythead.py #这里是封装的线程 可以返回结果 默认的是不返回结果#重新封装多线程为了获取返回结果
from threading import Thread
class ThreadWithReturnValue(Thread):
def __init__(self, group=None, target=None, name=None, 
因为ipv6服务器可以有很多个ip这样子 每次爬取就换一个ip,至于怎样获取本机的ipv6的地址自己百度 这里说一下用requests爬取绑定ipv6,其他函数爬取的自行百度,使用ipv6的前提是对方网站允许我们ipv6访问谷歌搜索可以 谷歌学术不可以的原因(https://www.tomorrow.wiki/archives/672#respond),其他网站同理import requests,sys,socket
from requests_toolbelt.adapt
解决方案来自https://blog.csdn.net/u011415481/article/details/80794567
在服务器上正常爬取接口然后.json()结果:
UnicodeEncodeError: ‘ascii’ codec can’t encode character ‘\U0001f621’ in posit....
类似这种类型的错误
在本地正常
>>>