Python中如何使用Github用户数据爬虫，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
前言
主要目标是爬取Github上指定用户的粉丝数据以及对爬取到的数据进行一波简单的可视化分析。 让我们愉快地开始吧~
开发工具
Python版本：3.6.4
相关模块：
bs4模块；
requests模块；
argparse模块；
pyecharts模块；
以及一些python自带的模块。
安装Python并添加到环境变量，pip安装需要的相关模块即可。
感觉好久没用beautifulsoup了，所以今天就用它来解析网页从而获得我们自己想要的数据呗。以我自己的账户为例：
我们先抓取所有关注者的用户名，它在类似如下图所示的标签中：
用beautifulsoup可以很方便地提取它们：
'''获得followers的用户名'''
def getfollowernames(self):
print('[INFO]: 正在获取%s的所有followers用户名...' % self.target_username)
page = 0
follower_names = []
headers = self.headers.copy()
while True:
page += 1
followers_url = f'https://github.com/{self.target_username}?page={page}&tab=followers'
try:
response = requests.get(followers_url, headers=headers, timeout=15)
html = response.text
if 've reached the end' in html:
break
soup = BeautifulSoup(html, 'lxml')
for name in soup.find_all('span', class_='link-gray pl-1'):
print(name)
follower_names.append(name.text)
for name in soup.find_all('span', class_='link-gray'):
print(name)
if name.text not in follower_names:
follower_names.append(name.text)
except:
pass
time.sleep(random.random() + random.randrange(0, 2))
headers.update({'Referer': followers_url})
print('[INFO]: 成功获取%s的%s个followers用户名...' % (self.target_username, len(follower_names)))
return follower_names接着，我们就可以根据这些用户名进入到他们的主页来抓取对应用户的详细数据了，每个主页链接的构造方式为：
https://github.com/ + 用户名 例如: https://github.com/CharlesPikachu
我们想要抓取的数据包括：
同样地，我们利用beautifulsoup来提取这些信息：
for idx, name in enumerate(follower_names):
print('[INFO]: 正在爬取用户%s的详细信息...' % name)
user_url = f'https://github.com/{name}'
try:
response = requests.get(user_url, headers=self.headers, timeout=15)
html = response.text
soup = BeautifulSoup(html, 'lxml')
# --获取用户名
username = soup.find_all('span', class_='p-name vcard-fullname d-block overflow-hidden')
if username:
username = [name, username[0].text]
else:
username = [name, '']
# --所在地
position = soup.find_all('span', class_='p-label')
if position:
position = position[0].text
else:
position = ''
# --仓库数, stars数, followers, following
overview = soup.find_all('span', class_='Counter')
num_repos = self.str2int(overview[0].text)
num_stars = self.str2int(overview[2].text)
num_followers = self.str2int(overview[3].text)
num_followings = self.str2int(overview[4].text)
# --贡献数(最近一年)
num_contributions = soup.find_all('h3', class_='f4 text-normal mb-2')
num_contributions = self.str2int(num_contributions[0].text.replace('\n', '').replace(' ', ''). \
replace('contributioninthelastyear', '').replace('contributionsinthelastyear', ''))
# --保存数据
info = [username, position, num_repos, num_stars, num_followers, num_followings, num_contributions]
print(info)
follower_infos[str(idx)] = info
except:
pass
time.sleep(random.random() + random.randrange(0, 2))这里以我们自己的粉丝数据为例，大概1200条吧。
先来看看他们在过去一年里提交的代码次数分布吧：
提交最多的一位名字叫fengjixuchui，在过去一年一共有9437次提交。平均下来，每天都得提交20多次，也太勤快了。
再来看看每个人拥有的仓库数量分布呗：
本以为会是条单调的曲线，看来低估各位了。
接着来看看star别人的数量分布呗：
还行，至少不全都是"潜水白嫖"的
。表扬一下名为lifa123的老哥，竟然给别人了18700个????，也太秀了。
再来看看这1000多个人拥有的粉丝数量分布呗：
关于Python中如何使用Github用户数据爬虫问题的解答就分享到这里了，希望以上内容可以对大家有一定的帮助，如果你还有很多疑惑没有解开，可以关注亿速云行业资讯频道了解更多相关知识。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
