一个完整Python实战项目：selenium识别验证码实现自动登录，自动操作浏览器获取某东数据
最近都没啥时间，很久没更新了。
今天分享一下，如何用selenium识别验证码，实现自动登录以及获取数据。
目标：某东
话不多说直接开始
环境
- Python 3.10
- Pycharm
模块使用
- import random
- import time
- from selenium import webdriver
- import pyautogui
- import base64
- import ddddocr
- import csv
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)
selenium: 自动化测试模块，模拟人的行为去操作浏览器 (获取网页相关数据内容)
正常浏览网站流程
- 打开浏览器 访问网站
- 输入商品名称, 回车/点击搜索
- 输入账号密码
- 浏览器商品数据信息 (第一页)
- 继续浏览下一页
浏览器
- webdriver.Chrome() # 谷歌
- webdriver.Edge() # Edge
- webdriver.Firefox() # 火狐
建议大家用谷歌
打开浏览器可能会出现问题
- 报错大概率原因是因为浏览器驱动问题
- 驱动路径
I. 当你驱动文件和你代码放在一起 / 你驱动文件在python目录下面 (可以不用写路径)
II. 给驱动文件路径
- 驱动版本
浏览器可能自动更新 --> 驱动文件版本也要更新
大版本一样, 小版本最相近的即可 - 打开浏览器之后闪退
原因: 你的selenium版本是4.0的 需要加阻塞
运行完成程序之后, 自动结束程序…
selenium自动操作浏览器
# 打开浏览器 driver = webdriver.Chrome() # 谷歌 # 最大化浏览器窗口 driver.maximize_window() # 访问网站 driver.get('https://www.jd.com/')
输入商品名称, 回车/点击搜索按钮
通过元素定位, 找到搜索框/输入框, 然后输入内容
driver.find_element_by_id() 按 ID 查找元素 driver.find_element_by_class_name() 按类名查找元素 driver.find_element_by_css_selector() 通过 CSS 选择器查找元素 driver.find_element_by_xpath() 通过 XPath 查找元素 driver.find_element_by_id('key').send_keys('口红') # 输入关键字 driver.find_element_by_class_name('button').click() # 点击搜索按钮 # 设置等待元素加载 driver.implicitly_wait(10) # 文章不理解的话，我还专门录制了视频讲解 # 和源码一起打包好了，都放在这个抠裙了：708525271
输入账号密码, 登陆
driver.find_element_by_id('loginname').send_keys(account) # 输入账号 driver.find_element_by_id('nloginpwd').send_keys(password) # 输入密码 driver.find_element_by_id('loginsubmit').click() # 点击登陆
获取商品的数据信息
找到商品数据对应标签位置
- find_element 定位获取一个
- find_elements 定位获取多个
执行页面滚动的操作
def drop_down(): """执行页面滚动的操作""" # javascript for x in range(1, 12, 2):# 1 3 5 7 9 在你不断的下拉过程中, 页面高度也会变的 time.sleep(1) j = x / 9 # 1/9 3/9 5/9 9/9 # document.documentElement.scrollTop 指定滚动条的位置 # document.documentElement.scrollHeight 获取浏览器页面的最大高度 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js) #设置等待元素加载过程 driver.implicitly_wait(10) #下滑网页页面操作 通过selenium执行JS代码 drop_down() # 返回列表 lis = driver.find_elements_by_class_name('gl-item') # for循环遍历, 提取列表里面元素 for li in lis: title = li.find_element_by_css_selector('.p-name em').text price = li.find_element_by_css_selector('.p-price strong i').text commit = li.find_element_by_css_selector('.p-commit strong a').text shop = li.find_element_by_css_selector('.p-shop span a').text dit = { '标题': title, '价格': price, '评价': commit, '店铺': shop, } print(dit)
模块
from selenium import webdriver import base64 import time import ddddocr import pyautogui import random from password import account, password
模拟登录
driver = webdriver.Edge(r'D:\自游\京东商品\msedgedriver.exe') driver.get('https://passport.jd.com/new/login.aspx') driver.maximize_window() driver.find_element_by_id('loginname').send_keys(account) # 输入账号 driver.find_element_by_id('nloginpwd').send_keys(password) # 输入密码 driver.find_element_by_id('loginsubmit').click() # 点击登陆 time.sleep(1)
获取验证码图片
# 滑块 img_base6_1 = driver.find_element_by_css_selector('.JDJRV-smallimg img').get_attribute('src').split(',')[-1] # 缺口 img_base6_2 = driver.find_element_by_css_selector('.JDJRV-bigimg img').get_attribute('src').split(',')[-1] img_content_1 = base64.b64decode(img_base6_1) with open('yzm_1.png', mode='wb') as f: f.write(img_content_1) img_content_2 = base64.b64decode(img_base6_2) with open('yzm_2.png', mode='wb') as f: f.write(img_content_2)
识别验证码 滑块到缺口距离
det = ddddocr.DdddOcr(det=False, ocr=False) res = det.slide_match(img_content_1, img_content_2, simple_target=True) target = res['target'][0] * 0.67
滑动滑块识别验证
pyautogui.click(x=1502, y=482, button='left') # 按住鼠标 pyautogui.dragTo(x=1502+target, y=482, duration=1.5) print(res) # 代码自取扣裙 708525271
文章不理解的话，我还专门录制了视频讲解，和源码一起打包好了，上方自取
今天的分享就到这里，溜了溜了~