Python爬虫如何爬取动态下拉菜单_利用Selenium模拟交互点击

所以，不要只点选项，点完后要手动触发关键事件。比如用 element.send_keys(Keys.ENTER) 或 driver.execute_script("arguments[0].dispatchEvent(new Event('change', { bubbles: true }));", select_element) 来触发 change 事件。有些下拉是“伪 select”，实际上是 div + ul + li 结构，选中后可能还需要额外点击“确认”按钮，或者等待异步回调完成。打开浏览器DevTools的Network面板，手动操作一次，看看触发了什么请求、带了什么参数，然后在爬虫里尽量复现相同的行为。

顺便提一下，原生 select 标签和非原生下拉组件的行为差异很大：前者可以用 Select 类，后者必须模拟真实交互。

频繁被反爬拦截？Selenium的指纹太明显了

跑了几次就被验证码或403拦住了，这通常不是IP的问题，而是Selenium启动的Chrome暴露了大量自动化特征，比如 webdriver 属性、缺少真实用户的行为序列。网站很容易识别出你是一个“机器人”。

要解决这个问题，可以从几个方面入手。启动时加参数禁用自动化标志：options.add_experimental_option("excludeSwitches", ["enable-automation"]) 和 options.add_argument("--disable-blink-features=AutomationControlled")。启动后立即执行 driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": "Object.defineProperty(na vigator, 'webdriver', {get: () => undefined})"}) 来隐藏特征。鼠标移动时，避免直线移动，用 ActionChains 做小幅偏移、暂停、缓慢移动，模拟真实用户的操作。

如果只是偶尔用，换 undetected-chromedriver 更省事，但要注意它版本迭代快，uc.Chrome() 初始化方式经常变。

说到底，最麻烦的不是点不开菜单，而是菜单点了、选了、事件也触发了，但接口返回空数据。这时候，就得回头抓包看请求头里缺了哪个token，或者Cookie是否过期。动态菜单背后的数据链路，往往比交互本身更脆弱，也更值得深挖。