IErMei-HeaderLinker 是一款功能强大的网页链接提取与处理工具，专为需要批量抓取、筛选和处理网页链接的用户设计。它支持从多个分页中提取链接，并提供了灵活的筛选、处理和发送请求头的功能。无论是数据采集、爬虫开发，还是批量请求测试，IErMei-HeaderLinker 都能高效完成任务。

通过 IErMei-HeaderLinker，您可以：

• 从分页 URL 中批量提取链接。
• 根据关键词筛选链接。
• 去除链接中的路径地址或查询参数。
• 自动补全链接并添加协议头。
• 并发发送请求头到提取的链接。

使用方法

1. 源网址输入

格式：源网址必须包含通配符 *，用于表示分页位置。例如：

这里的 * 会被替换为具体的页码。

2. 分页范围

• 起始页码：输入抓取的起始页码。
• 结束页码：输入抓取的结束页码。

3. 链接包含文字

输入链接中必须包含的文字，用于筛选链接。例如：

只有包含 /product/ 的链接才会被提取。

4. 去除头部

输入需要从链接中去除的路径地址或查询参数。例如：

• 去除路径地址：
https://www.iermei.com

链接 https://www.iermei.com/product/123 会被处理为 /product/123。

• 去除查询参数：
/123

链接/123/456.html 会被处理为 /456.html。

5. 去除尾部

输入需要从链接中去除的尾部内容，支持通配符 *。例如：

链接 https://www.iermei.com/product/123&ref=abc 会被处理为 https://www.iermei.com/product/123。

6. Referer 输入

输入发送请求头时使用的 Referer。例如：

如果不输入，默认使用 https://www.iermei.com。

7. 自动补全与协议头

• 自动补全网址：勾选后，工具会自动补全相对链接为完整链接。
• 自动添加协议头：勾选后，工具会自动为链接添加 https:// 协议头。

8. 开始提取链接

点击 🚀 开始提取链接 按钮，工具会根据输入的源网址和页码范围，并发抓取页面并提取链接。

9. 发送请求头

点击 📤 发送请求头 按钮，工具会并发发送请求头到提取的链接。

详细介绍

1. 筛选功能

• 链接包含文字：通过输入关键词，工具会筛选出包含该关键词的链接。例如，输入 /product/，只有包含 /product/ 的链接会被保留。
• 去除头部：支持去除链接中的路径地址或查询参数。例如：
  • 去除路径地址：https://www.iermei.com 会被从链接中去除。
  • 去除查询参数：?utm_source=* 会被从链接中去除。
• 去除尾部：支持去除链接尾部的特定内容，支持通配符 *。例如，&ref=* 会被从链接中去除。

2. 提取功能

• 分页抓取：工具会根据输入的页码范围，自动替换源网址中的通配符 *，并发抓取多个页面。
• 链接提取：从抓取的页面中提取所有 标签的 href 属性。
• 链接处理：根据用户输入的筛选条件，对提取的链接进行处理，包括去除头部、去除尾部、自动补全和添加协议头。