# 【Python爬虫前传】我这算是这是爬虫技术吗?

# 一、背景

最近电力交易的同事在收集信息。遇到一个情况,页面里面有一个带分页的Table(信息已虚化)。里面的数据很多。查询起来很慢。他想保存到本地Excel。 但是页面里面没有提供下载功能。只能手动复制。 不仅慢,而且容易出错。主要你看一下页数。8253 多页面。🤦

售电客户

# 二、准备工作

我调研了一些现有的工具和网上的方案。看看能不能快速完成任务。

  • 浏览器插件
  • RPA机器人
  • Excel里面
  • Python爬虫
  • 交给AI skill(万金油)

总结:工具有很多、方案也不少。但是都有不少的学习成本。我作为一名前端出生的工程师。能不能用js解决问题呢?

# 三、方案

  1. 利用Fetch请求获取分页数据。拿到pageSize和pageIndex(current)。
  2. 手动计算出最大的 pageIndex。
  3. 打开调试模式,在控制台里面。手动JavaScript循环获取数据。
  4. 保存成JSON,并下载至本地。
  5. 利用Excel函数对JSON数据进行加工,导出Excel。

# 四、流程图

# 五、实现步骤

# 5.1 获取数据

如果没有totalPage。可以把 (total / pageSize) + 1 img.png

# 5.2 获取数据保存成json


(async () => {
  const url = "https://example.com/api/list";
  const totalPages = 2; // 就写上面计算的值。这里我用2代替了。初期验证可以写小一点。
  const pageSize = 20;  // 写个20应该没事。具体看页面的分页数据
  const allData = [];
  const sleep = ms => new Promise(r => setTimeout(r, ms)); // 防止请求过快,导致IP被封

  for (let page = 1; page <= totalPages; page++) {
    console.log(`正在请求第 ${page} 页`);
    try {
      const res = await fetch(`${url}?current=${page}&pageSize=${pageSize}`, {
        method: 'GET',
        credentials: 'include',
        headers: {
          "User-Agent": navigator.userAgent,
          "Accept": "application/json",
          "Referer": location.href
        }
      });

      if (!res.ok) {
        console.error(`第${page}页 HTTP 错误:${res.status}`);
        await sleep(5000);
        continue;
      }

      const json = await res.json();
      // 重点:这里用 list
      const list = json?.data?.list ?? [];
      allData.push(...list);
      console.log(`✅ 第 ${page} 页成功,本页${list.length}条,累计:${allData.length} 条`);

    } catch (err) {
      console.error(`❌ 第 ${page} 页失败:`, err);
    }
    await sleep(5000);
  }

  // 下载
  const blob = new Blob([JSON.stringify(allData, null, 2)], { type: 'application/json' }); // 为了格式化json文件
  const link = document.createElement('a');
  link.href = URL.createObjectURL(blob);
  link.download = 'all_data.json';
  link.click();
  console.log('🎉 抓取完成,文件已下载');
})();

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48

保存json以后,可以使用Excel函数对数据进行加工,最后导出Excel。

const fs = require('fs');
const path = require('path');
const ExcelJS = require('exceljs');

/**
 * 读取本地json文件
 * @param {string} fileName 文件名/相对路径
 * @returns {Promise<Array>} json数组
 */
function getDataByLocal(fileName) {
  const dataPath = path.resolve(__dirname, fileName);
  return new Promise((resolve, reject) => {
    fs.readFile(dataPath, 'utf8', (err, content) => {
      if (err) {
        console.error('读取文件失败:', err);
        return reject(err);
      }
      try {
        const res = JSON.parse(content);
        resolve(res);
      } catch (parseErr) {
        console.error('JSON解析失败:', parseErr);
        reject(parseErr);
      }
    });
  });
}

/**
 * json导出xlsx
 * @param {string} [fileName='all_data.json'] 源json文件名
 * @param {string} [outFileName='output.xlsx'] 输出xlsx文件名
 * @returns {Promise<void>}
 */
async function exportJsonToXlsx(fileName = 'all_data.json', outFileName = 'output.xlsx') {
  try {
    const data = await getDataByLocal(fileName);

    // 校验是否为数组,防止forEach报错
    if (!Array.isArray(data)) {
      throw new Error('json数据必须是数组格式');
    }
    if (data.length === 0) {
      console.warn('警告:json数组为空,将生成空表格');
    }

    const workbook = new ExcelJS.Workbook();
    const worksheet = workbook.addWorksheet('sheet1');

    worksheet.columns = [
      { header: '企业名称', key: 'membersName', width: 30 },
      { header: '企业地址', key: 'regAddress', width: 80 },
      { header: '开始时间', key: 'startDate', width: 15 },
      { header: '结束时间', key: 'endDate', width: 15 },
    ];

    worksheet.addRows(data); // ✅ 优化:ExcelJS原生addRows,代替forEach循环addRow

    const outPath = path.resolve(__dirname, outFileName);
    await workbook.xlsx.writeFile(outPath);
    console.log(`✅ 导出成功,文件:${outPath}`);
  } catch (err) {
    console.error('❌ 导出异常:', err);
  }
}

// 使用示例
// exportJsonToXlsx();
// exportJsonToXlsx('./all_data.json');
exportJsonToXlsx('./all_data.json', '企业清单.xlsx');


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72

# 六、相关链接

关注公众号
组队学习,一同成长
扫码添加好友
备注 加群学习