同步操作将从 g1879/DrissionRecorder 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
本库是一个使用方便,代码简洁的小工具,用于记录数据到文件。
在网上爬取数据的时候,常常需要把数据保存到文件,频繁的开关文件会影响效率,而如果等等爬取结束再写入,会有因异常而导致数据丢失的风险。因此写了一个小工具,须要保存数据时只要把数据扔进去,它会把数据缓存到一定数量再一次写入,而且在程序崩溃时能自动保存数据,保证数据的可靠性。
后来增加了一个功能,从已有文件中读取关键字,爬取数据后自动回填。这样对断点续爬提供了良好的支持,封装了常用的功能,减轻了编码量,让程序员可把更多精力放在业务逻辑。
后来又增加了一个功能,可以把二维数据一次填入 csv 或 xlsx 文件指定左上角坐标的区域中。
Recorder 演示
file = 'results.csv' # 用于记录数据的文件
r = Recorder(file, 50) # 50表示每50条记录写入一次文件
for _ in range(100): # 产生100条数据
data = (1, 2, 3, 4)
r.add_data(data) # 插入一条数据(也可一次插入多条)
# 程序结束时自动保存文件
Filler 演示
file = 'results.csv'
f = Filler(file, key_cols='A', sign_col='B')
# =============方法一=============
for key in f.keys: # 所有未填充行的key列
data = do_sth(key, *args) # 处理数据的方法,第一个参数必须是接收key值
f.add_data(data)
# =============方法二=============
f.fill(do_sth, *args) # 调用处理数据方法,自动填充数据
MapGun 演示
file = 'results.csv'
m = MapGun(file)
data = ((1, 2),
(3, 4))
m.add_data(data, 'c4') # 把二维数据填入以 c4 为左上角的区域中
pip install DataRecorder
from DataRecorder import Recorder # 记录器
from DataRecorder import Filler # 填充器
Recorder 用于缓存并记录数据,可在达到一定数量时自动记录,以降低文件读写次数,减少开销。退出时能自动记录数据,避免因异常丢失。支持 xlsx、csv、json、txt 格式。
r = Recorder(path, cache_size) # 传入文件路径,缓存条数
r.path # 文件路径
r.cache_size # 缓存的数据条数
r.data # 返回当前保存的数据
r.type # 文件类型
r.delimiter # csv文件分隔符
r.quote_char # csv文件引用符
r.before # 补充在前面的列数据
r.after # 补充在后面的列数据
r.add_data(data) # 插入一条或多条数据
r.record(new_path) # 主动保存数据,可指定另存为的路径
r.clear() # 清空缓存中的数据
r.set_before(before) # 设置在数据前面补充的列
r.set_after(after) # 设置在数据后面补充的列
r.set_head(head) # 设置表头。只有 csv 和 xlsx 格式支持设置表头
Filler 类主要用于对已有数据的表格文件进行填充,也可指定要填写数据的单元格,直接向其填数据。支持 xlsx 和 csv 格式。
使用场景:
f = Filler(path, cache_size, key_cols, begin_row, sign_col, sign, data_col)
# 参数说明:
# path: 保存的文件路径
# cache_size: 每接收多少条记录写入文件,传入0表示不自动保存
# key_cols: 作为关键字的列,可以是多列,从1开始
# begin_row: 数据开始的行,默认表头一行
# sign_col: 用于判断是否已填数据的列,从1开始
# sign: 按这个值判断是否已填数据
# data_col: 要填入数据的第一列,从1开始,不传入时和sign_col一致
f.path # 文件路径
f.cache_size # 缓存的数据条数
f.data # 返回当前保存的数据
f.type # 文件类型
f.key_cols # 关键字列,可以是多列
f.begin_row # 数据开始行,默认从第二行开始
f.sign_col # 用于判断是否已填数据的列,编号从1开始
f.data_col # 要填入数据的第一列,从1开始,不传入时和sign_col一致
f.keys # key列内容,第一位为行号,其余为key列的值,eg.[3, '名称', 'id']
f.delimiter # csv文件分隔符
f.quote_char # csv文件引用符
f.before # 补充在前面的列数据
f.after # 补充在后面的列数据
f.set_path() # 更改文件路径,参数和__init__()一致
f.add_data() # 插入一条或多条数据,数据第一位为行号或坐标(int或str),第二位开始为数据,数据可以是list, tuple, dict
f.record(new_path) # 主动保存数据,可指定另存为的路径
f.fill(func, *args) # 接收一个方法,根据keys自动填充数据。每条key调用一次该方法,并根据方法返回的内容进行填充。方法第一个参数必须是keys,用于接收关键字列
f.set_head(head) # 设置表头
f.set_link(coord, link, content) # 为单元格设置超链接
注意: func 返回的数据第一位必须是行号或坐标。
MapGun 类用于对一个区域一次写入一整片二维数据。支持 xlsx 和 csv 格式。
m = MapGun(path, coord, float_coord) # 传入文件路径,坐标,坐标是否浮动
坐标浮动表示填完一批数据后,坐标会移动到数据底部的下一行。
m.path # 文件路径
m.cache_size # 缓存的数据条数,但固定为1
m.coord # 坐标,形式可以是:'b3','3,2',(3, 2),[3, 2]
m.float_coord # 坐标是否随数据增加变化,布尔值
m.type # 文件类型
m.delimiter # csv文件分隔符
m.quote_char # csv文件引用符
m.before # 补充在前面的列数据
m.after # 补充在后面的列数据
m.add_data(data, coord) # 插入二维数据,可同时指定左上角坐标
m.set_before(before) # 设置在数据前面补充的列
m.set_after(after) # 设置在数据后面补充的列
m.set_head(head) # 设置表头
此方法可补全 csv 文件,使其每行列数一样多,避免 pandas 读取时出错。
from DataRecorder.tootls import align_csv
align_csv(path, encoding, delimiter, quotechar) # 传入要处理的文件路径及编码,分隔符j
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。