300字范文,内容丰富有趣,生活中的好帮手!
300字范文 > 导出 CSDN 博客至 Markdown

导出 CSDN 博客至 Markdown

时间:2019-08-30 16:17:27

相关推荐

导出 CSDN 博客至 Markdown

CSDNExporter-master

CSDNExporter-master是一个导出 CSDN 博客至 Markdown 或 PDF 格式的工具。

该笔记记录了我在使用CSDNExporter-master时遇到的一些问题,以及对部分代码的修改。

注:我只测试了Markdown格式的代码,并未对PDF格式进行实践,所以该笔记并未针对PDF格式的代码进行说明。所以保险起见,将与PDF有关的代码注释掉即可。

安装必要的 Python 库, 如httpx,requests,BeautifulSoup;为了解析图片链接, 需要安装 aria2, 并保证能在命令行启动;为了转换为 PDF, 需要安装 Pandoc

代码中的方法注释

argparse

argparse是python用于解析命令行参数和选项的标准模块,用于代替已经过时的optparse模块。argparse模块的作用是用于解析命令行参数。

我们很多时候,需要用到解析命令行参数的程序,目的是在终端窗口(ubuntu是终端窗口,windows是命令行窗口)输入训练的参数和选项。

我们常常可以把argparse的使用简化成下面四个步骤1:import argparse2:parser = argparse.ArgumentParser()3:parser.add_argument()4:parser.parse_args()

parser.add_argument

parser.add_argument('--with_title', action='store_true')

关于parser.add_argument()记录一个特殊的情况:action

栗子1:self.parser.add_argument('--lr_use', action='store_true', default=False, help='if or not use lr_loss')

当在终端运行的时候,如果不加入--lr_use, 那么程序running的时候,lr_use的值为default: False

如果加上了--lr_use,不需要指定True/False,那么程序running的时候,lr_use的值为True

栗子2:self.parser.add_argument('--no_flip', action='store_false', help='.....')

当在终端运行的时候,并没有加入--no_flip, 数据集中的图片并不会翻转,打印出来看到no_flip的值为True

Note:有default值的时候,running时不声明就为默认值,

没有的话,如果是store_false,则默认值是True,如果是store_true,则默认值是False

实在记不住搞混的话,可以每次在run之前print出来看一下值是true还是false,这样比较保险

soup = BeautifulSoup()

soup = BeautifulSoup(response.content, 'html.parser', from_encoding="utf-8")

Python中BeautifulSoup库的用法

代码中需要修改的地方

1.global language

utils.py文件中的recursive方法最前面加一个global language

防止出现 UnboundLocalError: local variable ‘language’ referenced before assignment 的异常

2.增加代码高亮的解析

elif tag in ['mark']:soup.contents.insert(0, NavigableString('=='))soup.contents.append(NavigableString('=='))

3.增加引用的解析

修改elif tag == 'p':分支中的代码

elif tag == 'p':if soup.parent.name == 'blockquote':for content in soup.contents:if isinstance(content, NavigableString):content.string = '>' + content.string.strip() + '\n'elif soup.parent.name != 'li':# print(soup.parent)soup.contents.insert(0, NavigableString('\n'))

4.完善列表解析

elif tag in ['li']:soup.contents.insert(0, NavigableString('+ '))soup.contents.append(NavigableString('\n'))

5.博客标题特殊符号出错

若博客标题名为Linux C/C++,那么文件输出时会出错,因为会把该标题当成Linux C/C++路径,导致找不到该文件夹

需在执行html2md前对title进行处理

title = '_'.join(title.replace('*', '').strip().split())title = title.replace('/', '_')

6.图片的保存路径

每个xxx.md的图片都保存到xxx.assets

1.首先在Parser类中将fig_dir设置成外部传参的形式

2.修改recursive方法中elif tag == 'img':分支下的代码

md_img_txt_arr = img_file.split('/')md_img_txt = "/".join(md_img_txt_arr[1:len(md_img_txt_arr)])code = '![{}]({})'.format(md_img_txt, md_img_txt)

3.在html2md方法中新增一个参数fig_dir,并在初始化Parser类的时候将其传入

4.在调用html2md前设置fig_dir的路径

fig_dir = join(md_dir, title + '.assets')

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。