目录

为 obsidian 中的文件批量添加 front matter

什么是 front matter

front matter的中文意思是前言,几乎每本书都会有前言,用来说明写书目的或者内容总结。

而 markdown 文件中的front matter指的是以yaml格式在文件开头增加的元数据,示例如下:

1
2
3
4
5
6
7
---
title: "为 obsidian 中的文件批量添加 front matter"
date: 2021-10-17 15:56
tags:
- obsidian
- frontmatter
---
注意
front matter需要用---包裹

笔记软件或博客软件会拿到这些元数据做相应处理,比如上面这个front mattertitle 字段用来作为文章题目,date作为发布日期,tags 作为文章的标签列表

什么是obsidian

https://obsidian.md/images/screenshot.png 这里是指一款用于知识管理的笔记软件,支持双链、本地存储、插件、vim 模式、关系视图等,具体介绍见官网

什么是dataview

obsidian上一款优秀的插件,可用类似于SQL一样的语句去查询obsidian中的文档,从而实现统计分析。

为什么要添加 front matter

https://tva1.sinaimg.cn/large/008i3skNly1gvies2f6ojj614e0nwjtc02.jpg

我使用 obsidian 软件已近一年,积累了不少笔记,在使用dataview插件做统计时发现一个问题:文件的创建时间不准。比如上图中这些文件很早就创建了,显示创建时间却是最近,而且这几个文件创建时间竟然一致,肯定有问题。

去查看文件实际创建时间才发现,和获取的是一样的,并无问题。

那到底是哪里出问题了呢?

因为我是基于 git 做同步的,比如在公司新建了几个文件,但是回家后并没有立即打开 obsidian 做同步,过了几天再拉下最新的文件,文件创建时间肯定变成当天了,而且是同时拉下来的,创建时间肯定一致了。

问题发现了,怎么解决呢?front matter就能解决这个问题。

可以在文件开头增加如下内容:

1
2
3
---
create_date: 2021-09-17 17:31
---

相当于给每个文件写死了创建时间,统计时基于front matter中这个create_date字段即可。

于是,最近创建的十篇文档dataview统计语句便由

1
2
3
4
5
6
7
```dataview
table WITHOUT ID
  file.link AS "title",
  file.ctime as "time"
sort file.ctime desc
limit 10
```

变成了

1
2
3
4
5
6
7
```dataview
table WITHOUT ID
  file.link AS "title",
  create_date as "time"
sort create_date desc
limit 10
```

那么问题又来了?统计问题是解决了,如何去添加front matter呢?不会是手动吧。

当然不是。

具体实现

增量文档

使用Templater插件制作front matter模板

1
2
3
---
create_date: <% tp.file.creation_date() %>
---

配置新建文件时基于该模板创建,那么每次都会自动给文件添加带create_datefront matter

存量文档

Templater当然也支持给存量文档添加front matter,但是存量文档有六百多篇,用手动的方式实在太累了,于是我写了一个 Python 脚本,实现批量在front matter中添加create_datetags字段。

下载python-frontmatter

1
pip install python-frontmatter

模块使用见使用文档

编写脚本

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
# coding: utf-8

import os
import re
import time

import frontmatter

# 更新md文件的front matter:1.增加创建时间;2.提取tag
def update_front_matter(file):

    with open(file, 'r', encoding='utf-8') as f:
       post = frontmatter.loads(f.read())
    
    is_write = False
    
    if not post.metadata.get('create_date', None):
        timeArray = time.localtime((os.path.getctime(file)))
        post['create_date'] = time.strftime("%Y-%m-%d %H:%M", timeArray)
        if not is_write:
            is_write = True
    
    # 将代码块内容去掉
    temp_content = re.sub(r'```([\s\S]*?)```[\s]?','',post.content)
    # 获取tag列表
    tags = re.findall(r'\s#[\u4e00-\u9fa5a-zA-Z]+', temp_content, re.M|re.I)
    ret_tags = list(set(map(lambda x: x.strip(), tags)))
    print('tags in content: ', ret_tags)
    print('tags in front matter: ', post.get("tags", []))
    if len(ret_tags) == 0:
        pass
    elif post.get("tags", []) != set(ret_tags): 
        post['tags'] = ret_tags
        if not is_write:
            is_write = True
    
    if is_write:
        with open(file, 'w', encoding='utf-8') as f:
            f.write(frontmatter.dumps(post))

# 递归获取提供目录下所有文件
def list_all_files(root_path, ignore_dirs=[]):
    files = []
    default_dirs = [".git", ".obsidian", ".config"]
    ignore_dirs.extend(default_dirs)

    for parent, dirs, filenames in os.walk(root_path):
        dirs[:] = [d for d in dirs if not d in ignore_dirs]
        filenames = [f for f in filenames if not f[0] == '.']
        for file in filenames:
            if file.endswith(".md"):
                files.append(os.path.join(parent, file))
    return files


if __name__ == "__main__":
    # file_path = './xwlearn/test.md'
    # update_front_matter(file_path)
    ignore_dirs = ["Resource", "Write"]
    files = list_all_files('./xwlearn/', ignore_dirs=ignore_dirs)

    print("current dir: ", os.path.dirname(os.path.abspath(__file__)))
    for file in files:
        print("---------------------------------------------------------------")
        print('current file: ', file)
        update_front_matter(file)
        time.sleep(1)

如何匹配 tag

使用正则表达式,凡是#+字符均设为tag,但是有一个问题,代码块中有不少注释信息也会被匹配到,这就需要我们先忽略代码块中内容

1
temp_content = re.sub(r'```([\s\S]*?)```[\s]?','',post.content)

匹配tag 的正则(空格#中文字符与英文字符)

1
re.findall(r'\s#[\u4e00-\u9fa5a-zA-Z]+', temp_content, re.M|re.I)
如何递归文件及忽略目录

使用os.walk遍历文件,并不是每个文件都需要添加front_matter,如果需要忽略某目录,就给list_all_files函数第二个参数传递相应的目录名,如上述脚本第 59 行,我 忽略了ResourceWrite目录

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
def list_all_files(root_path, ignore_dirs=[]):
    files = []
    default_dirs = [".git", ".obsidian", ".config"]
    ignore_dirs.extend(default_dirs)

    for parent, dirs, filenames in os.walk(root_path):
        dirs[:] = [d for d in dirs if not d in ignore_dirs]
        filenames = [f for f in filenames if not f[0] == '.']
        for file in filenames:
            if file.endswith(".md"):
                files.append(os.path.join(parent, file))
    return files