重要

使用已经写好的脚本安装，github地址

Readme上有使用方法

安装 vimmars

1
2
3

git clone https://github.com/Qeuroal/vimmars.git
cd ~/vimmars
bash ./install.sh

安装 ycm

全部语言的安装

1
2

cd ~/.vim/plugged/YouCompleteMe
python3 ./install.py --all

c/c++

1
2

cd ~/.vim/plugged/YouCompleteMe
python3 ./install.py --clang-completer

推荐几个 Vim 配置方案

• dofy / 7th-vim
• kepbod / ivim
• chxuan / vimplus
• SpaceVim / SpaceVim

推荐另外几个出色的 Vim 教程

• 控制台运行 vimtutor 这是 Vim 官方实操教程
• 简明 Vim 练级攻略 很不错的入门教程
• Vim Galore 更新频繁，Vim 进阶必读
• 每日一Vim 共 30 篇，内容比较全
• Vim 教程网 一个女生维护的 Vim 中文教程网站，持续更新中
• A book for learning the Vim editor 另一个 Learn Vim （英语）
• Open Vim 交互式 Vim 教程
• QuickRef.ME/vim Vim cheatsheet

图片

自动命令

事件

示例

命令模式常用快捷键

• G 移动到文件的最后一行。
• nG n为数字，移动到文件的第n行。
• gf　　 打开以光标所在字符串为文件名的文件
• gg　　 移动到文件的第一行。
• N[Enter]　　向下移动N行。
• h 　 向左移动光标（←）
• j 　 向下移动光标（↓）
• k 　 向上移动光标（↑）
• l（小L） 向右移动光标（→）
• 20j 　向下移动20行
• + 或 Enter　　把光标移至下一行第一个非空白字符
• -　　把光标移至上一行第一个非空白字符
• ^ 把光标移至本行第一个非空白字符
• 0或Home 移动光标至行首
• $或End 移动光标至行尾
• w　　 向右移动一个单词,光标停在下一个单词开头
• W 向右移动一个单词,光标移动时忽略一些标点
• b　　 向左移动一个单词,光标停在下一个单词开头
• B　　 向左移动一个单词，光标移动时忽略一些标点
• e　　 向右移动一个单词,光标停在下一个单词末尾
• E　　 向右移动一个单词，光标移动时忽略一些标点
• ge　　 向左移动一个单词,光标停在下一个单词末尾
• gE　　 向左移动一个单词，光标移动时忽略一些标点
• H 　 移动光标至屏幕的最上方那一行行首
• M 　 移动光标至屏幕的最中间那一行行首
• L 　 移动光标至屏幕的最下方那一行行首
• ( 移动光标至上一句
• ) 移动光标至下一句
• { 移动光标至上一段
• } 移动光标至上一段
• ctrl+b　　屏幕向上移动一页
• ctrl+f　　屏幕向下移动一页
• ctrl+d　　屏幕向上移动半页
• ctrl+u　　屏幕向下移动半页
• ctrl+e　　屏幕向下移动一行
• n% 到文件n%的位置，如1%，50%, 100%之类
• zz 将当前行移动到屏幕中央
• zt 将当前行移动到屏幕顶端
• zb 将当前行移动到屏幕底端
• dd　　 剪切当前行（不是删除，因为此时在缓存内保存了一份剪切的字符串）。
• d$ 　 删除光标位置到该行最后一个字符(包括光标字元)。
• d0 　 删除光标字元至行首字符(不包括光标字元)。
• dG 　 删除光标所在行至最后一行所有字符(包括光标所在行)。
• d1G 　删除光标所在行（包括光标所在行）与首行间所有字符。
• ndd　　删除光标所在行（包括）向下的n行。
• dw 　 删除光标所在字符至下一个单词间所有字符(包括下一个单词前面的空格)。
• daw　　剪切光标所在位置的单词。
• das 剪切光标所在位置的句子。
• x 　 向后删除一个字符。
• nx　　 向后删除n个字符。
• yy 　 复制当前行。
• nyy　　复制n行（包含当前行）。
• y1G　　复制第一行至当前行所有字符。
• yG　　 复制当前行到最后一行所有字符。
• y0　　 复制当前行行首字符至光标字符间所有字符。
• y$　　 复制当前行光标字符到行尾字符间所有字符。
• yaw　　复制光标所在位置的单词。
• yas　　复制光标所在位置的句子。
• ZZ　　 保存更改并退出。
• p 　 将已经复制的数据粘贴到光标的下一行（若是使用y0,y$复制的行的一部分，则粘贴时，会粘贴到光标所在行的光标字符后面）。
• P　　 将已经复制的数据粘贴到光标的上一行（若是使用y0,y$复制的行的一部分，则粘贴时，会粘贴到光标所在行的光标字符前面）。
• u　　 复原上一操作（撤消）。
• ctrl+R　　重做上一操作。
• . 　 点号，重做上一操作。
• J　　 将当前行与下一行合并为一行。
• gJ　　 将当前行与下一行合并为一行,不过合并后不留空格。
• << 段落向左缩进一个shiftwidth
• >> 段落向右缩进一个shiftwidth
• gq 对选中的长文字进行重排
• o 　 当前行下插入空行，并进入插入模式。
• O　　 当前行上插入空行，并进入插入模式。
• i　　 进入插入模式，从当前光标所在处插入。
• I 　 进入插入模式，从当前行第一个非空格处开始插入。
• a　　 进入插入模式，从当前光标所在处下一个字符开始插入。
• A　　进入插入模式，从当前光标所在行最后一个字符开始插入。
• 8i=<ESC> 重复输入小技巧，先按数字8,再按i进入插入模式，再按=或其他字符，如=-，再按Esc退出键，再按一次键，就会出现8次=-组成的字符串。如=-=-=-=-=-=-=-=-
• ESC健 　返回命令模式。

编辑模式

在命令模式下按i、o、a等键可进入插入模式（编辑模式）。

• o　　当前行下插入空行，并进入插入模式。
• O　　当前行上插入空行，并进入插入模式。
• i　　进入插入模式，从当前光标所在处插入。
• I　　进入插入模式，从当前行第一个非空格处开始插入。
• a　　进入插入模式，从当前光标所在处下一个字符开始插入。
• A　　进入插入模式，从当前光标所在行最后一个字符开始插入。

另外按字母s也可以进入插入模式：

• s　　小s，删除光标字符，并进入编辑模式，并在光标所在位置开始编辑。
• S　　大S，删除光标所在行，并进入编辑模式，并在行首开始编辑。
• ns　删除包含光标字符在内的n个字符，并进入编辑模式。
• nS　大S，删除光标所在行在内及其后的n-1行，并进入编辑模式。

扩展命令模式常用操作键

• :r filename 在当前位置插入另一个文件的内容
• :[n]r filename 在当前文件第n行插入另一个文件的内容
• :r !date 在光标处插入当前日期与日期，同理，:r !command可以将其他shell命令的输出插入到当前文档
• :r !cat filename|head -n N 在当前文件光标的下一行插入文件filename的前N行
• :w 保存
• :q　 离开vim
• :q!　 强制离开
• :wq　 保存后离开
• :w [filename]　　　　将当前文本另存为filename
• :n1,n2 w [filename]　　将n1至n2行内容另存为filename
• :ce(nter) 本行文字居中
• :le(ft) 本行文字靠左
• :ri(ght) 本行文字靠右
• /word 　　　　　　　　 向下查找关键字word。
• ?word　　　　　　　　　　向上查找关键字word。
• :n1,n2s/word1/word2/g　　在第n1行与第n2行之间查找word1字符串，并直接替换为word2。
• :1,$s/word1/word2/g　　　在第1行最后一行之间查找word1字符串，并直接替换为word2。
• :1,$s/word1/word2/gc 　　　在第1行最后一行之间查找word1字符串，并替换为word2（替换时询问用户是否替换）。
• :.,+5s/^/#/g　　　　　　　　将当前行及下面5行标记为注释(包括当前行，共6行)。
• :6,9 de　　　　　　　　　　删除第6至第9行。
• :2,8 co 10　　　　　　　　复制第2行至第8行内容至第10行后面(从下一行开始)
• :set nu 　　　　　　　　　显示行号。
• :set nonu　　　　　　　　不显示行号。
• :set hlsearch　　　　　　　　高亮度搜索显示
• :set nohlsearch　　　　　　不高亮度搜索显示
• :set autoindent/noautoindent　　自动缩进
• :set ruler/noruler 　　　　　设置右下角状态栏说明
• :set showmode/noshowmode　　设置是否显示左下角（-INSERT-）状态列
• :set backspace=2　　　　　　=2时，退格键可删除任意字符，=0或=1时只能删除刚输入的字符。
• :set 　　　　　　　　　显示与系统预设值不同的设定参数。
• :set all　　　　　　　　　　显示所有的环境参数值
• :syntax on/off 　　　　　设置语法高亮
• :set bg=dark/light　　　　　　设置背景（background）为暗色/亮色
• :set tabstop=4　　　　　　 设置Tab宽度
• :set shiftwidth=4　　　　　　设置每一级缩进的宽度
• :Sex 水平分割一个窗口，浏览文件系统
• :Vex 垂直分割一个窗口，浏览文件系统

vimrc常用环境变量设置

• set hlsearch　　　　“设置高亮度反白
• set backspace=2　　　　“可随时用退格键删除
• set ruler　　　　　　“可显示最后一行的状态
• set showmode　　　　“显示状态
• set nu　　　　　　“显示行号
• set bg=dark　　　　“显示不同的底色色调
• set softtabstop=4 “统一缩进为4
• set tabstop=4　　　　“设置Tab宽度
• set shiftwidth=4　　　　“设置每一级缩进的宽度
• set fileencodings=utf-8,gbk,gb18030,gk2312
• syntax on　　　　　　“语法高亮
• set showcmd　　　　“输入的命令显示出来，看的清楚些
• set clipboard+=unnamed　　　　“共享剪贴板
• set cursorline　　　　“突出显示当前行
• set noeb　　　　　　“去掉输入错误的提示声音
• set confirm　　　　　　“在处理未保存或只读文件的时候，弹出确认
• set autoindent　　　　“设置自动缩进
• set cindent “设置自动缩进
• set expandtab　　“用空格代替制表符
• set smarttab　　　　“在行和段开始处使用制表符
• set laststatus=2　　　　“总是显示状态栏

~/.vimrc配置文件内容如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

set hlsearch
set backspace=2
set ruler
set showmode
set nu
set bg=dark
set softtabstop=4
set shiftwidth=4
set fileencodings=utf-8,gbk,gb18030,gk2312
syntax on
set showcmd
set clipboard+=unnamed
set cursorline
set confirm
set autoindent
set cindent 
set expandtab                                                            
set laststatus=2

可视模式

• 可视模式（Visual Black），也即区块选择模式，此时可以对列字符进行操作。
• 在命令模式下，按v或V或ctrl+v可以进入到可视模式。
• v 　　　进入可视模式，并进行单字符（反白）选择。
• V　　　　进入可视模式，并进行行（反白）选择。
• ctrl+v 　进入可视模式，并进行区块选择，以长方形的方式（反白）选择字符。
• y 　　　将反白的地方复制下来。
• d　　　　删除反白区域。
• 进入可视模式后，可以按方向键或h/j/k/l(向左、向下、向上、向右)进行反白区域选择。

多视窗功能

• 输入:sp进入多视窗模式，此时，可以对文本进行前后对照或不同档案间进行对照。
• :sp 同一文件两个视窗，进行前后对照。
• :sp [filename] 两个文件进行对照。

在多视窗模式下：

• ctrl+w 可依次在多个视窗间进行上下循环切换。
• ctrl+w+k 可依次在多个视窗间进行从下到上切换（先按ctrl+w，松开后，再按k）。
• ctrl+w+j 可依次在多个视窗间进行从上到下切换（先按ctrl+w，松开后，再按j）。
• ctrl+w+q 关闭当前视窗下面的视窗（先按ctrl+w，松开后，再按q）。

GDB

GDB（GNU symbolic Debugger）是Linux系统下的强大的调试工具，可以用来调试ada, c, c++, asm, minimal, d, fortran, objective-c, go, java,pascal 等多种语言。

我们以调试go代码为示例来介绍GDB的使用。源码内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13

package main

import "fmt"

func add(a, b int) int {
	sum := 0
	sum = a + b
	return sum
}
func main() {
	sum := add(10, 20)
	fmt.Println(sum)
}

构建二进制应用：

1

go build -gcflags="-N -l" -o test main.go

启动调试

1
2

gdb ./test
gdb --args ./test arg1 arg2 # 指定参数启动

进入gdb调试界面之后，执行run命令运行程序。若程序已经运行，我们可以attach该程序的进程id进行调试:

1
2

$ gdb
(gdb) attach 1785

当执行attach命令的时候，GDB首先会在当前工作目录下查找进程的可执行程序，如果没有找到，接着会用源代码文件搜索路径。我们也可以用file命令来加载可执行文件。

或者通过命令设置进程id:

1
2

gdb test 1785 
gdb test --pid 1785

若已运行的进程不含调试信息，我们可以使用同样代码编译出一个带调试信息的版本，然后使用file和attach命令进行运行调试。

1
2
3
4

$ gdb
(gdb) file test
Reading symbols from test...done.
(gdb) attach 1785

可视化窗口

GDB也支持多窗口图形启动运行，一个窗口显示源码信息，一个窗口显示调试信息：

1

gdb test -tui

GDB支持在运行过程中使用Crtl+X+A组合键进入多窗口图形界面， GDB支持的快捷操作有：

1
2
3

Crtl+X+A // 多窗口与单窗口界面切换
Ctrl + X + 2 // 显示两个窗口
Ctrl + X + 1 // 显示一个窗口

运行程序

通过run命令运行程序：

1

(gdb) run

指定命令行参数运行：

1

(gdb) run arg1 arg2

或者通过set命令设置命令行参数：

1
2

(gdb) set args arg1 arg2
(gdb) run

除了run命令外，我们也可以使用start命令运行程序。start命令会在在main函数的第一条语句前面停下来。

1

(gdb) start

断点设置、查看、删除、禁用

设置断点

GDB中是通过break命令来设置断点(BreakPoint)，break可以简写成b。

• break function

  在指定函数出设置断点，设置断点后程序会在进入指定函数时停住

• breshak linenum

  在指定行号处设置断点

• break +offset/-offset

  在当前行号的前面或后面的offset行处设置断点。offset为自然数

• break filename:linenum

  在源文件filename的linenum行处设置断点

• break filename:function

  在源文件filename的function函数的入口处设置断点

• break \*address

  在程序运行的内存地址处设置断点

• break

  break命令没有参数时，表示在下一条指令处停住。

• break … if

  …可以是上述的参数，condition表示条件，在条件成立时停住。比如在循环境体中，可以设置break if i=100，表示当i为100时停住程序

查看断点

我们可以通过info命令查看断点：

1
2

(gdb) info breakpoint # 查看所有断点
(gdb) info breakpoint 3 # 查看3号断点

删除断点

删除断点是通过delete命令删除的，delete命令可以简写成d：

1

(gdb) delete 3 # 删除3号断点

断点启用与禁用

1
2

(gdb) disable 3 # 禁用3号断点
(gdb) enable 3 # 启用3号断点

调试

单步执行

next用于单步执行，会一行行执行代码，运到函数时候，不会进入到函数内部，跳过该函数，但会执行该函数，即step over。可以简写成n。

1

(gdb) next

单步进入

step用于单步进入执行，跟next命令类似，但是遇到函数时候，会进入到函数内部一步步执行，即step into。可以简写成s。

1

(gdb) step

与step相关的命令stepi，用于每次执行每次执行一条机器指令。可以简写成si。

继续执行到下一个断点

continue命令会继续执行程序，直到再次遇到断点处。可以简写成c:

1
2

(gdb) continue
(gdb) continue 3 # 跳过3个断点

继续运行到指定位置

until命令可以帮助我们实现运行到某一行停住，可以简写成u：

1

(gdb) until 5

跳过执行

skip命令可以在step时跳过一些不想关注的函数或者某个文件的代码:

1
2

(gdb) skip function add   # step时跳过add函数
(gdb) info skip   # 查看skip列表

其他相关命令：

• skip delete [num] 删除skip
• skip enable [num] 启动skip
• skip disable [num] 关闭skip

注意： 当不带skip号时候，是针对所有skip进行设置。

执行完成当前函数

finish命令用来将当前函数执行完成，并打印函数返回时的堆栈地址、返回值、参数值等信息，即step out。

1

(gdb) finish

查看源码

GDB中的list命令用来显示源码信息。list命令可以简写成l。

• list

  从第一行开始显示源码，继续输入list，可列出后面的源码

• list linenum

  列出linenum行附近的源码

• list function

  列出函数function的代码

• list filename:linenum

  列出文件filename文件中，linenum行出的代码

• list filename:function

  列出文件filename中，函数function的代码

• list +offset/-offset

  列出在当前行号的前面或后面的offset行附近的代码。offset为自然数。

• list +/-

  列出当前行后面或者前面的代码

• list linenum1, linenum2

  列出行linenum1和linenum2之间的代码

查看信息

info命令用来显示信息，可以简写成i。

• info files

  显示当前的debug文件，包含程序入口地址，内存分段布局位置信息等

• info breakpoints

  显示当前设置的断点列表

• info registers

  显示当前寄存器的值，可以简写成i r。指定寄存器名称，可以查看具体寄存器信息：i r rsp

  如: 查看 rax 寄存器的信息: info reg rax

• info all-registers

  显示所有寄存器的值。GDB提供四个标准寄存器：pc是程序计数器寄存器，sp是堆栈指针。fp用于记录当前堆栈帧的指针，ps用于记录处理器状态的寄存器，GDB会处理好不同架构系统寄存器不一致问题，比如对于amd64架构，pc对应就是rip寄存器。

  引用寄存器内容是将寄存器名前置$符作为变量来用。比如$pc就是程序计数器寄存器值。

• info args

  显示当前函数参数

• info locals

  显示当前局部变量

• info frame

  查看当前栈帧的详细信息，包括rip信息，正在运行的指令所在文件位置

• info variables

  查看程序中的变量符号

• info functions

  查看程序中的函数符号

• info functions regexp

  通过正则匹配来查看程序中的函数符号

• info goroutines

  显示当前执行的goroutine列表，带*的表示当前执行的。注意需要加载go runtime支持。

• info stack

  查看栈信息

• info proc mappings

  可以简写成i proc m。用来查看应用内存映射

• info proc [procid]

  显示进程信息

• info proc status

  显示进程相关信息，包括user id和group id；进程内有多少线程；虚拟内存的使用；挂起的信号，阻塞的信号，忽略的信号；TTY；消耗的系统和用户时间；堆栈大小；nice值

• info display

• info watchpoints

  列出当前所设置了的所有观察点

• info line [linenum]

  查看第linenum的代码指令地址信息，不带linenum时，显示的是当前位置的指令地址信息

• info source

  显示此源代码的源代码语言

• info sources

  显示程序中所有有调试信息的源文件名，一共显示两个列表：一个是其符号信息已经读过的，一个是还未读取过的

• info types

  显示程序中所有类型符号

• info types regexp

  通过正则匹配来查看程序中的类型符号

其他类似命令有：

• show args

  查看命令行参数

• show environment [envname]

  查看环境变量信息

• show paths

  查看程序的运行路径

• whatis var1

  显示变量var1类型

• ptype var1

  显示变量var1类型，若是var1结构体类型，会显示该结构体定义信息。

查看调用栈

通过where可以查看调用栈信息：

1
2
3
4
5
6

(gdb) where
#0  _rt0_amd64 ()
    at /usr/lib/go/src/runtime/asm_amd64.s:15
#1  0x0000000000000001 in ?? ()
#2  0x00007fffffffdd2c in ?? ()
#3  0x0000000000000000 in ?? ()

设置观察点

通过watch命令，可以设置观察点。当观察点的变量发生变化时，程序会停下来。可以简写成wa

1

(gdb) watch sum

查看汇编代码

我们可以通过开启disassemble-next-line自动显示汇编代码。

1

(gdb) set disassemble-next-line on

当面我们可以查看指定函数的汇编代码：

1

(gdb) disassemble main.main

disassemble可以简写成disas。我们也可以将源代码和汇编代码一一映射起来后，查看

1

(gdb) disas /m main.main

GDB默认显示汇编指令格式是AT&T格式，我们可以改成intel格式：

1

(gdb) set disassembly-flavor intel

自动显示变量值

display命令支持自动显示变量值功能。当进行next或者step等调试操作时候，GDB会自动显示display所设置的变量或者地址的值信息。

display命令格式：

1
2
3

display <expr>
display /<fmt> <expr>
display /<fmt> <addr>

• expr是一个表达式
• fmt表示显示的格式
• addr表示内存地址

其他相关命令：

• undisplay [num]: 不显示
• delete display [num]: 删除
• disable display [num]: 关闭自动显示
• enable display [num]： 开启自动显示
• info display: 查看display信息

注意： 当不带display号时候，是针对所有display进行设置。

显示将要执行的汇编指令

我们可以通过display命令，实现当程序停止时，查看将要执行的汇编指令：

1
2

(gdb) display /i $pc # 为了让每次执行都能看到汇编代码
(gdb) display /3i $pc # 一次性显示3条指令

==> 指的那一行就是正准备执行的代码, 但还没有执行的

取消显示可以用undisplay命令进行操作。

查看backtrace信息

backtrace命令用来查看栈帧信息。可以简写成bt。

1
2
3
4

(gdb) backtrace # 显示当前函数的栈帧以及局部变量信息
(gdb) backtrace full # 显示各个函数的栈帧以及局部变量值
(gdb) backtrace full n # 从内向外显示n个栈桢，及其局部变量
(gdb) backtrace full -n # 从外向内显示n个栈桢，及其局部变量

切换栈帧信息

frame命令可以切换栈帧信息：

1

(gdb) frame n # 其中n是层数，最内层的函数帧为第0帧

其他相关命令：

• info frame: 查看栈帧列表

调试多线程

GDB中有一组命令能够辅助多线程的调试：

• info threads

  显示当前可调式的所有线程，线程 ID 前有 “*” 表示当前被调试的线程。

• thread threadid

  切换线程到线程threadid

• set scheduler-locking [on|off|step]

  多线程环境下，会存在多个线程运行，这会影响调试某个线程的结果，这个命令可以设置调试的时候多个线程的运行情况，on 表示只有当前调试的线程会继续执行，off 表示不屏蔽任何线程，所有线程都可以执行，step 表示在单步执行时，只有当前线程会执行。

• thread apply [threadid] [all] args

  对线程列表执行命令。比如通过thread apply all bt full可以查看所有线程的局部变量信息。

查看运行时变量

print命令可以用来查看变量的值。print命令可以简写成p。print命令格式如下：

1

print [</format>] <expr>

format用来设置显示变量的格式，可选的。可用值有如下：

• x 按十六进制格式显示变量
• d 按十进制格式显示变量
• u 按十六进制格式显示无符号整型
• o 按八进制格式显示变量
• t 按二进制格式显示变量
• a 按十六进制格式显示变量
• c 按字符格式显示变量
• f 按浮点数格式显示变量
• z 按十六进制格式显示变量，左侧填充零

expr可以是一个变量，也可以是表达式，也可以是寄存器：

1
2
3
4
5
6

(gdb) p var1 # 打印变量var1
(gdb) p &var1 # 打印变量var1地址
(gdb) p $rsp # 打印rsp寄存器地址
(gdb) p $rsp + 8 # 打印rsp加8后的地址信息
(gdb) p 0xc000068fd0 # 打印0xc000068fd0转换成10进制格式
(gdb) p /x 824634150864 # 打印824634150864转换成16进制格式

print也支持查看连续内存，@操作符用于查看连续内存，@的左边是第一个内存的地址的值，@的右边则想查看内存的长度。

例如对于如下代码：int arr[] = {2, 4, 6, 8, 10};，可以通过如下命令查看arr前三个单元的数据：

1
2

(gdb) p *arr@3
$2 = {2, 4, 6}

查看内存中的值

examine命令用来查看内存地址中的值，可以简写成x。examine命令的语法如下所示：

examine /<n/f/u>

• n 表示显示字段的长度，也就是说从当前地址向后显示几个地址的内容。
• f 表示显示的格式
  • d 数字 decimal
  • u 无符号数字 unsigned decimal
  • s 字符串 string
  • c 字符 char
  • u 无符号整数 unsigned integer
  • t 二进制 binary
  • o 八进制格式 octal
  • x 十六进制格式 hex
  • f 浮点数格式 float
  • i 指令 instruction
  • a 地址 address
  • z 十六进制格式，左侧填充零 hex, zero padded on the left
• u 表示从当前地址往后请求的字节数，默认是4个bytes
  • b 一个字节 byte
  • h 两个字节 halfword
  • w 四个字节 word
  • g 八个字节 giantword

示例：

1
2
3
4
5
6
7
8
9

(gdb) x/10c 0x4005d4 # 打印前10个字符
(gdb) x/16xb a # 以16进制格式打印数组前a16个byte的值
(gdb) x/16ub a # 以无符号10进制格式打印数组a前16个byte的值
(gdb) x/16tb a # 以2进制格式打印数组前16个abyte的值
(gdb) x/16xw a # 以16进制格式打印数组a前16个word（4个byte）的值
(gdb) x $rsp # 打印rsp寄存器执行的地址的值
(gdb) x $rsp + 8 # 打印rsp加8后的地址指向的值
(gdb) x 0xc000068fd0 # 打印内存0xc000068fd0指向的值
(gdb) x/5i schedule # 打印函数schedule前5条指令

修改变量或寄存器值

set命令支持修改变量以及寄存器的值：

1
2
3

(gdb) set var var1=123 # 设置变量var1值为123
(gdb) set var $rax=123 # 设置寄存器值为123
(gdb) set environment envname1=123 # 设置环境变量envname1值为123

查看命令帮助信息

help命令支持查看GDB命令帮助信息。

1
2

(gdb) help status # 查看所有命令使用示例
(gdb) help x # 查看x命令使用帮助

搜索源文件

search命令支持在当前文件中使用正则表达式搜索内容。search等效于forward-search命令，是从当前位置向前搜索，可以简写成fo。reverse-search命令功能跟forward-search恰好相反，其可以简写成rev。

1
2

(gdb) search func add # 从当前位置向前搜索add方法
(gdb) rev func add # 从当前为向后搜索add方法

执行shell命令

我们可以通过shell指令来执行shell命令。

1
2

(gdb) shell cat /proc/27889/maps # 查看进程27889的内存映射。若想查看当前进程id，可以使用info proc命令获取
(gdb) shell ls -alh

GDB对go runtime支持

• runtime.Breakpoint()：触发调试器断点。
• runtime/debug.PrintStack()：显示调试堆栈。
• log：适合替代 print显示调试信息

进一步阅读

• Beej’s Quick Guide to GDB
• 100个gdb小技巧

配置环境

安装 Hexo

接下来就需要安装 Hexo 了，这是一个博客框架，Hexo 官方还提供了一个命令行工具，用于快速创建项目、页面、编译、部署 Hexo 博客，所以在这之前我们需要先安装 Hexo 的命令行工具。 命令如下：

1

$ npm install -g hexo-cli

信息提前说明

配置文件说明

在 Hexo 中有两份主要的配置文件，其名称都是 _config.yml。 其中，一份位于*站点根目录下，主要包含 Hexo 本身的配置；另一份位于主题目录*下，这份配置由主题作者提供，主要用于配置主题相关的选项。

为了描述方便，在以下说明中，将前者称为 站点配置文件， 后者称为 主题配置文件。

初始化 hexo

1. 创建文件夹

   1	$ mkdir io_github_qeuroal

2. 初始化

   1 2	$ hexo init $ mkdir ~/Desktop/hexo && ls -al > ~/Desktop/hexo/hexo_init.info

3. 将 Hexo 编译生成 HTML 代码

   1	$ hexo generate

4. 本地运行

   1	$ hexo server

5. 站点配置文件

   • 修改根目录下的 _config.yml 文件，找到 Site 区域，这里面可以配置站点标题 title、副标题 subtitle 等内容、关键字 keywords 等内容.

     例:

     1 2 3 4 5 6

     # Site title: NightTeam subtitle: 一个专注技术的组织 description: 涉猎的主要编程语言为 Python、Rust、C++、Go，领域涵盖爬虫、深度学习、服务研发和对象存储等。 keywords: "Python, Rust, C++, Go, 爬虫, 深度学习, 服务研发, 对象存储" author: NightTeam

   • language 的字段设置为 zh-CN

配置主题

Pure 主题

使用 pure, 教程见这里的 《Hexo搭建个人博客并部署到Github》和《Hexo博客主题pure使用说明》

下载主题

1. 下载

   1	$ git clone https://github.com/cofess/hexo-theme-pure.git themes/pure

2. 启用主题

   修改 站点配置文件

   1	theme: pure

更新主题 (可选, 暂未使用过)

1
2

$ cd themes/pure
$ git pull

主题配置

导航菜单

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 导航菜单
menu:
  Home: . 
  Archives: archives # 归档
  Categories: categories # 分类
  Tags: tags # 标签
  Repository: repository # github repositories
  Books: books     # 书单
  Links: links # 友链
  About: about # 关于

# 导航菜单图标（font awesome）
menu_icons:
  enable: true # 是否启用菜单图标
  home: fa-dashboard
  archives: fa-delicious
  categories: fa-folder
  tags: fa-tags
  repository: fa-code
  books: fa-leanpub
  links: fa-gg
  about: fa-coffee

主题配置

1
2
3
4
5
6
7
8
9
10
11

# config
config:
  skin: theme-black # 主题颜色 theme-blue theme-green theme-purple
  layout: main-center # 布局方式 main-left main-center main-right
  toc: true # 是否开启文章章节目录导航
  menu_highlight: false # 是否开启当前菜单高亮显示
  thumbnail: false # enable posts thumbnail, options: true, false
  excerpt_link: Read More
  #New
  isNewTabLinks: true #是否链接打开新标签页
  autoUnfold: true # 默认展开文章目录

页面显示

1
2
3
4
5
6
7
8
9

# Pagination
pagination:
  number: false
  prev: 
    alwayShow: true
  next:
    alwayShow: true
  midSize: 2 # 当前页码左右到省略号显示的页码数，默认2，表现为 1 ... 4 5 6 7 8 ... 10
  showContent: false # 页面文章小于2篇时显示文章内容

大图显示

1
2

# Fancybox
fancybox: false

捐赠

直接更改照片文件即可

修改为自己的名字

• 改 cofess 为 <your name>

修改 example.com

全局搜索 example.com 将其替换成网站网址 Qeuroal.top

个人链接

1
2
3
4
5
6

links:
  Github: https://github.com/Qeuroal
  Blog: http://blog.Qeuroal.com
  微博: http://weibo.com/Qeuroal
  # 花瓣: http://huaban.com/Qeuroal
  # Behance: https://www.behance.net/Qeuroal

个人标签

1
2
3

# My Personal Labels
labels:
  - 后端

搜索 (未处理)

主题内置三种站内搜索方式：insight、swiftype、baidu

1
2
3
4
5

# Search
search:
  insight: true # you need to install `hexo-generator-json-content` before using Insight Search
  swiftype: # enter swiftype install key here
  baidu: false # you need to disable other search engines to use Baidu search

文章启用目录索引

1
2
3
4
5
6

title: 文章标题
categories:
  - 文章分类
tags:
  - 文章标签
toc: true # 是否启用内容索引

分享

支持weibo,qq,qzone,wechat,tencent,douban,diandian,facebook,twitter,google,linkedin

1
2
3
4
5
6

# Share
# weibo,qq,qzone,wechat,tencent,douban,diandian,facebook,twitter,google,linkedin
share:
  enable: true  # 是否启用分享
  sites: weibo,qq,wechat,facebook,twitter  # PC端显示的分享图标
  mobile_sites: weibo,qq,qzone  # 移动端显示的分享图标

分类, 标签, 仓库, about等菜单的配置

将 /theme/pure/_source 下的所有文件复制到 /source 下

友情链接

复制theme/pure/_source/ 目录下links文件夹到blog path/source/ 目录下

在 hexo 目录下的 source 文件夹内创建一个名为 _data（禁止改名）的文件夹。

然后在文件内创建一个名为 links.yml 的文件,在其中添加相关数据即可。

单个友情链接的格式为：

1
2
3
4

Name:
    link: http://example.com
    avatar: http://example.com/avatar.png
    desc: "这是一个描述"

添加多个友情链接，我们只需要根据上面的格式重复填写即可。

• 将 Name 改为友情链接的名字，例如 Cofess。

• http://example.com 为友情链接的地址。

• http://example.com/avatar.png 为友情链接的头像。

• 这是一个描述 为友情链接描述。

数学公式

Hexo默认使用 “hexo-renderer-marked” 引擎渲染网页，该引擎会把一些特殊的 markdown 符号转换为相应的 html 标签

解决方案

解决方案有很多，可以网上搜下，为了节省大家的时间，这里只提供亲身测试过的方法。

更换 Hexo 的 markdown 渲染引擎，hexo-renderer-markdown-it-plus 引擎替换默认的渲染引擎 hexo-renderer-marked 即可。

安装hexo-renderer-markdown-it-plus插件

1
2

npm un hexo-renderer-marked --save
npm i hexo-renderer-markdown-it-plus --save

配置

安装插件后，如果未正常渲染LaTeX数学公式，在博客配置文件_config.yml中添加

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

markdown_it_plus:
  highlight: true
  html: true
  xhtmlOut: true
  breaks: true
  langPrefix:
  linkify: true
  typographer:
  quotes: “”‘’
  plugins:
    - plugin:
        name: markdown-it-katex
        enable: true
    - plugin:
        name: markdown-it-mark
        enable: false

文章启用mathjax

1
2

title: Hello World
mathjax: true

文章简介内容不全显式

1

showContent: false # 页面文章小于2篇时显示文章内容

删除部分文件

• themes/pure/_config.yml.example
• themes/pure/README.cn.md
• themes/pure/README.md

关闭订阅

•  # rss
   # rss: /atom.xml
   
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  
  - ```yml
       social:
         links:
           github: https://github.com/Qeuroal
           weibo: http://weibo.com/Qeuroal
           twitter: https://twitter.com/Qeuroal
           # facebook: /
           # dribbble: /
           behance: https://www.behance.net/Qeuroal
           # rss: atom.xml
  
  

更改头像

1
2
3

profile:
  # avatar: images/avatar.jpg
  avatar: images/avatar.png

更改个人简介

文件: /source/about/index.md

安装插件

hexo-deployer-git (must, common)

安装

1

$ npm install hexo-deployer-git --save

站点配置(根目录) config.yml

_config.yml

1
2
3
4
5
6

# Deployment
## Docs: https://hexo.io/docs/deployment.html
deploy:
  type: git
  repo: {git repo ssh address}
  branch: master

hexo-generator-feed (normal, 但不推荐订阅)

Github：https://github.com/hexojs/hexo-generator-feed

简介

RSS的生成插件，你可以在配置显示你站点的RSS，文件路径\atom.xml。

安装：

1

$ npm install hexo-generator-feed --save

配置：

在博客配置文件_config.yml中添加

1
2
3
4
5
6

feed:
  type: atom
  path: atom.xml
  limit: 20
  hub:
  content:

• type - Feed type. (atom/rss2)
• path - Feed path. (Default: atom.xml/rss2.xml)
• limit - Maximum number of posts in the feed (Use 0 or false to show all posts)
• hub - URL of the PubSubHubbub hubs (Leave it empty if you don’t use it)
• content - (optional) set to ‘true’ to include the contents of the entire post in the feed.

hexo-generator-json-content (must)

Github

https://github.com/alexbruno/hexo-generator-json-content

简介

用于生成静态站点数据，提供搜索功能的数据源。

安装

1

$ npm install hexo-generator-json-content --save

配置

在博客配置文件_config.yml中添加

1
2
3
4
5
6
7

jsonContent:
  ignore:
    - path/to/a/page
    - url/to/one/post
    - an-entire-category
    - specific.file
    - .ext # a file extension

hexo-image-link (must)

在github上用hexo搭建了自己的博客，用typora写完一篇博文，满怀欣喜地deploy之后发现图片加载失败…真的很吐血。去网上一搜索，嗯，好像不少人都遇到了这个问题，解决方法看似一大堆实则无效或过时不匹配，绝大多数资料都是安装hexo-asset-image的插件，亲测对于markdown图片路径没有用啊！比出现问题更折磨人的是遇上一堆错误的解决方法…

我想要寻找在本地和网页上都能显示的办法，终于发现了一款插件hexo-image-link，是将markdown图片路径转换为asset_img语法，使得图片能够同时显示在typora和hexo上。

1

{% asset_img "local-image.png" "image file label" %} -> {% asset_img label local-image.png %}

具体步骤

• 修改_config.yml中的post_asset_folder: true

• 安装hexo-image-link

  1	$ npm install hexo-image-link --save

• 修改 站点配置文件 为 post_asset_folder: true

注

• 如果 npm下载比较慢的话，尝试 cnpm下载

• 安装

  1 2	$ npm install -g cnpm --registry=https://registry.npm.taobao.org $ cnpm install hexo-image-link --save

• 修改md文件中的图片路径

hexo-autonofollow (bad)

Github：https://github.com/liuzc/hexo-autonofollow

简介：自动为站外链接添加nofollow属性

安装：

1

$ npm install hexo-autonofollow --save

配置：

在博客配置文件_config.yml中添加

1
2
3
4
5

nofollow:
  enable: true
  exclude:
    - exclude1.com
    - exclude2.com

• enable - 是否启用
• exclude - 排除域名

配置主题无意义的组件

豆瓣书单 (关闭, 毫无意义)

复制theme/pure/_source/ 目录下books文件夹到blog path/source/ 目录下

1
2
3
4
5

# douban 豆瓣书单
douban:
  user: *** # 豆瓣用户名
  start: 0 # 从哪一条记录开始
  count: 100 # 获取豆瓣书单数据条数

评论 (关闭, 鸡肋)

1
2

comment:
  type:   # 启用哪种评论系统, 不填即关闭

Next 主题

下载主题

1. 最新版本:

   Download the Latest Master Branch

2. 稳定版本

   Download the Latest Release Version

3. 指定版本

   Download the Specific Release Version

   In rare cases useful, but not recommended.
   You must define version. Let’s take v8.0.0 as an example. Replace it with any version from tags list.

4. git 下载

   1 2	$ cd io_github_qeuroal $ git clone https://github.com/next-theme/hexo-theme-next themes/next

教程: Installation

主题配置

修改 theme/next/_config.yml

主题配置文件

1
2
3
4
5

#Schemes
#scheme: Muse
#scheme: Mist
scheme: Pisces
#scheme: Gemini

Menu 增加关于、标签、分类、404页面

1. 将 about、tags、categories 前的 #号去掉，示例如下：

   1 2 3 4 5 6 7 8 9

   menu: home: / || fa fa-home about: /about/ || fa fa-user tags: /tags/ || fa fa-tags categories: /categories/ || fa fa-th archives: /archives/ || fa fa-archive #schedule: /schedule/ || fa fa-calendar #sitemap: /sitemap.xml || fa fa-sitemap #commonweal: /404/ || fa fa-heartbeat

2. 新建相关页面

   在博客根目录下执行下列命令

   1 2 3 4

   $ hexo new page "about" $ hexo new page "tags" $ hexo new page "categories" $ hexo new page 404

3. 修改生成页面的配置

   1 2 3 4

   source/about/index.md source/tags/index.md source/categories/index.md source/404/index.md

4. 404 相关

   在 front-matter 中添加 permalink: /404，表示指定该页面固定链接为 http://“主页”/404.html

   1 2 3 4 5 6 7

   --- title: 404 Not Found：该页无法显示 toc: false comments: false permalink: /404 --- <script type="text/javascript" src="//www.qq.com/404/search_children.js" charset="utf-8" homePageUrl="<%- config.url %>" homePageName="回到我的主页"></script>

设置左上角或右上角 github 图标

主题配置文件，启用 github-banner 如下：

1
2
3
4

github_banner:
  enable: true
  permalink: https://https://github.com/Qeuroal
  title: Follow me on GitHub

设置侧栏阅读进度百分比

编辑站点配置文件，修改 back2top 部分如下

1
2
3
4

copyback2top:
  enable: true
  sidebar: true
  scrollpercent: true

设置网页底部信息

查看主题配置文件，修改 footer 配置如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

footer:
  # Specify the year when the site was setup. If not defined, current year will be used.
  #since: 2021

  # Icon between year and copyright info.
  icon:
    # Icon name in Font Awesome. See: https://fontawesome.com/icons
    name: fa fa-heart
    # If you want to animate the icon, set it to true.
    animated: false
    # Change the color of icon, using Hex Code.
    color: "#ff0000"

  # If not defined, `author` from Hexo `_config.yml` will be used.
  # Set to `false` to disable the copyright statement.
  copyright:

  # Powered by Hexo & NexT
  powered: true

  # Beian ICP and gongan information for Chinese users. See: https://beian.miit.gov.cn, http://www.beian.gov.cn
  beian:
    enable: false
    icp:
    # The digit in the num of gongan beian.
    gongan_id:
    # The full num of gongan beian.
    gongan_num:
    # The icon for gongan beian. See: http://www.beian.gov.cn/portal/download
    gongan_icon_url:

图片懒加载设置

在主题配置文件中启用 lazyload

1

copylazyload: true

设置代码块复制和代码高亮

在主题配置文件中修改 codeblock

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

codeblock:
  # Code Highlight theme
  # All available themes: https://theme-next.js.org/highlight/
  theme:
    light: atom-one-dark
    dark: stackoverflow-dark
  prism:
    light: prism
    dark: prism-dark
  # Add copy button on codeblock
  copy_button:
    enable: true
    # Available values: default | flat | mac
    style:
  # Fold code block
  fold:
    enable: false
    height: 500

修改文章底部标签样式

在主题配置文件中修改

1

copytag_icon: true

网站icon

1
2
3
4
5
6

favicon:
  small: /images/favicon.png
  medium: /images/favicon.png
  apple_touch_icon: /images/avatar.jpg
  safari_pinned_tab: /images/avatar.jpg
  #android_manifest: /manifest.json

侧边栏头像

1
2
3
4
5
6
7
8

# Sidebar Avatar
avatar:
  # Replace the default image and set the url here.
  url: /images/avatar.png
  # If true, the avatar will be displayed in circle.
  rounded: true
  # If true, the avatar will be rotated with the cursor.
  rotated: true

侧边栏社交链接

修改主题配置文件

1
2
3
4
5
6
7
8
9
10

social:
  GitHub: https://github.com/Qeuroal || fab fa-github
  #E-Mail: mailto:yourname@gmail.com || fa fa-envelope
  #Weibo: https://weibo.com/yourname || fab fa-weibo
  #Twitter: https://twitter.com/yourname || fab fa-twitter
  #FB Page: https://www.facebook.com/yourname || fab fa-facebook
  #StackOverflow: https://stackoverflow.com/yourname || fab fa-stack-overflow
  #YouTube: https://youtube.com/yourname || fab fa-youtube
  #Instagram: https://instagram.com/yourname || fab fa-instagram
  #Skype: skype:yourname?call|chat || fab fa-skype

在文章底部增加版权信息

编辑 主题配置文件，修改如下配置：

1
2
3
4
5
6
7
8
9
10

creative_commons:
  # Available values: by | by-nc | by-nc-nd | by-nc-sa | by-nd | by-sa | cc-zero
  license: by-nc-sa
  # Available values: big | small
  size: small
  sidebar: false
  post: true
  # You can set a language value if you prefer a translated version of CC license, e.g. deed.zh
  # CC licenses are available in 39 languages, you can find the specific and correct abbreviation you need on https://creativecommons.org
  language:

开启缓存

1
2
3

# Allow to cache content generation. Introduced in NexT v6.0.0.
cache:
  enable: true

压缩

1
2

# Remove unnecessary files after hexo generate.
minify: true

侧边栏显示分类条数

1
2

# Posts / Categories / Tags in sidebar.
site_state: true

友链

1
2
3
4
5
6
7
8
9
10

# Blog rolls 友链
links_settings:
  icon: fa fa-link # 设置icon
  title: 友情链接 # 设置标题
  # Available values: block | inline
  layout: block # css样式，是一行一条，还是自动换行

links:
  友链1: http://yoursite.com
  #... 依次追加即可

文章toc

1
2
3
4
5
6

toc:
  enable: true # 是否开启
  number: true # 自动显示文章编号
  wrap: false # 溢出是否换行
  expand_all: true # 展开所有还是手风琴
  max_depth: 4 # 显示最大深度

顶部元信息

1
2
3
4
5
6
7

post_meta:
  item_text: true # 使用中文显示
  created_at: true
  updated_at:
    enable: true
    another_day: true
  categories: true

首页摘要

1
2

excerpt_description: false  # 关闭自动提取
read_more_btn: trues # 显示阅读全文

1. 手动控制

   使用<!--more-->控制

2. 使用 front-matter 中添加 description 或 excerpt 字段

   1 2 3 4

   --- description: your excerpt excerpt: your excerpt ---

安装插件

hexo-deployer-git (must, common)

1. 安装

   1	$ npm install hexo-deployer-git --save

2. 站点配置(根目录) config.yml

   _config.yml

   1 2 3 4 5 6

   # Deployment ## Docs: https://hexo.io/docs/deployment.html deploy: type: git repo: {git repo ssh address} branch: master

hexo-image-link (must)

在github上用hexo搭建了自己的博客，用typora写完一篇博文，满怀欣喜地deploy之后发现图片加载失败…真的很吐血。去网上一搜索，嗯，好像不少人都遇到了这个问题，解决方法看似一大堆实则无效或过时不匹配，绝大多数资料都是安装hexo-asset-image的插件，亲测对于markdown图片路径没有用啊！比出现问题更折磨人的是遇上一堆错误的解决方法…

我想要寻找在本地和网页上都能显示的办法，终于发现了一款插件hexo-image-link，是将markdown图片路径转换为asset_img语法，使得图片能够同时显示在typora和hexo上。

1

{% asset_img "local-image.png" "image file label" %} -> {% asset_img label local-image.png %}

具体步骤

• 修改_config.yml中的post_asset_folder: true

• 安装hexo-image-link

  1	$ npm install hexo-image-link --save

• 修改 站点配置文件 为 post_asset_folder: true

注:

• 如果 npm下载比较慢的话，尝试 cnpm下载

• 安装

  1 2	$ npm install -g cnpm --registry=https://registry.npm.taobao.org $ cnpm install hexo-image-link --save

• 修改md文件中的图片路径

hexo-generator-searchdb

1. 安装 exo-generator-searchdb 这个插件

   1	$ npm install hexo-generator-searchdb --save

2. 配置 主题配置文件: _config.yml

   1 2 3 4 5 6 7 8 9 10 11 12 13

   # Local Search # Dependencies: https://github.com/next-theme/hexo-generator-searchdb local_search: enable: true # If auto, trigger search by changing input. # If manual, trigger search by pressing enter key or search button. trigger: auto # Show top n results per article, show all results by setting to -1 top_n_per_article: 1 # Unescape html strings to the readable one. unescape: false # Preload the search data when the page loads. preload: false

部署

1. 配置站点配置文件 _config.yml

   1 2 3 4 5 6

   # Deployment ## Docs: https://hexo.io/docs/deployment.html deploy: type: git repo: {git repo ssh address} branch: master

2. 部署

   1	$ hexo deploy

自定义域名

添加 CNAME 文件

在 /source 文件夹下添加 CNAME 文件, 如下所示:

hexo 常用命令

1
2
3
4
5
6
7

$ hexo new "postName" # 新建文章
$ hexo new page "pageName" # 新建页面
$ hexo generate # 生成静态页面至public目录
$ hexo server # 开启预览访问端口（默认端口4000，'ctrl + c'关闭server）
$ hexo deploy # 将.deploy目录部署到GitHub
$ hexo help  # 查看帮助
$ hexo version  # 查看Hexo的版本

git

删除远程仓库里的某个文件/文件夹

在git中可以用git rm命令删除文件（删除远程仓库文件）

1
2
3
4
5
6

git clone 仓库地址
git add .
step1: git rm 文件 //本地中该文件会被删除
step2: git rm -r 文件夹 //删除文件夹
step3: git commit -m '删除某个文件'
step4: git push （origin master）

上面的方法会把对应的本地文件也删除掉，如果不想把本地文件删除，只把缓存区中的对应部分删除，则加上 --cached

1
2

git rm --cached 文件 //本地中该文件不会被删除
git rm -r  --cached  文件夹 //删除文件夹

在 git add . 后面执行上面的命令，再推送到 github 远程仓库上的时候，仓库里面对应的文件/文件夹就会被删除

1
2
3
4
5
6

git clone 仓库地址
git add .
step1: git rm --cached 文件 		//本地中该文件不会被删除
step2: git rm -r  --cached  文件夹 //删除文件夹
step3: git commit -m '删除某个文件'
step4: git push （origin master）

git commit后，如何撤销commit

修改了本地的代码，然后使用：

1
2

git add file
git commit -m '修改原因'

复制

执行commit后，还没执行push时，想要撤销这次的commit，该怎么办？

解决方案： 使用命令：

1

git reset --soft HEAD^

复制

这样就成功撤销了commit，如果想要连着add也撤销的话，–soft改为–hard（删除工作空间的改动代码）。

1
2

HEAD^ 表示上一个版本，即上一次的commit，也可以写成HEAD~1
如果进行两次的commit，想要都撤回，可以使用HEAD~2

复制

1
2

--soft
不删除工作空间的改动代码 ，撤销commit，不撤销git add file

复制

1
2

--hard
删除工作空间的改动代码，撤销commit且撤销add

复制

另外一点，如果commit注释写错了，先要改一下注释，有其他方法也能实现，如：

1
2

git commit --amend
这时候会进入vim编辑器，修改完成你要的注释后保存即可。

撤销 git add . 并保留修改的方法

执行完 git add .

文件退出暂存区，但是修改保留：

1

git reset --mixed

撤销所有的已经 add 的文件：

1

git reset HEAD .

撤销某个文件或文件夹：

1

git reset HEAD  -filename

另外：可以用 git status Git 会告诉你可以通过那个命令来执行操作。

补充

可以用 git status Git 会告诉你可以通过那个命令来执行操作。

push 失败

case 1

OpenSSL SSL_read: Connection was reset, errno 10054的话就把代理关了

删除未跟踪文件

1
2

# 删除 untracked files
git clean -f

1
2

# 连 untracked 的目录也一起删掉
git clean -fd

1
2

# 连 gitignore 的untrack 文件/目录也一起删掉 （慎用，一般这个是用来删掉编译出来的 .o之类的文件用的）
git clean -xfd

1
2
3
4

# 在用上述 git clean 前，墙裂建议加上 -n 参数来先看看会删掉哪些文件，防止重要文件被误删
git clean -nxfd
git clean -nf
git clean -nfd

多终端同步

新建私有仓库

1
2
3
4
5
6
7

echo "# Readme" >> README.md
git init
git add README.md
git commit -m "first commit"
git branch -M master
git remote add origin <your https repo address>
git push -u origin master

文件夹说明

.gitignore内容

1
2
3
4
5
6
7

.DS_Store
Thumbs.db
db.json
*.log
node_modules/
public/
.deploy*/

删除.git文件

删除所有主题的 .git 文件，如：rm -rf ./theme/pure/.git

注

查找 .git 文件

在==根目录==下执行以下命令

1

find . -name ".git*"

上传

1
2
3

git add .
git commit -m "<yout commit statement>"
git push

新电脑上的操作

1. 下载

   1	git clone <your repo>

2. 安装依赖

   1	npm install

   npm install其实就是读取了 packages.json 里面的信息，自动安装依赖，有的小伙伴可能只执行npm install就行了，不过按照上面的三步是最稳妥的

3. 仓库更新

   为了保证同步，推荐先合并更新再进行博客的编写

   • pull (不推荐)

     1

     git pull

   • fetch

     1 2	git fetch --all #将远程git仓库上最新的内容拉取到本地,将本地库所关联的远程库更新至最新 git reset --hard origin/master #强制将本地内容指向刚刚同步git云端内容

     reset 对所拉取的文件不做任何处理，此处不用 pull 是因为本地尚有许多文件，使用 pull 会有一些版本冲突，解决起来也麻烦，而本地的文件都是初始化生成的文件，较拉取的库里面的文件而言基本无用，所以直接丢弃。

4. 部署

   1 2	hexo clean && hexo g && hexo s hexo d

更新脚本

1

QAs

Error: Cannot find module ‘hexo-util’

• 方法1

  1. rm -rf node_modules
  2. npm install hexo-util

• 方法2

  For those who also encounter this issue, please check your NPM version.

  • > 3: Still not work. Please remove node_modules directory and reinstall using npm install.
  • < 3: Please add hexo-util explicitly via npm install –save-dev hexo-util to you site package deps.

  reference: https://github.com/iissnan/hexo-theme-next/issues/1490

基本概念

简介

模型训练5要素

• 数据：包括数据读取，数据清洗，进行数据划分和数据预处理，比如读取图片如何预处理及数据增强。
• 模型：包括构建模型模块，组织复杂网络，初始化网络参数，定义网络层。
• 损失函数：包括创建损失函数，设置损失函数超参数，根据不同任务选择合适的损失函数。
• 优化器：包括根据梯度使用某种优化器更新参数，管理模型参数，管理多个参数组实现不同学习率，调整学习率。
• 迭代训练：组织上面 4 个模块进行反复训练。包括观察训练效果，绘制 Loss/Accuracy 曲线，用 TensorBoard 进行可视化分析

张量

概念

张量

官方定义

A tensor is the primary data structure used by neural networks.

官方定义2

A PyTorch Tensor is conceptually identical to a numpy array: a Tensor is an n-dimensional array, and PyTorch provides many functions for operating on these Tensors.

通俗理解

多维数组(Tensors and nd-arrays are the same thing! So tensors are multidimensional arrays or nd-arrays for short.)

• A scalar is a $0$ dimensional tensor
• A vector is a $1$ dimensional tensor
• A matrix is a $2$ dimensional tensor
• A nd-array is an $n$ dimensional tensor

拓展

We often see this kind of thing where different areas of study use different words for the same concept.

索引

obvious: 访问一个多维数组, 需要几个索引

秩

即维数,或者说在张量中访问一个元素,需要的索引数

A tensor’s rank tells us how many indexes are needed to refer to a specific element within the tensor.

轴

An axis of a tensor is a specific dimension of a tensor.

tensor 属性

torch.dtype

torch.device

类型

• CPU
• GPU

指定GPU

1

device = torch.device('cuda:0')

注意

One thing to keep in mind about using multiple devices is that tensor operations between tensors must happen between tensors that ==exists on the same device==.

torch.layout

应该就是步长==?????==

总览

• data: 被包装的 Tensor。
• grad: data 的梯度。
• grad_fn: 创建 Tensor 所使用的 Function，是自动求导的关键，因为根据所记录的函数才能计算出导数。
• requires_grad: 指示是否需要梯度，并不是所有的张量都需要计算梯度。
• is_leaf: 指示是否叶子节点(张量)，叶子节点的概念在计算图中会用到，后面详细介绍。
• dtype: 张量的数据类型，如 torch.FloatTensor，torch.cuda.FloatTensor。
• shape: 张量的形状。如 (64, 3, 224, 224)
• device: 张量所在设备 (CPU/GPU)，GPU 是加速计算的关键

构建tensor的方法

直接构造tensor

• torch.Tensor(data)
• torch.tensor(data)
• torch.as_tensor(data)
• torch.from_numpy(data)

根据数值构造tensor

• torch.eye(k): 生成 k 阶的单位矩阵

• torch.zeros(shape): 生成元素值都为 0, 形状为 shape 的张量

• torch.zeros_like(input, dtype=None, layout=None, device=None, requires_grad=False, memory_format=torch.preserve_format): 根据 input 形状创建全 0 张量

• torch.ones(shape): 生成元素值都为 1, 形状为 shape 的张量

• torch.rand(shape): 生成元素值随机, 形状为 shape 的张量

• torch.full()

  1	torch.full(size, fill_value, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False)

  • size: 张量的形状，如 (3,3)
  • fill_value: 张量中每一个元素的值

• torch.full_like()

  1	torch.full_like(input, fill_value, dtype=None, layout=torch.strided, device=None, requires_grad=False, memory_format=torch.preserve_format) → Tensor

  • input: the size of input will determine size of the output tensor.
  • fill_value: the number to fill the output tensor with.

• torch.arange(): 创建等差的 1 维张量。注意区间为 $[start, end)$

  1	torch.arange(start=0, end, step=1, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False)

  • start: 数列起始值
  • end: 数列结束值，开区间，取不到结束值
  • step: 数列公差，默认为 1

• torch.linspace() : 创建均分的 1 维张量。数值区间为 $[start, end]$

  1	torch.linspace(start, end, steps=100, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False)

  • start: 数列起始值
  • end: 数列结束值
  • steps: 数列长度 (元素个数)

• touch.logspace() : 创建对数均分的 1 维张量, 数值区间为 $[start, end]$, 底为 base

  1	torch.logspace(start, end, steps=100, base=10.0, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False)

  • start: 数列起始值
  • end: 数列结束值
  • steps: 数列长度 (元素个数)
  • base: 对数函数的底，默认为 10

根据概率构造tensor

• torch.normal(mean, std, *, generator=None, out=None): 生成正态分布 (高斯分布)

  • mean: 均值
  • std: 标准差

  4种模式

  • mean 为标量, std 为标量, 则==需要设置 size==

    如: torch.normal(0., 1., size=(4,))

  • mean 为标量，std 为张量

  • mean 为张量，std 为标量

  • mean 为张量，std 为张量

• torch.randn() 和 torch.randn_like(): 生成标准正态分布。

  1	torch.randn(*size, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False)

  • size: 张量的形状

• torch.rand() 和 torch.rand_like(): 在区间 $[0, 1)$ 上生成均匀分布

  1	torch.rand(*size, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False)

• torch.randint() 和 torch.randint_like(): 在区间 $[low, high)$ 上生成整数均匀分布

  1	randint(low=0, high, size, *, generator=None, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False)

  • size: 张量的形状

• torch.randperm() ：生成从 0 到 n-1 的随机排列。常用于生成索引。

  1	torch.randperm(n, out=None, dtype=torch.int64, layout=torch.strided, device=None, requires_grad=False)

  • n: 张量的长度

• torch.bernoulli()

  1	torch.bernoulli(input, *, generator=None, out=None)

  功能：以 input 为概率，生成伯努利分布 (0-1 分布，两点分布)

  • input: 概率值

使用data的构造方法的不同

输出不同对比

code

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

data = np.array([1, 2, 3], dtype=np.int32)
print("numpy: ", data, "; dtype: ", data.dtype)

# torch.Tensor(data)
tensor1 = torch.Tensor(data)
print("tensor1: ", tensor1, "; dtype: ", tensor1.dtype)

# torch.tensor(data)
tensor2 = torch.tensor(data)
print("tensor2: ", tensor2, "; dtype: ", tensor2.dtype)

# torch.as_tensor(data)
tensor3 = torch.as_tensor(data)
print("tensor3: ", tensor3, "; dtype: ", tensor3.dtype)

# torch.from_numpy(data)
tensor4 = torch.from_numpy(data)
print("tensor4: ", tensor4, "; dtype: ", tensor4.dtype)

output

1
2
3
4
5

numpy:  [1 2 3] ; dtype:  int32
tensor1:  tensor([1., 2., 3.]) ; dtype:  torch.float32
tensor2:  tensor([1, 2, 3], dtype=torch.int32) ; dtype:  torch.int32
tensor3:  tensor([1, 2, 3], dtype=torch.int32) ; dtype:  torch.int32
tensor4:  tensor([1, 2, 3], dtype=torch.int32) ; dtype:  torch.int32

数据类型对比

torch.Tensor(data)

torch.tensor(data)

torch.as_tensor(data)

torch.from_numpy(data)

本质的不同

torch.Tensor() 和 torch.tensor()

• torch.Tensor(data)

  这是构造函数

• torch.tensor(data)

  • 这是工厂函数

    You can think of the torch.tensor() function as a factory that builds tensors given some parameter inputs.

  • 相比于 torch.Tensor(data) 更好

    the factory function torch.tensor() has better documentation and more configuration options, so it gets the winning spot at the moment.

dtype 的对比

• ``torch.Tensor()`

  使用的是默认类型

  注意: 这个函数中的dtype也而==不可以==显式的设置, 如: torch.Tensor(data, dtype=torch.int32) ❎

• other(torch.tensor(), torch.as_tensor(), torch.from_numpy())

  使用的是推断类型(根据传入的原始数据, 自动推断出元素的类型)

  注意: 这些函数中的dtype也而可以显式的设置, 如: torch.tensor(data, dtype=torch.float32)

内存对比: copy vs share

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

data = np.array([1, 2, 3], dtype=np.int32)
print("numpy: ", data, "; dtype: ", data.dtype)

## create tensor data
# torch.Tensor(data)
tensor1 = torch.Tensor(data)
# torch.tensor(data)
tensor2 = torch.tensor(data)
# torch.as_tensor(data)
tensor3 = torch.as_tensor(data)
# torch.from_numpy(data)
tensor4 = torch.from_numpy(data)

## show different
print("old: ")
print("\ttensor1: ", tensor1, "; dtype: ", tensor1.dtype)
print("\ttensor2: ", tensor2, "; dtype: ", tensor2.dtype)
print("\ttensor3: ", tensor3, "; dtype: ", tensor3.dtype)
print("\ttensor4: ", tensor4, "; dtype: ", tensor4.dtype)

# 更改数据
data[0] = 0

print("new:")
print("\ttensor1: ", tensor1, "; dtype: ", tensor1.dtype)
print("\ttensor2: ", tensor2, "; dtype: ", tensor2.dtype)
print("\ttensor3: ", tensor3, "; dtype: ", tensor3.dtype)
print("\ttensor4: ", tensor4, "; dtype: ", tensor4.dtype)

out:

1
2
3
4
5
6
7
8
9
10

old: 
        tensor1:  tensor([1., 2., 3.]) ; dtype:  torch.float32
        tensor2:  tensor([1, 2, 3], dtype=torch.int32) ; dtype:  torch.int32
        tensor3:  tensor([1, 2, 3], dtype=torch.int32) ; dtype:  torch.int32
        tensor4:  tensor([1, 2, 3], dtype=torch.int32) ; dtype:  torch.int32
new:
        tensor1:  tensor([1., 2., 3.]) ; dtype:  torch.float32
        tensor2:  tensor([1, 2, 3], dtype=torch.int32) ; dtype:  torch.int32
        tensor3:  tensor([0, 2, 3], dtype=torch.int32) ; dtype:  torch.int32
        tensor4:  tensor([0, 2, 3], dtype=torch.int32) ; dtype:  torch.int32

总结

• This sharing just means that the actual data in memory exists in a single place
• Sharing data is more efficient and uses less memory than copying data because the data is not written to two locations in memory.

torch.as_tensor() 和 torch.from_numpy() 的选择

• The torch.from_numpy() function only accepts numpy.ndarrays
• the torch.as_tensor() function accepts a wide variety of array-like objects including other PyTorch tensors

张量操作

拼接

torch.cat()

将张量按照 dim 维度进行拼接

1

torch.cat(tensors, dim=0, out=None)

• tensors: 张量序列
• dim: 要拼接的维度

torch.stack()

将张量在新创建的 dim 维度上进行拼接

1

torch.stack(tensors, dim=0, out=None)

• tensors: 张量序列
• dim: 要拼接的维度

意义

使用stack可以保留两个信息：[1. 序列] 和 [2. 张量矩阵] 信息，属于【==扩张==再拼接】的函数

例子

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

 # 假设是时间步T1
 T1 = torch.tensor([[1, 2, 3],
                 [4, 5, 6],
                 [7, 8, 9]])
 # 假设是时间步T2
 T2 = torch.tensor([[10, 20, 30],
                 [40, 50, 60],
                 [70, 80, 90]])

print(torch.stack((T1,T2),dim=0).shape)
print(torch.stack((T1,T2),dim=1).shape)
print(torch.stack((T1,T2),dim=2).shape)
print(torch.stack((T1,T2),dim=3).shape)


#################### outputs: ############# 
torch.Size([2, 3, 3])
torch.Size([3, 2, 3])
torch.Size([3, 3, 2])
'选择的dim>len(outputs)，所以报错'

切分

torch.chunk()

1

torch.chunk(input, chunks, dim=0)

功能：将张量按照维度 dim 进行平均切分。若不能整除，则最后一份张量小于其他张量。

• input: 要切分的张量
• chunks: 要切分的份数
• dim: 要切分的维度

torch.split()

1

torch.split(tensor, split_size_or_sections, dim=0)

功能：将张量按照维度 dim 进行平均切分。可以指定每一个分量的切分长度。

• tensor: 要切分的张量
• split_size_or_sections:
  • 为 int 时，表示每一份的长度，如果不能被整除，则最后一份张量小于其他张量；
  • 为 list 时，按照 list 元素作为每一个分量的长度切分。如果 list 元素之和不等于切分维度 (dim) 的值，就会报错。
• dim: 要切分的维度

索引

torch.index_select()

1

torch.index_select(input, dim, index, out=None)

功能：在维度 dim 上，按照 index 索引取出数据拼接为张量返回。

• input: 要索引的张量
• dim: 要索引的维度
• index: 要索引数据的序号

torch.mask_select()

1

torch.masked_select(input, mask, out=None)

功能：按照 mask 中的 True 进行索引拼接得到一维张量返回。

• 要索引的张量
• mask: 与 input 同形状的布尔类型张量

t.le() t.ge()

1

t.le(5)

变换

torch.reshape()

1

torch.reshape(input, shape)

功能：变换张量的形状。当张量在内存中是连续时，返回的张量和原来的张量共享数据内存，改变一个变量时，另一个变量也会被改变。

• input: 要变换的张量
• shape: 新张量的形状
  • -1 表示这个维度是根据其他维度计算得出的

torch.transpose()

1

torch.transpose(input, dim0, dim1)

功能：交换张量的两个维度。常用于图像的变换，比如把 $chw$ 变换为 $hwc$。

• input: 要交换的变量
• dim0: 要交换的第一个维度
• dim1: 要交换的第二个维度

torch.t()

功能：2 维张量转置，对于 2 维矩阵而言，等价于torch.transpose(input, 0, 1)。

torch.squeeze()

1

torch.squeeze(input, dim=None, out=None)

功能：压缩长度为 1 的维度。

• dim: 若为 None，则移除所有长度为 1 的维度；若指定维度，则==当且仅当该维度长度为 1 时可以移除==。

torch.unsqueeze()

1

torch.unsqueeze(input, dim)

功能：根据 dim 扩展维度，长度为 1。

数学运算

torch.add()

1
2

torch.add(input, other, out=None)
torch.add(input, other, *, alpha=1, out=None)

功能：逐元素计算 input + alpha * other。因为在深度学习中经常用到先乘后加的操作。

• input: 第一个张量
• alpha: 乘项因子
• other: 第二个张量

torch.addcdiv()

1

torch.addcdiv(input, tensor1, tensor2, *, value=1, out=None)

计算公式: $out_i = input_i + value \times \frac{tensor1_i}{tensor2_i}$

torch.addcmul()

1

torch.addcmul(input, tensor1, tensor2, *, value=1, out=None)

计算公式: $out_i = input_i + value \times tensor1_i \times tensor2_i$

bridge with Numpy

Tensor to numpy array

1

tensor.numpy()

函数

见这里

获取torch默认类型函数

1

torch.get_default_dtype()

suffix “_”

在函数的后面加上后缀 _, 将会改变作用的数据

示例

1
2
3
4
5
6
7
8
9
10
11

# source tensor
tensor = torch.eye(5)
print(tensor)

# tensor after using add()
tensor.add(5)
print(tensor)

# tensor after using add_()
tensor.add_(5)
print(tensor)

out

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

tensor([[1., 0., 0., 0., 0.],
        [0., 1., 0., 0., 0.],
        [0., 0., 1., 0., 0.],
        [0., 0., 0., 1., 0.],
        [0., 0., 0., 0., 1.]])
tensor([[1., 0., 0., 0., 0.],
        [0., 1., 0., 0., 0.],
        [0., 0., 1., 0., 0.],
        [0., 0., 0., 1., 0.],
        [0., 0., 0., 0., 1.]])
tensor([[6., 5., 5., 5., 5.],
        [5., 6., 5., 5., 5.],
        [5., 5., 6., 5., 5.],
        [5., 5., 5., 6., 5.],
        [5., 5., 5., 5., 6.]])

自动求导(autograd)

只要搭建好前向计算图,利用 torch.autograd 自动求导得到所有张量的梯度

torch.autograd.backward()

1

torch.autograd.backward(tensors, grad_tensors=None, retain_graph=None, create_graph=False, grad_variables=None)

功能

• 自动求取梯度

参数

• tensors: 用于求导的张量，如 loss

• retain_graph: 保存计算图。PyTorch 采用动态图机制，默认每次反向传播之后都会释放计算图。这里设置为 True 可以不释放计算图。

  y.backward() 方法调用的是 torch.autograd.backward(self, gradient, retain_graph, create_graph)。但是在第二次执行 y.backward() 时会出错。因为 PyTorch 默认是每次求取梯度之后不保存计算图的，因此第二次求导梯度时，计算图已经不存在了。在第一次求梯度时使用 y.backward(retain_graph=True) 即可。

• create_graph: 创建导数计算图，用于高阶求导

• grad_tensors: 多梯度权重。当有多个 loss 混合需要计算梯度时，设置每个 loss 的权重。

retain_grad 参数

反向传播结束之后仍然需要保留非叶子节点的梯度

grad_tensors 参数

给 loss 设置权重

torch.autograd.grad()

1

torch.autograd.grad(outputs, inputs, grad_outputs=None, retain_graph=None, create_graph=False, only_inputs=True, allow_unused=False)

功能

求取梯度

参数

• outputs: 用于求导的张量，如 loss
• inputs: 需要梯度的张量
• create_graph: 创建导数计算图，用于高阶求导
• retain_graph:保存计算图
• grad_outputs: 多梯度权重计算

返回值

返回结果是一个 tunple，需要取出第 0 个元素才是真正的梯度。

注意点

• 在每次反向传播求导时，计算的梯度不会自动清零。如果进行多次迭代计算梯度而没有清零，那么梯度会在前一次的基础上叠加。

  故使用 w.grad.zero() 将梯度清零

• 依赖与叶子节点的节点, requires_grad 属性默认为 True

• 叶子节点不可以执行 inplace 操作

  1 2 3 4 5 6 7

  ## inplace 操作: 改变后的值和原来的值内存地址是同一个 a += x a.add_(x) ## 非inplace 操作: 改变后的值和原来的值内存地址不是同一个 a = a + x a.add(x)

  举例

  1 2 3 4 5 6 7 8 9 10 11 12 13

  print("非 inplace 操作") a = torch.ones((1, )) print(id(a), a) # 非 inplace 操作，内存地址不一样 a = a + torch.ones((1, )) print(id(a), a) print("inplace 操作") a = torch.ones((1, )) print(id(a), a) # inplace 操作，内存地址一样 a += torch.ones((1, )) print(id(a), a)

  结果自己跑一下嘛

  问题

  如果在反向传播之前 inplace 改变了叶子的值, 再执行 backward() 会报错

逻辑回归

概念

二分类模型

模型表达式 $y=f(z)=\frac{1}{1+e^{-z}}$，其中 $z=WX+b$。$f(z)$ 称为 sigmoid 函数，也被称为 Logistic 函数

分类原则

逻辑回归是在线性回归的基础上加入了一个 sigmoid 函数，这是为了更好地描述置信度，把输入映射到 (0,1) 区间中，符合概率取值。

训练步骤

1. 导入模型

2. 计算误差 loss

3. 后向传播 (call loss.backward())

4. 加载优化器 optimizer: 注册模型中的所有参数

5. 梯度下降 (call optim.step())

   各参数的梯度保存在 .grad 属性中

反向传播

To backpropagate the error all we have to do is to loss.backward(). You need to clear the existing gradients though, ==else gradients will be accumulated to existing gradients.==

模型构建总结

步骤

1. 加载数据
2. 定义神经网络
3. 定义损失函数
4. 训练网络
5. 测试网络

PyTorch 构建模型需要 5 大步骤：

• 数据：包括数据读取，数据清洗，进行数据划分和数据预处理，比如读取图片如何预处理及数据增强。
• 模型：包括构建模型模块，组织复杂网络，初始化网络参数，定义网络层。
• 损失函数：包括创建损失函数，设置损失函数超参数，根据不同任务选择合适的损失函数。
• 优化器：包括根据梯度使用某种优化器更新参数，管理模型参数，管理多个参数组实现不同学习率，调整学习率。
• 迭代训练：组织上面 4 个模块进行反复训练。包括观察训练效果，绘制 Loss/ Accuracy 曲线，用 TensorBoard 进行可视化分析。

数据

数据模块

细分

• 数据收集: 样本和标签
• 数据划分: 训练集, 验证集和测试集
• 数据读取：对应于PyTorch 的 DataLoader。其中 DataLoader 包括 Sampler 和 DataSet。Sampler 的功能是生成索引， DataSet 是根据生成的索引读取样本以及标签。
• 数据预处理：对应于 PyTorch 的 transforms

考虑

• Who created the dataset?
• How was the dataset created?
• What transformations were used?
• What intent does the dataset have?
• Possible unintentional consequences?
• Is the dataset biased?
• Are there ethical issues with the dataset?

DataLoader

torch.utils.data.DataLoader()

1

torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, multiprocessing_context=None)

功能

构建可迭代的装载器

参数

• dataset: Dataset 类，决定数据从哪里读取以及如何读取
• batchsize: 批大小
• num_works: 是否多进程读取数据
• sheuffle: 每个 epoch 是否乱序
• drop_last: 当样本数不能被 batchsize 整除时，是否舍弃最后一批数据

Epoch, I’t’eration, Batchsize

• Epoch: ==所有训练样本==都已经输入到模型中，称为一个 Epoch
• Iteration: ==一批样本==输入到模型中，称为一个 Iteration
• Batchsize: ==批大小==，决定一个 iteration 有多少样本，也决定了一个 Epoch 有多少个 Iteration

举例: 假设样本总数有 80，设置 Batchsize 为 8，则共有 $80 \div 8=10$ 个 Iteration。这里 $1 Epoch = 10 Iteration$。

torch.utils.data.Dataset

功能

Dataset 是抽象类，所有自定义的 Dataset 都需要继承该类，并且重写__getitem()__方法和__len__()方法

• __getitem()__方法的作用是接收一个索引，返回索引对应的样本和标签，这是我们自己需要实现的逻辑
• __len__()方法是返回所有样本的数量

数据读取

• 读取哪些数据：每个 Iteration 读取一个 Batchsize 大小的数据，每个 Iteration 应该读取哪些数据。
• 从哪里读取数据：如何找到硬盘中的数据，应该在哪里设置文件路径参数
• 如何读取数据：不同的文件需要使用不同的读取方法和库。

步骤

1. 划分数据集为: 训练集, 验证集和测试集, 比例为 $8 : 1 : 1$, 并构造路径
2. 实现 get_img_info() 和 __getitem__(self, index), __len__() 函数
3. 构建模型

DataSet

MNIST 数据集

损失函数

均方误差 MSE

$MSE = \frac{1}{m}\sum_{i = 1}^{m}{(y_i-\hat{y_i})^2}$

• $y_i$ 是预测值
• $\hat{y_i}$ 是真实值

学习链接

常用变量

img

1

img = cv2.imread(filename)

图片相关

读图：imread

定义

1

imread(<文件名>, flag)

imread 第二个参数: flag

显示图：imshow

定义

1

imshow(<窗口名称>, < 图像实例 >)

waitkey

waitKey() 传入的参数如果为 0，会无限等待直到任何按键按下，或者传入其他数值参数表示等待时长，单位为 ms，时长结束后显示图像窗口会关闭。

返回值

返回: 键入的值

使用: 检查按键，键入 q or Q 退出

1
2
3

key = waitKey(20) & 0xff
if (key == ord('q') or key == ord('Q')):
    break

waityKey() 返回的数值和 0xff 相与后再和字符的 ord() 值比较，是为了规避某些系统中 waitKey() 返回的数值在高字节为非 0 值的情况。

调整窗口

使用 imshow() 方法显示图像时，默认是以图像的像素大小显示的，可以通过 nameWindow(窗口名称, cv2.WINDOW_NORMAL)命名窗口，再使用resizeWindow(窗口名称, 窗口宽度, 窗口高度) 缩放窗口，最后使用 imshow() 显示图像，注意三者都 * 在同一个窗口名称上 * 操作。

销毁窗口

• destroyWindow(窗口名称): 单独关闭某个显示窗口
• destroyAllWindows(): 关闭所有显示窗口。

写入图片: imwrite

定义

1

imwrite(<写入的文件名称>, < 图像实例 >)

注：文件名称的后缀决定了图片文件的格式

视频相关

常用函数

从视频文件获取图像

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import cv2

cap = cv2.VideoCapture('..\\vtest.avi')

while cap.isOpened():
    ret, img = cap.read()
    if ret is not True:
        print("读取完成，退出")
        break
    #处理 img
    cv2.imshow('vedio', img)

    #检查按键
    key = cv2.waitKey(20) & 0xff
    if  key == ord('q') or key == ord('Q') :
        break

print('cap.isOpened():',cap.isOpened())
cap.release()
print('cap.isOpened():',cap.isOpened())

从相机获取图像

打开相机需要用相机的设备编号（数值型整数）作为入参传入 VideoCapture(相机编号)，比如 cap = cv2.VideoCapture(0) 构建编号为 0 的相机访问实例，第 2 台相机则传入 1，以此类推，后续步骤的处理方法和读取视频文件一样。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

import cv2

cap = cv2.VideoCapture(0)

while cap.isOpened():
    ret, img = cap.read()
    if ret is not True:
        print("读取失败，退出")
        break
    #处理 img
    cv2.imshow('vedio', img)

    #检查按键
    key = cv2.waitKey(20) & 0xff
    if  key == ord('q') or key == ord('Q') :
        break

print('cap.isOpened():',cap.isOpened())
cap.release()
print('cap.isOpened():',cap.isOpened())

写入视频文件

VideoWriter 对象

参数

1. 文件名称
2. 编码方式，其中编码方式和文件名称后缀有对应关系
3. 每秒写入的帧数，参考数值为 25，符合人眼习惯
4. 图像大小，int 类型

常用的文件名称后缀和编码方式

使用：创建 VideoWriter_fourcc 对象

1
2
3
4

# 方法 1
fourcc=cv2.VideoWriter_fourcc('M','J','P','G')
# 方法 2
fourcc=cv2.VideoWriter_fourcc(*'MJPG')

图像大小获取

cat.get(propId) 方法获取，但是该方法获取的是 float 类型，需要转换为 int 类型再传入 VideoWriter。

举例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41