Optimization Fails

• local minima
• local maxima
• saddle point
• critical point (gradient = 0)

Gradient

梯度消失

Hessian

在 saddle point 中可以指出更新方向。也许只存在于低维度，高维度就可以解决。

Batch Size

• 小批次更新频率高，每次更新不够精准，但是次数足够多可以弥补。
• 大批次更新频率低，每次更新精准
• 越大的批次不一定越耗时，因为并行计算。但是超过一定大小耗时仍然会大幅上升。

• 大批次变化慢，倾向于落入狭窄范围内的最小点。
• 小批次变化快，不容易约束在狭窄范围内。

Gradient Descent & Momentum

Learning Rate

• loss 不再降低不代表 gradient 很低。

• 学习率太低导致在一个区域内聚集。

RMSProp

动态调整，避免卡在一个小范围内。

• Adam = RMSProp + Momentum

Softmax

• 差距拉大，并且最大最小都保持在 0-1 之间。

• Softmax 和 Cross-entropy 总是一起的。

PyTorch 操作

训练

model.train() # set to train modeoptimizer = torch.optim.SGD(model.parameters(), lr = 1e-5, momentum = 0.9)criterion = torch.nn.MSELoss(reduction = "mean") # set loss functiontrain_pbar = tqdm(train_loader, position = 0, leave = True)for x, y in train_pbar:    x, y = x.to('cuda'), y.to('cuda') # move data to GPU    pred = model(x)                   # output predict result    loss = criterion(pred, y)         # calc loss    loss.backward()                   # calc gradient    optimizer.step()                  # update parameters    optimizer.zero_grad()             # clear gradient

测试

model.eval() # set to eval modetrain_pbar = tqdm(train_loader, position = 0, leave = True)for x, y in train_pbar:    x, y = x.to('cuda'), y.to('cuda') # move data to GPU    with torch.no_grad():             # disable gradient calc        pred = model(x)               # output predict result        loss = criterion(pred, y)     # calc losstotal_loss += loss.cpu().item() * len(x)

Deep Learning（深度学习）

步骤

1. Define a set of function
2. Goodness of function
3. Pick the best function

Backpropagation（反向传播）

Forward Pass

当前偏微分等于上一级神经网络的输出。

Backward Pass

反向建立神经网络，就可以通过输出直接得到偏微分。

预测训练过程

Design the model

可以设计多元函数，但是过于复杂的函数往往会导致函数 过拟合。

Regularization

添加对 的限制，使得生成的函数有平滑性要求。

分类训练过程

Design the model

直接使用多元函数拟合会导致函数偏移，分类时候使用贝叶斯。

使用高斯函数可以估计邻近点的概率。通过不断修改 和 使得高斯函数逐渐逼近。

如果结果超过一半，则可以分到第一类。

逻辑回归训练过程

Design the model

修改 和 可以得到一系列函数。

Choose Loss Function

Cross Entropy 可以有更快的收敛速度。

Multi-class Classification

逻辑回归的缺陷

有时候无法完全分离两类，需要使用深度神经网络来实现。

机器学习的本质

机器学习 寻找（拟合）函数

机器学习的类型

• 输入量：向量、矩阵（图像）、序列（语音、文字）。

1. Regression（回归）: outputs a scalar. （输入多类数据，输出一个预测值）

2. Classification（预测）: given classes, outputs the correct one.（输入多个类型，输出正确的那个分类）

3. Structured Learning（结构化学习）: create something with structure (image, document).（根据输入生成图像）

机器学习的训练过程

Function with unknown parameters （构建具有未知参数的函数）

(Based on domain knowledge)

根据猜测、已知信息等假设函数关系。 代表预测结果， 代表今天的结果。 和 为未知参数，需要从数据中找出。

在机器学习中称该函数 为 Model（模型）。

Define Loss from training data （定义损失函数）

​损失函数用于定义预测值的有多准。

Optimization （梯度下降）

​遍历所有 和 使得 最低。

​ 一开始随机（特定）选定 和 ，后期通过不断计算修正，使得 最低。

1. 随机（特定）选定 和
2. 计算 和

3. 循环修正 和

• 学习率需要自己设定，所以是超参。
• 尽管有时候会找到局部最优(local minima)，找不到全局最优(global minima)，但并不是最主要的问题。
• 由于函数非常复杂，所以统一使用 来表示。根据梯度进行修正。

• Batch training

​将数据分为多组，计算第一组 并更新 ，计算第二组 并更新 ……

​Batch size 也是超参，决定了一次训练中更新的次数。

从线性函数到非线性函数

线性函数难以表现复杂曲线，使用一系列的非线性函数相加拟合函数。

Sigmoid 函数

• Sigmoid 函数（平滑）

• Hard Sigmoid 函数（锐利）

• 不同的 和 和

  

  ReLU 函数

  

• 两个特定的 ReLU 函数相加可以得到 Hard Sigmoid 函数。

层数缺陷

Overfitting

在训练集上表现得更好，但是在测试集上表现得更差。

测试集的表现 更重要。

光耦简介

光耦原理

光耦通常被描述为 Transistor Output Optocouplers Photo-Coupler，在芯片的数据手册中通常会写 PHOTOTRANSISTOR 或者 PHOTOCOUPLER。不难看出光耦和三极管有着一定的联系。

光耦类似于一个 NPN 三极管，具有电流放大作用。正因为这个特性，所以有时候会发生一些反直觉的现象。

光耦通用原理图

其中有几点 很重要，需要仔细确认：

1. R1 电阻为限流电阻，为保护光耦，必须外接 360Ω 左右电阻。经过实际测试，300Ω、330Ω、360Ω、470Ω、510Ω 均可以正常工作。
2. R2 电阻为上拉电阻，也有说法是可以使光耦快速且稳定地进入饱和状态。电阻可以在 1KΩ 左右。经过实际测试，360Ω、1KΩ、4.7KΩ 均可以正常工作。这一项必须根据不同的光耦进行修改。
3. 可以不共电源域，包括 VCC 和 GND 均可独立隔离。
4. 默认为高电平，如果输入为高电平则输出高电平，输入为低电平则输出低电平。

光耦性能

光耦的使用电压、电流基本都差不太多，但是其反应速度有着比较大的区别，尤其是低速和高速光耦之间。

可以看到 和 是光耦跳变所需的时间，时间越短越好。在数据手册中通常 被称为 Rise Time， 称为 Fall Time。

单通道光耦

低速光耦（EL817）

= 18 µs， = 18 µs，最佳 阻值为 100Ω。估计速率在 10 Kb/s 左右，不适合 用于通信，适合隔离低速 PWM 控制或继电器控制。

单价一般在 ￥0.10 ~ ￥0.15。

需要注意的是，EL817 分为 EL817B 和 EL817C，两者仅在电流放大能力有所区别。EL817B 的电流放大能力在 130% ~ 260%，而 EL817C 的电流放大能力在 200% ~ 400%。

高速光耦（6N137）

= 21 ns， = 6.6 ns，最佳 阻值为 350Ω。其跳变速度是 EL817 的一千倍左右，标称速率可以达到 10 Mb/s。适合串口、USB 等通信，但是成本比较高。在低速场景还是推荐使用 EL817，如果多通道则使用多通道光耦以降低成本。

单价一般在 ￥0.80 ~ ￥1.50。

双通道光耦

高速光耦（EL0631TA）

= 40 ns， = 10 ns，最佳 阻值为 350Ω。标称速率可以达到 10 Mb/s。适合USB 等通信。

单价一般在 ￥0.80 ~ ￥1.50。

四通道光耦

低速光耦（PS2805-4）

= 5 µs， = 7 µs，最佳 阻值为 100Ω。不适合 用于通信，适合隔离低速 PWM 控制或继电器控制。

单价一般在 ￥1.50 ~ ￥2.00。

一些奇怪的现象和解决方案

1. INPUT 和 GND 之间的电压远小于 3.3V，有时候会到 1.5V ~ 2V。光耦表现为一直输出高电平。

   • 这种情况一般发生在对 STM32 等 MCU 的信号输出做隔离时候。

   • 解决方案：输出的电压不足以推动光耦的发光二极管，所以不需要改动电阻或电容，只需要加上电流放大部分即可，比如缓冲器等。

   • 原因分析：光耦正常工作电流为 5mA 左右， 处的电阻为 360Ω，所以单 的压降就在 1.8V 左右。加上发光二极管的压降，总体约为 3.3V 左右。而总体明显小于 3.3V，甚至到 1.5V ~ 2V，则明显为驱动电流过小。

2. 光耦输出部分跳变有一段明显的梯形上升或下降部分。

   • 这种情况一般为上拉电阻选取得过小。

   • 解决方案：增大上拉电阻 。

   • 原因分析： 的选取既需要依照芯片手册，更需要根据实测修改。其变化幅度相当大，在 100Ω ~ 4.7KΩ 选取最佳。

3. 高速光耦输出有误码，但是总体正确。

   • 这种情况一般为滤波电容选取有问题。

   • 解决方案：拆掉滤波电容或者改小。

   • 原因分析：根据实测修改，但是高速光耦使用的滤波电容一般远小于低速光耦。

下载与安装

根据网上泄露的资源，这里下载到的是 IDA Pro 7.6.210427 SP1 x64 + Hexrays, Hexarm & Hexmips Decompilers.7z。

压缩包内有两个文件夹，一个是 Other，另一个是 Software。将 Software 中的内容全部解压出来，IDA 的本体就可以使用了。

Python 配置

修改 IDA 文件

IDA 默认不支持 Python 3.9 版本。在压缩包的 Others 文件夹下有一个 ida76sp1_python39_win 目录。将其中的内容拖动到根目录，会有文件覆盖提示，依次覆盖即可。

下载 Python 本体

不建议使用系统 Python，容易引起环境之间的干扰。而且系统 Python 占用空间非常大，排起错来非常麻烦。

压缩包内并没有放置 Python 的文件，所以需要自行到官网下载。下载时选择 Windows embeddable package (64-bit)。这里直接下载 python-3.9.8-embed-amd64.zip。

注：

• 经过测试，IDA 32位版也可以正常使用 Python 64位版。
• 经过测试，Python 3.8 也可以正常使用。

修改路径

1. 下载后解压到根目录下，与 python 同目录，重命名文件夹为 python39。

2. 进入注册表 计算机\HKEY_CURRENT_USER\Software\Hex-Rays\IDA\，新建（修改） Python3TargetDLL 使其值为 C:\Program Files\IDA\python39\python39.dll

   

3. 这个时候打开根目录下的 idapyswitch.exe 可以看到 IDA 已经选中了下载的 Python。打开 IDA 也不会弹出错误。

   

安装 pip

默认的 Python 是不带 pip 的。

1. 先去官网下载 get-pip.py。为了方便起见，直接放到 python39 目录下。

2. 在 python39 目录下打开终端，运行 ./python.exe get-pip.py。

   必须输入 ./ 否则会调用系统安装的 Python。

3. 这个时候尝试运行 pip 会提示找不到模块。排查后发现是找不到路径，所以还需要配置库文件的路径。

   

4. 在 python39 目录下存在 python39._pth 的文件，用记事本打开后，新增一行指向库文件。这里新增 C:\Program Files\IDA\python39\Lib\site-packages。

5. 重新打开 pip 就可以正常使用了。

IPyIDA 插件安装

IPyIDA 可以引入类似于 Jupyter Notebook 的功能，在逆向时十分有用。

根据官方指引，在 IDA 运行如下命令即可。

import urllib.request; exec(urllib.request.urlopen('https://github.com/eset/ipyida/raw/stable/install_from_ida.py').read())

但是总是会安装不成功。所以需要手动安装。

观察脚本，可以发现总共做了三件事：安装 pip，安装 IPyIDA，安装插件。

1. 安装 pip 上面已经安装了。

2. 安装 IPyIDA 直接执行 ./python -m pip install ipyida

3. 安装插件调用原脚本中 108行 至结尾。

   if not os.path.exists(idaapi.get_user_idadir()):    os.makedirs(idaapi.get_user_idadir(), 0o755)ida_python_rc_path = os.path.join(idaapi.get_user_idadir(), "idapythonrc.py")rc_file_content = ""if os.path.exists(ida_python_rc_path):    with open(ida_python_rc_path, "r") as rc:        rc_file_content = rc.read()if "# BEGIN IPyIDA loading" in rc_file_content:    print("[.] Old IPyIDA loading script present in idapythonrc.py. Removing.")    in_ipyida_block = False    for line in fileinput.input(ida_python_rc_path, inplace=1, backup='.ipyida_old'):        if line.startswith("# BEGIN IPyIDA loading code"):            in_ipyida_block = True        elif line.startswith("# END IPyIDA loading code"):            in_ipyida_block = False        elif not in_ipyida_block:            sys.stdout.write(line)ipyida_stub_target_path = os.path.join(idaapi.get_user_idadir(), "plugins", "ipyida.py")if not os.path.exists(os.path.dirname(ipyida_stub_target_path)):    os.makedirs(os.path.dirname(ipyida_stub_target_path), 0o755)# Make sure ipyida module is not the ipyida.py in the plugins folder, otherwise# pkg_resources will try to get file from there. This happends when package is# uninstalled, but ipyida.py is still in the plugin folder.if 'ipyida' in sys.modules:    del sys.modules['ipyida']shutil.copyfile(    pkg_resources.resource_filename("ipyida", "ipyida_plugin_stub.py"),    ipyida_stub_target_path)print("[+] ipyida.py added to user plugins")idaapi.load_plugin(ipyida_stub_target_path)_ida_version = pkg_resources.parse_version(idaapi.get_kernel_version())if os.name == 'nt' and _ida_version < pkg_resources.parse_version("7.4"):    # No party for Windows with old IDA    print("[+] IPyIDA Installation successful. Use <Shift+.> to open the console.")else:    print("[] IPyIDA Installation successful. Use <Shift+.> to open the console.")

   或者直接在 IDA 中执行

   import urllib.request; exec(urllib.request.urlopen('https://gcore.jsdelivr.net/gh/kazutoiris/ipyida@master/install_from_ida.py').read())

   

4. 按下 Shift+. 检查是否安装完成

   

Lumina 配置

Lumina 可以在线识别知名函数的元数据（函数名称，原型，注释，操作数类型和其他信息），不用再去手动标注，非常方便。

Lumina 目前暂时未对免费用户开放，所以在压缩包内配置了另一个免费服务器，测试效果还行。

但是压缩包内的服务器信息过于陈旧，需要更新

1. 修改 cfg/ida.cfg

   LUMINA_HOST = "lumen.abda.nl";LUMINA_PORT = 1235

2. 更新证书

   下载最新 hexrays.crt，替换根目录下原先的证书。

3. 测试是否可以正常使用

   

MD5 后以 0e 开头

• QNKCDZO
• s1091221200a
• s878926199a
• s214587387a
• s155964671a

更多参见此处。

二次 MD5 后以 0e 开头

• 7r4lGXCH2Ksu2JNT3BYM
• CbDLytmyGm2xQyaLNhWn
• 770hQgrBOjrcqftrlaZk

MD5 后以 ‘or’ 开头

• ffifdyop

• 129581926211651571912466741651878684928

模逆

• 定义

  对于一个数 ，他在模 域下存在一个数 ，使得 ，则称 为 在模 域下的模逆元，即

• 条件

  与 必须互质，即最大公约数为 。

• 求法（python）

  b = gmpy2.invert(a, n)

模运算法则

6. 若 ，则对于任意的 ，都有

7. 若 ，则对于任意的正整数 ，都有

欧几里得算法

• 定义

  辗转相除法，是求最大公约数的一种方法。它的具体做法是：用较大数除以较小数，再用出现的余数（第一余数）去除除数，再用出现的余数（第二余数）去除第一余数，如此反复，直到最后余数是0为止。如果是求两个数的最大公约数，那么最后的除数就是这两个数的最大公约数。缩写为gcd

• 求解方法

  求 的最大公约数

  所以 的最大公约数为 。

• 公式

欧拉函数

• 定义

  对于正整数 ，欧拉函数 是小于或等于 的正整数中与 互质的数的数目。此函数又称为 函数。

• 计算方法

欧拉定理

• 定义

  设 为正整数且 ，则我们有：

两个推理

首先在 到 的数中，与 互质的一共有 个，所以我们把这 个数拿出来，放到设出的集合 中，即 ，那么接下来，我们可以再设出一个集合为 ，设 中的数为：

1. 中任意两个数都不模 同余

2. 中的数除以 的余数全部与 互质

• 命题一证明如下：

  假设 中存在两个数设为 模 同余。即

  移项得到：

  再将 用 来表示得到：

  我们现在已知 与 互质，那么式子就可以转化为：

  因为 中没有与 的公因子（ 除外）所以

  所以只能是

  又因为 都是小于 的并且不会相同，那么上述的式子自然全都不成立。

  所以证得 中任意两个数都不模 同余。

• 命题二证明如下：

  已知：

  又因为 与 互质， 与 互质，所以可以得到 与 互质。带入欧几里得算法中推一步就好了。

  即

  首先，根据前面两个推论可以知道， 中的数分别对应 中的每个数模 同余。

  得到

  现在我们把 替换成 的形式，就可以得到：

  然后由于

  所以

费马大定理

当整数 时，关于 的方程没有正整数解。

费马小定理

• 定义

  如果 是一个质数，而整数 不是 的倍数，则有

• 计算方法

中国剩余定理

• 背景

  计算一个整数 ，使得它满足除以 余 、除以 余 、除以 余 。

  如果能够找到三个整数 ，使得：

  除以 余 、除以 余 、除以 余 ；

  除以 余 、除以 余 、除以 余 ；

  除以 余 、除以 余 、除以 余 ；

  那么容易验证 就满足除以 余 、除以 余 、除以 余 。

• 思路

  除以 余 、除以 余 、除以 余

  如果能够找到一个整数 满足 除以 余 、除以 余 、除以 余 ，那么令 ，就很容易验证这时的 就满足除以 余 、除以 余 、除以 余 。

  因此又可以将问题转化为寻找整数 满足 除以 余 、除以 余 、除以 余 ；

  由条件可以得到 既是 的倍数，又是 的倍数，故设

  然后根据除以 余 可以得到：

  即为 在模 域下的逆元，即 。

  所以我们能求出 ，也能求出 ，同理能求出 ，相加求出 。

威尔逊定理

• 定义

  当且仅当 为素数时有，

离散对数问题

• 背景

  已知 ，求满足条件的 。

• 方法

  暴力破解，直接穷举x，得到 的值

  Sage：

  c = m^x mod nx = discrete_log(c.mod(m, n))

  Python:

  x = sympy.discrete_log(p, h, g)

gmpy2 库

gmpy2.mpz  # 类似long类型 长度可达50位gmpy2.mpq  # 分数类型gmpy2.mpfr # 与float类型相同，精度可达53位gmpy2.mpc  # 复数类型gmpy2.iroot(a, b)     # 返回一个元组 (x, y)，其中 x 为 a 开 b 次方的值，y 是判断 x 是否为整数的布尔型变量(即是否能够完整开放)gmpy2.gcd(a, b)       # 求a和b的最大公约数gmpy2.lcm(a, b)       # 求a和b的最小公倍数gmpy2.gcdext(a, b)    # ax + by = gcd(a,b) 求满足贝祖不等式的整数解gmpy2.powmod(a, n, p) # a^n mod pgmpy2.is_prime() # 检测素数gmpy2.is_even()  # 检测奇数gmpy2.is_odd()   # 检测偶数

#include <iostream>using namespace std;int main() {  int n, m;  cin >> n >> m;  int dp[n + 1];  int suff[n + 2];  dp[n] = 1;  suff[n] = 1;  suff[n + 1] = 0;  for (int i = n - 1; i >= 1; i--) {    dp[i] = suff[i + 1];    for (int b = 2; b <= n / i; b++) {      dp[i] += suff[b * i] - suff[min(n + 1, b * i + b)];      while (dp[i] < 0)        dp[i] += m;      dp[i] %= m;    }    suff[i] = suff[i + 1] + dp[i];    suff[i] %= m;  }  cout << dp[1] << endl;}

格式控制符

\q <style>

用于设置文字自动换行。

字体控制符

斜体

粗体

下划线

删除线

字体设置

字体大小

字体拉伸变形

设置文字间距

样式控制符

描边

阴影

文字边缘虚化

高斯模糊

3D 旋转

透视变形

设置颜色

注意：\<hex\> 次序为 BGR。

设置透明度

注意：00 为不透明，FF 为全透明。

设置字幕位置

设置中心点

默认中心点位于视频中心，自定义中心点会影响 \an 定位。默认 \an5 为视频中心，如果手动设置中心点，则会偏移到设置点。

设置旋转中心点

淡入淡出

裁剪

自定义图形

自定义图形既可用于 \clip 与 \iclip 等裁剪命令，也可用于 {\p1}\<drawing commands\>{\p0} 绘制命令。

特效控制符

移动

关键帧

卡拉OK专用