使用 dtrace 跟踪 Python 应用

今年在 Pycon China 上,来自饿了么的郭浩川分享了 利用 systemtap 进行 Python 执行情况分析 的内容。分享利用 systemtap 在线上环境中实时监控 gevent patch 的 green thread 程序的执行状况。

dtrace 和 systemtap 均支持在 Linux 上进行分析,在 macOS 系统上则只有 dtrace 使用。在 Python3.5 和之前版本中,需要使用手工 Patch 的方式进行埋点监控。在 Python 3.6 以上中 dtrace 和 systemtap 埋点支持功能可以通过编译参数 –with-dtrace 开启。

从 dtrace 开始

dtrace 是一个低开销的成本动态跟踪工具,可以通过埋点 probs 方式监控各项程序运行状态。dtrace 最初内置在 Solaris 系统中,因此我们可以借助 Solaris 系统的相关文档了解 dtrace 的基本操作。DTrace 用户指南 是 Oracle 提供的基于 Solaris 系统的 dtrace 操作手册,操作基本与其它系统相同,推荐在最初开始阶段阅读该使用手册。

在 macOS 上,已经很多系统底层功能和 framework 中已经集成了 dtrace 的功能。

比如说我们需要监控 read 这个 syscall 的入口,可以通过下面这个命令实现:

1
2
3
4
5
6
7
8
9
➜  ~ sudo dtrace -n syscall::read:entry

dtrace: description 'syscall::read:entry' matched 1 probe

CPU ID FUNCTION:NAME
0 156 read:entry
0 156 read:entry
0 156 read:entry
...

其中 -n 参数表示打印特定的 probs 内容的调用。现在这样仅仅显示了调用,但是调用的信息还是不详细的。这个时候就需要使用 dtrace 的脚本获取更多的信息。

dtrace 的脚本

dtrace 的名字暗示了自己的脚本,dtrace 使用了 D 语言作为脚本语言(WTF)。这个时候就需要学习一下基础的 D 语言内容。dtrace 中 D 语言的使用,可以在上面提到的 dtrace 用户指南中的对应章节。

我们继续上一节中的例子,检测调用 read syscall 的参数内容。在进行操作之前,我们需要了解一下 read 的参数:

1
size_t read(int fildes, void *buf, size_t nbyte);

我们想知道调用来自于哪些进程,读取了多少字节。首先,我们需要创建一个叫 syscall.d 文件。

1
2
3
syscall::read:entry
{printf ("%s called read, asking for %d bytes\n", execname, arg2);
}

然后通过命令行执行:

1
2
3
4
5
6
7
8
9
10
11
12
➜  ~ sudo dtrace -s syscall.d

dtrace: script 'syscall.d' matched 1 probe

CPU ID FUNCTION:NAME
0 156 read:entry steam_osx called read, asking for 128 bytes
0 156 read:entry steam_osx called read, asking for 128 bytes
0 156 read:entry steam_osx called read, asking for 128 bytes
0 156 read:entry steam_osx called read, asking for 128 bytes
0 156 read:entry iTerm2 called read, asking for 32 bytes
0 156 read:entry iTerm2 called read, asking for 1024 bytes
...

从 dtrace 到 Python 跟踪

在 Pycon 上的分享上,提供了一种 CPython 虚拟机代码 Patch 方式进行跟踪的方案,这种方案需要系统支持,比如 REHL 系列系统默认支持,假如你是用了 Ubuntu 系统,除了重新编译 CPython 以外没有其他办法。不过除此之外,还有一种更简单的方式,就是使用 Python USDT。但是值得注意的是 Python USDT 是一种用户态修饰器监控方法,这种方式与 patch CPython 的方式相比差距较大,毕竟 USDT 无法监控一些系统底层的尤其是涉及到比如 gevent 导致的上下文切换时的混乱。同样的,systemtap 也有一个专门的库:python-systemtap

不过还是从 USDT 开始。USDT 可以通过 pip 直接安装:

1
pip install usdt

接下来用 ipython 演示一下 usdt 的基础使用:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
➜  ~ ipython
Python 2.7.12 (default, Jul 4 2016, 11:33:35)
Type "copyright", "credits" or "license" for more information.

IPython 5.0.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.

In [1]: import os

In [2]: os.getpid()
Out[2]: 7777

In [3]: from usdt.tracer import fbt

In [4]: @fbt
...: def example(v):
...: pass
...:

In [5]: example("hello")

我们使用监听进程的方式监控来自于 usdt 的探针:

1
2
3
4
5
➜  ~ sudo dtrace -l -p 7777 -m fbt

ID PROVIDER MODULE FUNCTION NAME
1206 python-fbt7777 fbt example entry
1207 python-fbt7777 fbt example return

其中 -p 用于指定进程,-m 指定对应的模块。如果不进行模块过滤的话,你很有可能被很多相关的调试信息淹没。

在新版的 Python 3.6 以上版本中通过开启 --with-dtrace 开关的方式可以获取详细的 Python 运行状态信息,包括:

  • 函数调用与返回
  • GC 开始与结束
  • 执行代码行数

首先运行一个 Python 3.6

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
➜  ~ ipython
Python 3.6.0b1 (default, Sep 15 2016, 10:16:39)
Type "copyright", "credits" or "license" for more information.

IPython 5.1.0 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.

In [1]: import os

In [2]: os.getpid()
Out[2]: 33164

In [3]:

接下来通过 dtrace 来获取所有的 Python 探针输出:

1
2
3
4
5
6
7
8
➜  ~ sudo dtrace -l -m python3.6

ID PROVIDER MODULE FUNCTION NAME
35775 python33164 python3.6 _PyEval_EvalFrameDefault function-entry
35776 python33164 python3.6 _PyEval_EvalFrameDefault function-return
35777 python33164 python3.6 collect gc-done
35778 python33164 python3.6 collect gc-start
35779 python33164 python3.6 _PyEval_EvalFrameDefault line

如果想要实现一个类似 pycon 中监控程序执行具体内容的 dtrace 脚本,请参考官方文档 Instrumenting CPython with DTrace and SystemTap 中的现成脚本即可。

总结

dtrace 提供了一种方便的、低干扰的 Python 内部执行探查方式。通过这种方式可以方便的了解目前 Python 的具体执行状况。同时,通过脚本,可以快速获取和定位相关想要了解的具体内容。当然,你也可以像郭浩川分享的那样,做一个比较炫酷的烈焰图。XD

[^systemtap]: 利用 systemtap 进行 Python 执行情况分析