排序文件是一种最新的链接器优化技术。这些排序文件是包含表示函数的符号的文本文件。像 lld 这样的链接器使用排序文件以特定顺序布局函数。这些具有有序符号的二进制文件或库可以减少页面错误,并由于在程序冷启动期间有效加载符号而缩短程序的启动时间。
可通过以下三个步骤将排序文件功能添加到您的应用中
- 生成配置文件和映射文件
- 根据配置文件和映射文件创建排序文件
- 在 Release build 期间使用排序文件布局符号
生成排序文件
生成排序文件需要三个步骤
- 构建应用的插桩版本,该版本会写入排序文件
- 运行应用以生成配置文件
- 后处理配置文件和映射文件
创建插桩构建
通过运行应用的插桩构建来生成配置文件。插桩构建需要在编译器和链接器标志中同时添加 -forder-file-instrumentation
,并且严格在编译器标志中添加 -mllvm -orderfile-write-mapping=<filename>-mapping.txt
。插桩标志为性能分析启用排序文件插桩,并加载性能分析所需的特定库。另一方面,映射标志仅输出映射文件,该文件显示二进制文件或库中每个函数的 MD5 哈希值。
此外,请确保传递除 -O0
之外的任何优化标志,因为插桩标志和映射标志都需要一个。如果未传递优化标志,则不会生成映射文件,并且插桩构建可能会向配置文件输出错误的哈希值。
ndk-build
确保使用 APP_OPTIM=release
进行构建,以便 ndk-build 使用除 -O0
之外的优化模式。使用 AGP 进行构建时,这对于 release build 是自动的。
LOCAL_CFLAGS += \
-forder-file-instrumentation \
-mllvm -orderfile-write-mapping=mapping.txt \
LOCAL_LDFLAGS += -forder-file-instrumentation
CMake
确保使用除 Debug
之外的 CMAKE_BUILD_TYPE
,以便 CMake 使用除 -O0
之外的优化模式。使用 AGP 进行构建时,这对于 release build 是自动的。
target_compile_options(orderfiledemo PRIVATE
-forder-file-instrumentation
-mllvm -orderfile-write-mapping=mapping.txt
)
target_link_options(orderfiledemo PRIVATE -forder-file-instrumentation)
其他构建系统
使用 -forder-file-instrumentation -O1 -mllvm -orderfile-write-mapping=mapping.txt
编译您的代码。
具体而言,并非必须使用 -O1
,但请勿使用 -O0
。
链接时省略 -mllvm -orderfile-write-mapping=mapping.txt
。
Release build 不需要所有这些标志,因此应由构建变量控制。为简单起见,您可以在 CMakeLists.txt 中像我们的示例一样设置所有这些内容。
创建排序文件相关代码
除了标志之外,还需要设置配置文件,并且插桩二进制文件需要在执行期间明确触发配置文件写入。
- 调用
__llvm_profile_set_filename(PROFILE_DIR "/<filename>-%m.profraw")
以设置配置文件路径。尽管传递的参数是<filename>-%m.profraw
,但配置文件会保存为<filename>-%m.profraw.order
。确保应用对PROFILE_DIR
可写,并且您可以访问该目录。- 由于需要对许多共享库进行性能分析,
%m
非常有用,因为它会扩展为库的唯一模块签名,从而为每个库生成单独的配置文件。如需了解更多模式说明符,您可以查看此链接。
- 由于需要对许多共享库进行性能分析,
- 调用
__llvm_profile_initialize_file()
以设置配置文件 - 调用
__llvm_orderfile_dump()
以明确写入配置文件
配置文件收集在内存中,dump 函数将它们写入文件。您需要确保在启动结束时调用 dump 函数,以便您的配置文件包含启动结束之前的所有符号。
extern "C" {
extern int __llvm_profile_set_filename(const char*);
extern int __llvm_profile_initialize_file(void);
extern int __llvm_orderfile_dump(void);
}
#define PROFILE_DIR "<location-writable-from-app>"
void workload() {
// ...
// run workload
// ...
// set path and write profiles after workload execution
__llvm_profile_set_filename(PROFILE_DIR "/default-%m.profraw");
__llvm_profile_initialize_file();
__llvm_orderfile_dump();
return;
}
运行构建以生成配置文件
在物理设备或虚拟设备上运行插桩应用以生成配置文件。您可以使用 adb pull
提取配置文件。
adb shell "run-as <package-name> sh -c 'cat /data/user/0/<package-name>/cache/default-%m.profraw.order' | cat > /data/local/tmp/default-%m.profraw.order"
adb pull /data/local/tmp/default-%m.profraw.order .
如前所述,确保您可以访问包含写入的配置文件的文件夹。如果是虚拟设备,您可能需要避免使用带有 Play 商店的模拟器,因为它们无法访问许多文件夹。
后处理配置文件和映射文件
获取配置文件后,您需要找到映射文件并将每个配置文件转换为十六进制格式。通常,您可以在应用的构建文件夹中找到映射文件。拥有这两者后,您可以使用我们的脚本,接收配置文件和正确的映射文件,从而生成排序文件。
Linux/Mac/ChromeOS
hexdump -C default-%m.profraw.order > default-%m.prof
python3 create_orderfile.py --profile-file default-%m.prof --mapping-file <filename>-mapping.txt
Windows
certutil -f -encodeHex default-%m.profraw.order default-%m.prof
python3 create_orderfile.py --profile-file default-%m.prof --mapping-file <filename>-mapping.txt
如果您想了解更多关于脚本的信息,可以查看此README。
使用排序文件构建应用
生成排序文件后,您应该移除之前的标志和排序文件函数,因为它们仅用于生成步骤。您只需将 -Wl,--symbol-ordering-file=<filename>.orderfile
传递给编译和链接器标志。有时,符号可能找不到或无法移动并发出警告,您可以传递 -Wl,--no-warn-symbol-ordering
来抑制这些警告。
ndk-build
LOCAL_CFLAGS += \
-Wl,--symbol-ordering-file=<filename>.orderfile \
-Wl,--no-warn-symbol-ordering \
LOCAL_LDFLAGS += \
-Wl,--symbol-ordering-file=<filename>.orderfile \
-Wl,--no-warn-symbol-ordering \
CMake
target_compile_options(orderfiledemo PRIVATE
-Wl,--symbol-ordering-file=<filename>.orderfile
-Wl,--no-warn-symbol-ordering
)
target_link_options(orderfiledemo PRIVATE
-Wl,--symbol-ordering-file=<filename>.orderfile
-Wl,--no-warn-symbol-ordering
)
其他构建系统
使用 -Wl,--symbol-ordering-file=<filename>.orderfile -Wl,--no-warn-symbol-ordering
编译您的代码。
如需了解更多信息,请查看排序文件示例。
排序文件实现详情
有多种生成排序文件并用于构建的方法。NDK 使用 LLVM 的方法,因此它对于 C 或 C++ 共享库比实际的 Java 或 Kotlin 应用更有用。Clang 获取每个函数名称(符号),创建其 MD5 哈希值,并将此关系输出到映射文件。函数首次执行时,其 MD5 哈希值会写入配置文件(profraw 格式)。函数后续执行时不会将其 MD5 哈希值写入配置文件,因为它希望避免重复。因此,只有函数的第一次执行会按顺序记录。通过遍历配置文件和映射文件,您可以获取每个 MD5 哈希值,并将其替换为相应的函数,从而获得排序文件。
十六进制格式的配置文件和映射文件示例分别如下所示:example.prof 和 example-mapping.txt。