排序文件

排序文件是一种最新的链接器优化技术。这些排序文件是包含表示函数的符号的文本文件。像 lld 这样的链接器使用排序文件以特定顺序布局函数。这些具有有序符号的二进制文件或库可以减少页面错误,并由于在程序冷启动期间有效加载符号而缩短程序的启动时间。

可通过以下三个步骤将排序文件功能添加到您的应用中

  1. 生成配置文件和映射文件
  2. 根据配置文件和映射文件创建排序文件
  3. 在 Release build 期间使用排序文件布局符号

生成排序文件

生成排序文件需要三个步骤

  1. 构建应用的插桩版本,该版本会写入排序文件
  2. 运行应用以生成配置文件
  3. 后处理配置文件和映射文件

创建插桩构建

通过运行应用的插桩构建来生成配置文件。插桩构建需要在编译器和链接器标志中同时添加 -forder-file-instrumentation,并且严格在编译器标志中添加 -mllvm -orderfile-write-mapping=<filename>-mapping.txt。插桩标志为性能分析启用排序文件插桩,并加载性能分析所需的特定库。另一方面,映射标志仅输出映射文件,该文件显示二进制文件或库中每个函数的 MD5 哈希值。

此外,请确保传递除 -O0 之外的任何优化标志,因为插桩标志和映射标志都需要一个。如果未传递优化标志,则不会生成映射文件,并且插桩构建可能会向配置文件输出错误的哈希值。

ndk-build

确保使用 APP_OPTIM=release 进行构建,以便 ndk-build 使用除 -O0 之外的优化模式。使用 AGP 进行构建时,这对于 release build 是自动的。

LOCAL_CFLAGS += \
    -forder-file-instrumentation \
    -mllvm -orderfile-write-mapping=mapping.txt \

LOCAL_LDFLAGS += -forder-file-instrumentation

CMake

确保使用除 Debug 之外的 CMAKE_BUILD_TYPE,以便 CMake 使用除 -O0 之外的优化模式。使用 AGP 进行构建时,这对于 release build 是自动的。

target_compile_options(orderfiledemo PRIVATE
    -forder-file-instrumentation
    -mllvm -orderfile-write-mapping=mapping.txt
)
target_link_options(orderfiledemo PRIVATE -forder-file-instrumentation)

其他构建系统

使用 -forder-file-instrumentation -O1 -mllvm -orderfile-write-mapping=mapping.txt 编译您的代码。

具体而言,并非必须使用 -O1,但请勿使用 -O0

链接时省略 -mllvm -orderfile-write-mapping=mapping.txt

Release build 不需要所有这些标志,因此应由构建变量控制。为简单起见,您可以在 CMakeLists.txt 中像我们的示例一样设置所有这些内容。

创建排序文件相关代码

除了标志之外,还需要设置配置文件,并且插桩二进制文件需要在执行期间明确触发配置文件写入。

  • 调用 __llvm_profile_set_filename(PROFILE_DIR "/<filename>-%m.profraw") 以设置配置文件路径。尽管传递的参数是 <filename>-%m.profraw,但配置文件会保存为 <filename>-%m.profraw.order。确保应用对 PROFILE_DIR 可写,并且您可以访问该目录。
    • 由于需要对许多共享库进行性能分析,%m 非常有用,因为它会扩展为库的唯一模块签名,从而为每个库生成单独的配置文件。如需了解更多模式说明符,您可以查看此链接
  • 调用 __llvm_profile_initialize_file() 以设置配置文件
  • 调用 __llvm_orderfile_dump() 以明确写入配置文件

配置文件收集在内存中,dump 函数将它们写入文件。您需要确保在启动结束时调用 dump 函数,以便您的配置文件包含启动结束之前的所有符号。

extern "C" {
extern int __llvm_profile_set_filename(const char*);
extern int __llvm_profile_initialize_file(void);
extern int __llvm_orderfile_dump(void);
}

#define PROFILE_DIR "<location-writable-from-app>"
void workload() {
  // ...
  // run workload
  // ...

  // set path and write profiles after workload execution
  __llvm_profile_set_filename(PROFILE_DIR "/default-%m.profraw");
  __llvm_profile_initialize_file();
  __llvm_orderfile_dump();
  return;
}

运行构建以生成配置文件

在物理设备或虚拟设备上运行插桩应用以生成配置文件。您可以使用 adb pull 提取配置文件。

adb shell "run-as <package-name> sh -c 'cat /data/user/0/<package-name>/cache/default-%m.profraw.order' | cat > /data/local/tmp/default-%m.profraw.order"
adb pull /data/local/tmp/default-%m.profraw.order .

如前所述,确保您可以访问包含写入的配置文件的文件夹。如果是虚拟设备,您可能需要避免使用带有 Play 商店的模拟器,因为它们无法访问许多文件夹。

后处理配置文件和映射文件

获取配置文件后,您需要找到映射文件并将每个配置文件转换为十六进制格式。通常,您可以在应用的构建文件夹中找到映射文件。拥有这两者后,您可以使用我们的脚本,接收配置文件和正确的映射文件,从而生成排序文件。

Linux/Mac/ChromeOS

hexdump -C default-%m.profraw.order > default-%m.prof
python3 create_orderfile.py --profile-file default-%m.prof --mapping-file <filename>-mapping.txt

Windows

certutil -f -encodeHex default-%m.profraw.order default-%m.prof
python3 create_orderfile.py --profile-file default-%m.prof --mapping-file <filename>-mapping.txt

如果您想了解更多关于脚本的信息,可以查看此README

使用排序文件构建应用

生成排序文件后,您应该移除之前的标志和排序文件函数,因为它们仅用于生成步骤。您只需将 -Wl,--symbol-ordering-file=<filename>.orderfile 传递给编译和链接器标志。有时,符号可能找不到或无法移动并发出警告,您可以传递 -Wl,--no-warn-symbol-ordering 来抑制这些警告。

ndk-build

LOCAL_CFLAGS += \
    -Wl,--symbol-ordering-file=<filename>.orderfile \
    -Wl,--no-warn-symbol-ordering \

LOCAL_LDFLAGS += \
    -Wl,--symbol-ordering-file=<filename>.orderfile \
    -Wl,--no-warn-symbol-ordering \

CMake

target_compile_options(orderfiledemo PRIVATE
    -Wl,--symbol-ordering-file=<filename>.orderfile
    -Wl,--no-warn-symbol-ordering
)
target_link_options(orderfiledemo PRIVATE
    -Wl,--symbol-ordering-file=<filename>.orderfile
    -Wl,--no-warn-symbol-ordering
)

其他构建系统

使用 -Wl,--symbol-ordering-file=<filename>.orderfile -Wl,--no-warn-symbol-ordering 编译您的代码。

如需了解更多信息,请查看排序文件示例

排序文件实现详情

有多种生成排序文件并用于构建的方法。NDK 使用 LLVM 的方法,因此它对于 C 或 C++ 共享库比实际的 Java 或 Kotlin 应用更有用。Clang 获取每个函数名称(符号),创建其 MD5 哈希值,并将此关系输出到映射文件。函数首次执行时,其 MD5 哈希值会写入配置文件(profraw 格式)。函数后续执行时不会将其 MD5 哈希值写入配置文件,因为它希望避免重复。因此,只有函数的第一次执行会按顺序记录。通过遍历配置文件和映射文件,您可以获取每个 MD5 哈希值,并将其替换为相应的函数,从而获得排序文件。

十六进制格式的配置文件和映射文件示例分别如下所示:example.profexample-mapping.txt