GitHub Actions上で安定したベンチマーク環境を得る（ただし、相対比較専用）

# .github/workflows/benchmark.yml
name: benchmark

on:
  pull_request:

jobs:
  benchmark:
    name: Benchmark
    runs-on: ubuntu-latest
    env:
      GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
    steps:
      - name: Check out source code
        uses: actions/checkout@v4

      - name: Set up Go
        uses: actions/setup-go@v4
        with:
          go-version-file: go.mod

      - name: Set up octocov-go-test-bench
        run: go install github.com/k1LoW/octocov-go-test-bench/cmd/octocov-go-test-bench@latest

      - name: Check out source code (main)
        uses: actions/checkout@v4
        with:
          ref: main
          path: main

      - name: Run benchmark (main)
        run: go test -bench . -benchmem -benchtime 10000x | octocov-go-test-bench --tee > custom_metrics_benchmark.json
        working-directory: main

      - name: Run octocov (main)
        uses: k1LoW/octocov-action@v0
        with:
          config: .octocov.benchmark.main.yml
        env:
          OCTOCOV_GITHUB_REF: refs/heads/main
          OCTOCOV_GITHUB_SHA: none
          OCTOCOV_CUSTOM_METRICS_BENCHMARK: main/custom_metrics_benchmark.json

      - name: Run benchmark
        run: go test -bench . -benchmem -benchtime 10000x | octocov-go-test-bench --tee > custom_metrics_benchmark.json

      - name: Run octocov
        uses: k1LoW/octocov-action@v0
        with:
          config: .octocov.benchmark.yml
        env:
          OCTOCOV_CUSTOM_METRICS_BENCHMARK: custom_metrics_benchmark.json

順を追って説明します。

まず、Check out source code Set up Go Set up octocov-go-test-bench ステップまでは通常通りですが、Check out source code (main) でmainブランチのソースコードを mainディレクトリにチェックアウトします。

      - name: Check out source code (main)
        uses: actions/checkout@v4
        with:
          ref: main
          path: main

次にmainブランチのソースコードでベンチマークを実行します。ベンチマーク結果を octocov-go-test-bench でパースしてoctocovのカスタムメトリクスJSONとして、main/custom_metrics_benchmark.json に保存します。

      - name: Run benchmark (main)
        run: go test -bench . -benchmem -benchtime 10000x | octocov-go-test-bench --tee > custom_metrics_benchmark.json
        working-directory: main

mainブランチのoctocovカスタムメトリクスJSONを使ってoctocovでレポートを作成します。

      - name: Run octocov (main)
        uses: k1LoW/octocov-action@v0
        with:
          config: .octocov.benchmark.main.yml
        env:
          OCTOCOV_GITHUB_REF: refs/heads/main
          OCTOCOV_GITHUB_SHA: none
          OCTOCOV_CUSTOM_METRICS_BENCHMARK: main/custom_metrics_benchmark.json

mainブランチのカバレッジレポートであることを記録するために環境変数 GITHUB_REF と GITHUB_SHA を上書きします。GitHub Actions上では直接 GITHUB_REF と GITHUB_SHA を上書きすることはできないので OCTOCOV_GITHUB_REF と OCTOCOV_GITHUB_SHA で上書きします*1。

使用する設定ファイル .octocov.benchmark.main.yml は次のように指定します。

# .octocov.benchmark.main.yml
repository: ${GITHUB_REPOSITORY}/benchmark
coverage:
  if: false
codeToTestRatio:
  if: false
testExecutionTime:
  if: false
report:
  datastores:
    - local://main # レポートをローカルの main/ ディレクトリ以下に保存する

コードメトリクスの取得は全てOFFにし、レポートファイルをローカルディレクトリに保存するようにしています。

最後はPull Requestの実装のベンチマークを取得してoctocovにカスタムメトリクスとして読み込ませます。

      - name: Run benchmark
        run: go test -bench . -benchmem -benchtime 10000x | octocov-go-test-bench --tee > custom_metrics_benchmark.json

      - name: Run octocov
        uses: k1LoW/octocov-action@v0
        with:
          config: .octocov.benchmark.yml
        env:
          OCTOCOV_CUSTOM_METRICS_BENCHMARK: custom_metrics_benchmark.json

ここで比較対象として、先ほどローカルの保存したmainブランチのoctocovレポートを指定します。

.octocov.benchmark.yml は次のようになります。

# .octocov.benchmark.yaml
repository: ${GITHUB_REPOSITORY}/benchmark
coverage:
  if: false
codeToTestRatio:
  if: false
testExecutionTime:
  if: false
diff:
  datastores:
    - local://main # 比較対象としてローカルの main/ ディレクトリ以下に保存されているレポートを使用する
comment:
  if: is_pull_request
summary:
  if: true