bench: bench blitzar implementation by montekki · Pull Request #6 · Lagrange-Labs/dp-crypto

montekki · 2025-12-17T15:50:30Z

No description provided.

montekki · 2025-12-17T16:33:32Z

cargo bench batch_commit -F blitzar-msm

pcs                     fastest       │ slowest       │ median        │ mean          │ samples │ iters
╰─ batch_commit                       │               │               │               │         │
   ├─ batch_commit_cpu                │               │               │               │         │
   │  ├─ 12                           │               │               │               │         │
   │  │  ├─ 2           1.478 ms      │ 1.967 ms      │ 1.908 ms      │ 1.784 ms      │ 3       │ 3
   │  │  ├─ 4           2.525 ms      │ 2.932 ms      │ 2.625 ms      │ 2.694 ms      │ 3       │ 3
   │  │  ├─ 200         123.3 ms      │ 124.5 ms      │ 124.2 ms      │ 124 ms        │ 3       │ 3
   │  │  ╰─ 1000        649.1 ms      │ 783.7 ms      │ 779.9 ms      │ 737.6 ms      │ 3       │ 3
   │  ├─ 14                           │               │               │               │         │
   │  │  ├─ 2           3.756 ms      │ 4.011 ms      │ 3.891 ms      │ 3.886 ms      │ 3       │ 3
   │  │  ├─ 4           7.089 ms      │ 7.679 ms      │ 7.247 ms      │ 7.339 ms      │ 3       │ 3
   │  │  ├─ 200         324.5 ms      │ 338.3 ms      │ 324.8 ms      │ 329.2 ms      │ 3       │ 3
   │  │  ╰─ 1000        1.646 s       │ 1.659 s       │ 1.658 s       │ 1.654 s       │ 3       │ 3
   │  ╰─ 16                           │               │               │               │         │
   │     ├─ 2           9.753 ms      │ 11.77 ms      │ 10.56 ms      │ 10.69 ms      │ 3       │ 3
   │     ├─ 4           18.43 ms      │ 20.28 ms      │ 19.01 ms      │ 19.24 ms      │ 3       │ 3
   │     ├─ 200         987.3 ms      │ 991.5 ms      │ 989.6 ms      │ 989.5 ms      │ 3       │ 3
   │     ╰─ 1000        5.015 s       │ 5.019 s       │ 5.017 s       │ 5.017 s       │ 3       │ 3
   ╰─ batch_commit_gpu                │               │               │               │         │
      ├─ 12                           │               │               │               │         │
      │  ├─ 2           176.8 ms      │ 494.8 ms      │ 176.9 ms      │ 282.8 ms      │ 3       │ 3
      │  ├─ 4           177.3 ms      │ 177.3 ms      │ 177.3 ms      │ 177.3 ms      │ 3       │ 3
      │  ├─ 200         233 ms        │ 233.8 ms      │ 233.5 ms      │ 233.5 ms      │ 3       │ 3
      │  ╰─ 1000        347.2 ms      │ 379.6 ms      │ 350 ms        │ 359 ms        │ 3       │ 3
      ├─ 14                           │               │               │               │         │
      │  ├─ 2           12.72 ms      │ 12.82 ms      │ 12.72 ms      │ 12.76 ms      │ 3       │ 3
      │  ├─ 4           22.29 ms      │ 22.43 ms      │ 22.31 ms      │ 22.34 ms      │ 3       │ 3
      │  ├─ 200         1.194 s       │ 1.197 s       │ 1.196 s       │ 1.196 s       │ 3       │ 3
      │  ╰─ 1000        6.171 s       │ 6.208 s       │ 6.176 s       │ 6.185 s       │ 3       │ 3
      ╰─ 16                           │               │               │               │         │
         ├─ 2           19.27 ms      │ 35.2 ms       │ 19.28 ms      │ 24.58 ms      │ 3       │ 3
         ├─ 4           33.99 ms      │ 42.34 ms      │ 34.15 ms      │ 36.83 ms      │ 3       │ 3
         ├─ 200         1.918 s       │ 1.945 s       │ 1.92 s        │ 1.928 s       │ 3       │ 3
         ╰─ 1000        9.641 s       │ 9.752 s       │ 9.708 s       │ 9.7 s         │ 3       │ 3

nikkolasg

Erf, disappointing result :|

nikkolasg · 2025-12-17T20:19:23Z

dp-crypto/src/arkyper/blitzar_msm.rs

+    }
+
+    // Initialize backend if not already done
+    init_blitzar_backend();


Shouldn't we do it at init time instead of always inside this function ?

nikkolasg · 2025-12-17T20:21:50Z

dp-crypto/benches/pcs.rs

+            let (pp, _) = HyperKZG::<Bn254>::test_setup(&mut thread_rng(), N);
+            let polys: Vec<ADensePolynomial<Fr>> = (0..batch_size)
+                .map(|_| {
+                    let evals = arkworks_static_evals(2u32.pow(N as u32) as usize);


Can you check what's the result with random values instead of the static low weight values here ?

montekki · 2025-12-18T20:46:12Z

rerun on random data:

pcs                     fastest       │ slowest       │ median        │ mean          │ samples │ iters
╰─ batch_commit                       │               │               │               │         │
   ├─ batch_commit_cpu                │               │               │               │         │
   │  ├─ 12                           │               │               │               │         │
   │  │  ├─ 2           7.782 ms      │ 9.721 ms      │ 8.773 ms      │ 8.759 ms      │ 3       │ 3
   │  │  ├─ 4           16.7 ms       │ 18.52 ms      │ 18.37 ms      │ 17.86 ms      │ 3       │ 3
   │  │  ├─ 200         841.8 ms      │ 901.8 ms      │ 873.3 ms      │ 872.3 ms      │ 3       │ 3
   │  │  ╰─ 2000        10.22 s       │ 10.92 s       │ 10.89 s       │ 10.68 s       │ 3       │ 3
   │  ├─ 14                           │               │               │               │         │
   │  │  ├─ 2           30.67 ms      │ 34.64 ms      │ 33.97 ms      │ 33.1 ms       │ 3       │ 3
   │  │  ├─ 4           64 ms         │ 68.92 ms      │ 65.52 ms      │ 66.15 ms      │ 3       │ 3
   │  │  ├─ 200         3.148 s       │ 3.185 s       │ 3.178 s       │ 3.17 s        │ 3       │ 3
   │  │  ╰─ 2000        31.88 s       │ 31.95 s       │ 31.94 s       │ 31.92 s       │ 3       │ 3
   │  ╰─ 16                           │               │               │               │         │
   │     ├─ 2           100.4 ms      │ 110.8 ms      │ 105.9 ms      │ 105.7 ms      │ 3       │ 3
   │     ├─ 4           201 ms        │ 209.8 ms      │ 209.1 ms      │ 206.6 ms      │ 3       │ 3
   │     ├─ 200         10.17 s       │ 10.19 s       │ 10.18 s       │ 10.18 s       │ 3       │ 3
   │     ╰─ 2000        1.701 m       │ 1.705 m       │ 1.703 m       │ 1.703 m       │ 3       │ 3
   ╰─ batch_commit_gpu                │               │               │               │         │
      ├─ 12                           │               │               │               │         │
      │  ├─ 2           236.5 ms      │ 590.7 ms      │ 236.7 ms      │ 354.7 ms      │ 3       │ 3
      │  ├─ 4           262.9 ms      │ 263.4 ms      │ 263.1 ms      │ 263.1 ms      │ 3       │ 3
      │  ├─ 200         1.776 s       │ 1.911 s       │ 1.805 s       │ 1.831 s       │ 3       │ 3
      │  ╰─ 2000        14.55 s       │ 14.73 s       │ 14.59 s       │ 14.62 s       │ 3       │ 3
      ├─ 14                           │               │               │               │         │
      │  ├─ 2           14.98 ms      │ 15.21 ms      │ 15.06 ms      │ 15.08 ms      │ 3       │ 3
      │  ├─ 4           27.21 ms      │ 30.8 ms       │ 28.12 ms      │ 28.71 ms      │ 3       │ 3
      │  ├─ 200         1.546 s       │ 1.554 s       │ 1.553 s       │ 1.551 s       │ 3       │ 3
      │  ╰─ 2000        15.5 s        │ 16.03 s       │ 15.79 s       │ 15.78 s       │ 3       │ 3
      ╰─ 16                           │               │               │               │         │
         ├─ 2           29.81 ms      │ 47.74 ms      │ 30.09 ms      │ 35.88 ms      │ 3       │ 3
         ├─ 4           56.49 ms      │ 69.67 ms      │ 57.91 ms      │ 61.36 ms      │ 3       │ 3
         ├─ 200         3.184 s       │ 3.215 s       │ 3.197 s       │ 3.199 s       │ 3       │ 3
         ╰─ 2000        31.87 s       │ 31.89 s       │ 31.87 s       │ 31.88 s       │ 3       │ 3

     Running benches/sumcheck.rs (target/release/deps/sumcheck-656cf15c0cfbe7bf)
     Running unittests src/lib.rs (target/release/deps/sumcheck_macro-384dc84fb3efa972)

montekki · 2025-12-19T12:32:58Z

altogether:

pcs                            fastest       │ slowest       │ median        │ mean          │ samples │ iters
╰─ batch_commit                              │               │               │               │         │
   ├─ batch_commit_cpu_random                │               │               │               │         │
   │  ├─ 12                                  │               │               │               │         │
   │  │  ├─ 2                  8.381 ms      │ 16.54 ms      │ 8.914 ms      │ 11.27 ms      │ 3       │ 3
   │  │  ├─ 4                  15.34 ms      │ 18.49 ms      │ 16.43 ms      │ 16.75 ms      │ 3       │ 3
   │  │  ├─ 200                837.4 ms      │ 850.2 ms      │ 843.5 ms      │ 843.7 ms      │ 3       │ 3
   │  │  ╰─ 2000               10.16 s       │ 10.69 s       │ 10.65 s       │ 10.5 s        │ 3       │ 3
   │  ├─ 14                                  │               │               │               │         │
   │  │  ├─ 2                  28.22 ms      │ 35.16 ms      │ 32.73 ms      │ 32.04 ms      │ 3       │ 3
   │  │  ├─ 4                  60.66 ms      │ 61.92 ms      │ 61.51 ms      │ 61.37 ms      │ 3       │ 3
   │  │  ├─ 200                3.062 s       │ 3.076 s       │ 3.07 s        │ 3.069 s       │ 3       │ 3
   │  │  ╰─ 2000               30.77 s       │ 30.85 s       │ 30.81 s       │ 30.81 s       │ 3       │ 3
   │  ╰─ 16                                  │               │               │               │         │
   │     ├─ 2                  97.75 ms      │ 107.2 ms      │ 98.89 ms      │ 101.3 ms      │ 3       │ 3
   │     ├─ 4                  187.4 ms      │ 189.7 ms      │ 188.5 ms      │ 188.5 ms      │ 3       │ 3
   │     ├─ 200                9.564 s       │ 9.647 s       │ 9.607 s       │ 9.606 s       │ 3       │ 3
   │     ╰─ 2000               1.604 m       │ 1.609 m       │ 1.605 m       │ 1.606 m       │ 3       │ 3
   ├─ batch_commit_cpu_static                │               │               │               │         │
   │  ├─ 12                                  │               │               │               │         │
   │  │  ├─ 2                  1.458 ms      │ 1.728 ms      │ 1.519 ms      │ 1.568 ms      │ 3       │ 3
   │  │  ├─ 4                  2.488 ms      │ 3.388 ms      │ 3.133 ms      │ 3.003 ms      │ 3       │ 3
   │  │  ├─ 200                165.8 ms      │ 168.3 ms      │ 166.8 ms      │ 167 ms        │ 3       │ 3
   │  │  ╰─ 2000               1.672 s       │ 1.675 s       │ 1.673 s       │ 1.674 s       │ 3       │ 3
   │  ├─ 14                                  │               │               │               │         │
   │  │  ├─ 2                  3.634 ms      │ 4.167 ms      │ 3.765 ms      │ 3.856 ms      │ 3       │ 3
   │  │  ├─ 4                  6.843 ms      │ 7.023 ms      │ 6.961 ms      │ 6.942 ms      │ 3       │ 3
   │  │  ├─ 200                335 ms        │ 338.5 ms      │ 338.4 ms      │ 337.3 ms      │ 3       │ 3
   │  │  ╰─ 2000               3.383 s       │ 3.393 s       │ 3.391 s       │ 3.389 s       │ 3       │ 3
   │  ╰─ 16                                  │               │               │               │         │
   │     ├─ 2                  10.19 ms      │ 10.75 ms      │ 10.23 ms      │ 10.39 ms      │ 3       │ 3
   │     ├─ 4                  18.79 ms      │ 20.63 ms      │ 20.34 ms      │ 19.92 ms      │ 3       │ 3
   │     ├─ 200                973.3 ms      │ 979.7 ms      │ 973.7 ms      │ 975.6 ms      │ 3       │ 3
   │     ╰─ 2000               9.957 s       │ 9.993 s       │ 9.964 s       │ 9.971 s       │ 3       │ 3
   ├─ batch_commit_gpu_random                │               │               │               │         │
   │  ├─ 12                                  │               │               │               │         │
   │  │  ├─ 2                  236.7 ms      │ 619.8 ms      │ 236.8 ms      │ 364.4 ms      │ 3       │ 3
   │  │  ├─ 4                  263.3 ms      │ 263.6 ms      │ 263.5 ms      │ 263.5 ms      │ 3       │ 3
   │  │  ├─ 200                1.711 s       │ 1.895 s       │ 1.871 s       │ 1.825 s       │ 3       │ 3
   │  │  ╰─ 2000               14.06 s       │ 14.6 s        │ 14.43 s       │ 14.36 s       │ 3       │ 3
   │  ├─ 14                                  │               │               │               │         │
   │  │  ├─ 2                  14.86 ms      │ 15.79 ms      │ 15.16 ms      │ 15.27 ms      │ 3       │ 3
   │  │  ├─ 4                  27 ms         │ 29.73 ms      │ 27.58 ms      │ 28.1 ms       │ 3       │ 3
   │  │  ├─ 200                1.513 s       │ 1.518 s       │ 1.513 s       │ 1.515 s       │ 3       │ 3
   │  │  ╰─ 2000               15.13 s       │ 15.62 s       │ 15.36 s       │ 15.37 s       │ 3       │ 3
   │  ╰─ 16                                  │               │               │               │         │
   │     ├─ 2                  29.34 ms      │ 48.04 ms      │ 30.65 ms      │ 36.01 ms      │ 3       │ 3
   │     ├─ 4                  54.47 ms      │ 66.04 ms      │ 55.26 ms      │ 58.59 ms      │ 3       │ 3
   │     ├─ 200                3.016 s       │ 3.049 s       │ 3.042 s       │ 3.036 s       │ 3       │ 3
   │     ╰─ 2000               30.49 s       │ 30.5 s        │ 30.5 s        │ 30.49 s       │ 3       │ 3
   ╰─ batch_commit_gpu_static                │               │               │               │         │
      ├─ 12                                  │               │               │               │         │
      │  ├─ 2                  178.6 ms      │ 179.1 ms      │ 178.9 ms      │ 178.8 ms      │ 3       │ 3
      │  ├─ 4                  178.9 ms      │ 178.9 ms      │ 178.9 ms      │ 178.9 ms      │ 3       │ 3
      │  ├─ 200                220.6 ms      │ 221.9 ms      │ 221.1 ms      │ 221.2 ms      │ 3       │ 3
      │  ╰─ 2000               438.7 ms      │ 439.9 ms      │ 438.8 ms      │ 439.1 ms      │ 3       │ 3
      ├─ 14                                  │               │               │               │         │
      │  ├─ 2                  12.7 ms       │ 12.98 ms      │ 12.91 ms      │ 12.86 ms      │ 3       │ 3
      │  ├─ 4                  22.34 ms      │ 25.28 ms      │ 22.74 ms      │ 23.45 ms      │ 3       │ 3
      │  ├─ 200                1.247 s       │ 1.255 s       │ 1.254 s       │ 1.252 s       │ 3       │ 3
      │  ╰─ 2000               12.65 s       │ 12.65 s       │ 12.65 s       │ 12.65 s       │ 3       │ 3
      ╰─ 16                                  │               │               │               │         │
         ├─ 2                  19.83 ms      │ 36.61 ms      │ 19.94 ms      │ 25.46 ms      │ 3       │ 3
         ├─ 4                  34.25 ms      │ 41.3 ms       │ 34.45 ms      │ 36.67 ms      │ 3       │ 3
         ├─ 200                1.794 s       │ 1.809 s       │ 1.804 s       │ 1.802 s       │ 3       │ 3
         ╰─ 2000               18.18 s       │ 18.21 s       │ 18.2 s        │ 18.2 s        │ 3       │ 3

initial commit

860c66d

montekki force-pushed the fvs-try-blitzar-gpu branch from b43ed47 to 860c66d Compare December 17, 2025 15:53

montekki added 3 commits December 17, 2025 17:12

test on gpu

0ff0d82

fix build and remove verbose tests from gpu

f437618

fix warnings

f85aeb7

simplify

30c3074

nikkolasg reviewed Dec 17, 2025

View reviewed changes

montekki added 2 commits December 19, 2025 08:53

random numbers

6a65025

bench pcs and post to github

3de56c9

Lagrange-Labs deleted a comment from github-actions bot Dec 19, 2025

to devnull please

6011470

Lagrange-Labs deleted a comment from github-actions bot Dec 19, 2025

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

bench: bench blitzar implementation #6

bench: bench blitzar implementation #6
montekki wants to merge 8 commits intomainfrom
fvs-try-blitzar-gpu

montekki commented Dec 17, 2025

Uh oh!

montekki commented Dec 17, 2025

Uh oh!

nikkolasg left a comment •

edited

Loading

Uh oh!

nikkolasg Dec 17, 2025

Uh oh!

nikkolasg Dec 17, 2025

Uh oh!

montekki commented Dec 18, 2025

Uh oh!

montekki commented Dec 19, 2025

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

Conversation

montekki commented Dec 17, 2025

Uh oh!

montekki commented Dec 17, 2025

Uh oh!

nikkolasg left a comment • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

nikkolasg Dec 17, 2025

Choose a reason for hiding this comment

Uh oh!

nikkolasg Dec 17, 2025

Choose a reason for hiding this comment

Uh oh!

montekki commented Dec 18, 2025

Uh oh!

montekki commented Dec 19, 2025

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants

nikkolasg left a comment •

edited

Loading