Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[exp](load) memtable limiter #27048

Closed
wants to merge 19 commits into from
Closed

Conversation

kaijchen
Copy link
Contributor

Proposed changes

Issue Number: close #xxx

Further comments

If this is a relatively large or complex change, kick off the discussion at [email protected] by explaining why you chose the solution you did and what alternatives you considered, etc...

@kaijchen
Copy link
Contributor Author

run buildall

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

@doris-robot
Copy link

TeamCity be ut coverage result:
Function Coverage: 36.77% (8413/22881)
Line Coverage: 29.22% (68259/233588)
Region Coverage: 27.83% (35289/126824)
Branch Coverage: 24.60% (18033/73304)
Coverage Report: http://coverage.selectdb-in.cc/coverage/d337487b1a62fb557126cccf378e8e2a8ce6932d_d337487b1a62fb557126cccf378e8e2a8ce6932d/report/index.html

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit d337487b1a62fb557126cccf378e8e2a8ce6932d, data reload: false

run tpch-sf100 query with default conf and session variables
q1	5359	5100	5186	5100
q2	355	162	156	156
q3	2037	1939	1927	1927
q4	1384	1258	1244	1244
q5	3932	3916	3986	3916
q6	250	135	135	135
q7	1406	878	882	878
q8	2739	2778	2755	2755
q9	12921	9687	9626	9626
q10	3471	3515	3519	3515
q11	380	253	244	244
q12	464	281	279	279
q13	4600	3810	3799	3799
q14	328	291	289	289
q15	643	565	566	565
q16	667	606	582	582
q17	1138	975	936	936
q18	7877	7314	7452	7314
q19	1655	1694	1641	1641
q20	538	324	296	296
q21	4465	4013	4023	4013
q22	517	420	412	412
Total cold run time: 57126 ms
Total hot run time: 49622 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	5065	5007	5023	5007
q2	355	224	229	224
q3	4047	3966	3995	3966
q4	2766	2738	2749	2738
q5	9602	9660	9629	9629
q6	248	126	129	126
q7	2732	2336	2345	2336
q8	4824	4850	4830	4830
q9	13265	13155	13200	13155
q10	4074	4151	4183	4151
q11	776	678	676	676
q12	980	815	830	815
q13	4293	3543	3575	3543
q14	400	364	343	343
q15	596	547	562	547
q16	745	678	667	667
q17	3931	3951	3843	3843
q18	9533	8949	8903	8903
q19	1852	1760	1771	1760
q20	2416	2071	2054	2054
q21	8696	8451	8548	8451
q22	911	830	896	830
Total cold run time: 82107 ms
Total hot run time: 78594 ms

@kaijchen
Copy link
Contributor Author

run buildall

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 4dd65253f855ade6655956d5e5608eb2173a8ed1, data reload: false

run tpch-sf100 query with default conf and session variables
q1	4972	4664	4660	4660
q2	369	147	145	145
q3	2043	1943	1948	1943
q4	1376	1242	1273	1242
q5	3968	3968	4014	3968
q6	247	125	128	125
q7	1388	878	873	873
q8	2769	2806	2783	2783
q9	9708	9716	9616	9616
q10	3465	3534	3563	3534
q11	380	246	248	246
q12	437	288	289	288
q13	4554	3860	3778	3778
q14	326	290	289	289
q15	579	529	538	529
q16	670	576	576	576
q17	1137	975	939	939
q18	7894	7438	7504	7438
q19	1680	1703	1670	1670
q20	524	308	316	308
q21	4397	4018	4023	4018
q22	486	362	370	362
Total cold run time: 53369 ms
Total hot run time: 49330 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	4608	4566	4583	4566
q2	336	259	245	245
q3	4017	3982	3990	3982
q4	2714	2706	2708	2706
q5	9612	9680	9707	9680
q6	242	123	122	122
q7	2607	2284	2315	2284
q8	4478	4498	4486	4486
q9	13245	13087	13116	13087
q10	4111	4216	4183	4183
q11	829	636	648	636
q12	979	812	814	812
q13	4311	3535	3555	3535
q14	374	351	352	351
q15	584	529	528	528
q16	743	673	655	655
q17	3822	3873	3869	3869
q18	9664	9090	9102	9090
q19	1812	1797	1767	1767
q20	2407	2071	2052	2052
q21	8870	8547	8376	8376
q22	896	768	790	768
Total cold run time: 81261 ms
Total hot run time: 77780 ms

@doris-robot
Copy link

TeamCity be ut coverage result:
Function Coverage: 36.75% (8410/22883)
Line Coverage: 29.27% (68396/233647)
Region Coverage: 27.87% (35355/126873)
Branch Coverage: 24.62% (18062/73360)
Coverage Report: http://coverage.selectdb-in.cc/coverage/4dd65253f855ade6655956d5e5608eb2173a8ed1_4dd65253f855ade6655956d5e5608eb2173a8ed1/report/index.html

@kaijchen
Copy link
Contributor Author

run buildall

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

@doris-robot
Copy link

TeamCity be ut coverage result:
Function Coverage: 36.75% (8410/22883)
Line Coverage: 29.27% (68385/233647)
Region Coverage: 27.85% (35339/126873)
Branch Coverage: 24.62% (18058/73360)
Coverage Report: http://coverage.selectdb-in.cc/coverage/de7c8befa9d8813bba4ec912e4d80206d9907db5_de7c8befa9d8813bba4ec912e4d80206d9907db5/report/index.html

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit de7c8befa9d8813bba4ec912e4d80206d9907db5, data reload: false

run tpch-sf100 query with default conf and session variables
q1	4961	4636	4670	4636
q2	360	164	159	159
q3	2050	1964	1981	1964
q4	1384	1280	1235	1235
q5	3941	3975	4028	3975
q6	250	130	130	130
q7	1377	893	881	881
q8	2758	2776	2772	2772
q9	9769	9692	9627	9627
q10	3444	3515	3537	3515
q11	381	251	237	237
q12	439	299	292	292
q13	4566	3828	3813	3813
q14	320	297	276	276
q15	589	543	524	524
q16	674	577	593	577
q17	1137	944	907	907
q18	7876	7463	7528	7463
q19	1695	1683	1674	1674
q20	573	308	289	289
q21	4373	3961	3998	3961
q22	492	379	379	379
Total cold run time: 53409 ms
Total hot run time: 49286 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	4602	4574	4627	4574
q2	334	258	244	244
q3	4013	4012	4000	4000
q4	2694	2701	2695	2695
q5	9655	9672	9610	9610
q6	243	126	125	125
q7	2586	2350	2302	2302
q8	4435	4423	4455	4423
q9	13219	13128	13127	13127
q10	4078	4206	4201	4201
q11	803	671	653	653
q12	974	820	819	819
q13	4307	3592	3561	3561
q14	385	346	342	342
q15	573	514	534	514
q16	750	681	685	681
q17	3893	3845	3848	3845
q18	9623	8954	9175	8954
q19	1886	1773	1795	1773
q20	2393	2070	2029	2029
q21	8699	8703	8564	8564
q22	919	795	804	795
Total cold run time: 81064 ms
Total hot run time: 77831 ms

@kaijchen
Copy link
Contributor Author

run buildall

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

@kaijchen
Copy link
Contributor Author

run buildall

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

@kaijchen
Copy link
Contributor Author

run buildall

1 similar comment
@kaijchen
Copy link
Contributor Author

run buildall

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

@doris-robot
Copy link

TeamCity be ut coverage result:
Function Coverage: 36.74% (8412/22896)
Line Coverage: 29.27% (68424/233806)
Region Coverage: 27.85% (35366/126973)
Branch Coverage: 24.61% (18070/73412)
Coverage Report: http://coverage.selectdb-in.cc/coverage/c7e206c764885b926f83cb55aab06eee3c86fca8_c7e206c764885b926f83cb55aab06eee3c86fca8/report/index.html

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit c7e206c764885b926f83cb55aab06eee3c86fca8, data reload: false

run tpch-sf100 query with default conf and session variables
q1	6987	4739	4687	4687
q2	672	153	158	153
q3	3025	1911	1859	1859
q4	6039	1138	1257	1138
q5	5712	4031	3943	3943
q6	241	135	134	134
q7	1413	880	902	880
q8	7393	2816	2788	2788
q9	10336	10726	9663	9663
q10	9898	3566	3542	3542
q11	407	251	244	244
q12	453	296	295	295
q13	21232	3828	3802	3802
q14	332	282	283	282
q15	592	530	516	516
q16	676	583	588	583
q17	1170	961	933	933
q18	7949	7371	7397	7371
q19	1736	1674	1689	1674
q20	564	301	281	281
q21	4440	3988	3996	3988
q22	468	371	375	371
Total cold run time: 91735 ms
Total hot run time: 49127 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	4603	4590	4616	4590
q2	338	241	266	241
q3	4027	4014	4016	4014
q4	2713	2701	2696	2696
q5	9630	9616	9600	9600
q6	247	119	123	119
q7	2608	2259	2307	2259
q8	4456	4468	4456	4456
q9	13375	13305	13156	13156
q10	4108	4192	4166	4166
q11	811	657	681	657
q12	973	840	804	804
q13	4334	3556	3575	3556
q14	383	350	353	350
q15	579	515	515	515
q16	738	669	669	669
q17	3895	3945	3851	3851
q18	9706	9125	9152	9125
q19	1836	1790	1772	1772
q20	2400	2072	2047	2047
q21	8823	8621	8729	8621
q22	923	807	790	790
Total cold run time: 81506 ms
Total hot run time: 78054 ms

@kaijchen
Copy link
Contributor Author

run buildall

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

@doris-robot
Copy link

TeamCity be ut coverage result:
Function Coverage: 36.74% (8413/22897)
Line Coverage: 29.26% (68428/233855)
Region Coverage: 27.85% (35383/127036)
Branch Coverage: 24.60% (18071/73452)
Coverage Report: http://coverage.selectdb-in.cc/coverage/265831bed11784d225d2c80f26a67b844340b7dd_265831bed11784d225d2c80f26a67b844340b7dd/report/index.html

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 265831bed11784d225d2c80f26a67b844340b7dd, data reload: false

run tpch-sf100 query with default conf and session variables
q1	4983	4665	4680	4665
q2	364	152	158	152
q3	2024	1870	1852	1852
q4	1397	1238	1216	1216
q5	3961	3940	4050	3940
q6	243	128	134	128
q7	1382	880	892	880
q8	2766	2806	2779	2779
q9	9815	9694	9713	9694
q10	3519	3538	3508	3508
q11	370	256	244	244
q12	428	292	302	292
q13	4593	3844	3837	3837
q14	323	286	287	286
q15	587	539	521	521
q16	664	571	581	571
q17	1137	989	958	958
q18	7872	7395	7431	7395
q19	1659	1656	1691	1656
q20	531	291	278	278
q21	4366	3963	3992	3963
q22	470	373	369	369
Total cold run time: 53454 ms
Total hot run time: 49184 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	4619	4627	4580	4580
q2	334	232	250	232
q3	4049	4018	4005	4005
q4	2711	2704	2702	2702
q5	9716	9618	9610	9610
q6	241	123	129	123
q7	2615	2266	2323	2266
q8	4448	4446	4454	4446
q9	13248	13036	13059	13036
q10	4131	4195	4187	4187
q11	797	707	683	683
q12	988	820	827	820
q13	4269	3557	3578	3557
q14	384	352	365	352
q15	585	522	532	522
q16	720	662	664	662
q17	3903	3915	3937	3915
q18	9514	8957	8976	8957
q19	1826	1795	1773	1773
q20	2395	2064	2022	2022
q21	8772	8729	8707	8707
q22	906	823	808	808
Total cold run time: 81171 ms
Total hot run time: 77965 ms

@kaijchen
Copy link
Contributor Author

run clickbench

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 265831bed11784d225d2c80f26a67b844340b7dd, data reload: false

run tpch-sf100 query with default conf and session variables
q1	4962	4696	4676	4676
q2	358	159	158	158
q3	2044	1931	1896	1896
q4	1365	1228	1210	1210
q5	3965	3931	4009	3931
q6	256	134	132	132
q7	1421	887	913	887
q8	2781	2793	2789	2789
q9	9854	9563	9460	9460
q10	3475	3497	3513	3497
q11	384	251	244	244
q12	448	297	297	297
q13	4615	3781	3800	3781
q14	328	293	291	291
q15	599	536	520	520
q16	663	592	579	579
q17	1137	974	943	943
q18	7880	7390	7350	7350
q19	1690	1677	1682	1677
q20	536	316	302	302
q21	4405	4012	4018	4012
q22	477	369	388	369
Total cold run time: 53643 ms
Total hot run time: 49001 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	4609	4573	4560	4560
q2	341	229	267	229
q3	4039	4013	4037	4013
q4	2721	2712	2715	2712
q5	9645	9661	9586	9586
q6	250	124	126	124
q7	3013	2492	2528	2492
q8	4425	4541	4422	4422
q9	13003	12914	12799	12799
q10	4062	4145	4151	4145
q11	807	654	659	654
q12	971	812	806	806
q13	4281	3571	3531	3531
q14	384	348	367	348
q15	580	512	533	512
q16	741	709	663	663
q17	3906	3869	3828	3828
q18	9666	9054	9087	9054
q19	1823	1791	1771	1771
q20	2413	2074	2056	2056
q21	8920	8512	8655	8512
q22	922	789	769	769
Total cold run time: 81522 ms
Total hot run time: 77586 ms

@kaijchen
Copy link
Contributor Author

run clickbench

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

Copy link
Contributor

clang-tidy review says "All clean, LGTM! 👍"

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 8731b7c9bb6c9e0731534472a8119c4e35baff95, data reload: false

run tpch-sf100 query with default conf and session variables
q1	4895	4657	4637	4637
q2	351	165	160	160
q3	1504	1314	1321	1314
q4	1156	972	967	967
q5	3241	3226	3204	3204
q6	253	129	128	128
q7	1022	507	574	507
q8	2242	2242	2226	2226
q9	6961	6985	6909	6909
q10	3286	3380	3374	3374
q11	332	212	212	212
q12	356	218	214	214
q13	4628	3874	3911	3874
q14	239	214	218	214
q15	590	553	517	517
q16	423	387	409	387
q17	1049	683	596	596
q18	9126	7462	7478	7462
q19	1547	1573	1499	1499
q20	575	325	315	315
q21	3340	2967	2949	2949
q22	365	295	302	295
Total cold run time: 47481 ms
Total hot run time: 41960 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	4606	4584	4577	4577
q2	310	206	228	206
q3	3759	3747	3753	3747
q4	2521	2502	2497	2497
q5	6206	6205	6201	6201
q6	244	123	124	123
q7	2599	1964	1964	1964
q8	3739	3704	3678	3678
q9	9436	9418	9425	9418
q10	4042	4147	4139	4139
q11	608	491	488	488
q12	821	629	632	629
q13	4404	3640	3619	3619
q14	275	240	242	240
q15	583	529	530	529
q16	491	457	483	457
q17	2133	2053	2052	2052
q18	9577	10361	9001	9001
q19	1770	1801	1768	1768
q20	2291	2010	1965	1965
q21	7239	6992	6926	6926
q22	630	560	547	547
Total cold run time: 68284 ms
Total hot run time: 64771 ms

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 8731b7c9bb6c9e0731534472a8119c4e35baff95, data reload: false

run tpch-sf100 query with default conf and session variables
q1	4906	4648	4650	4648
q2	351	171	199	171
q3	1513	1383	1284	1284
q4	1146	990	950	950
q5	3276	3261	3244	3244
q6	254	133	136	133
q7	1028	530	567	530
q8	2259	2254	2246	2246
q9	6973	6916	6929	6916
q10	3305	3384	3715	3384
q11	335	207	212	207
q12	348	216	219	216
q13	4743	3922	3872	3872
q14	254	215	214	214
q15	575	545	531	531
q16	451	364	391	364
q17	1039	690	597	597
q18	8037	8589	7870	7870
q19	1557	1553	1541	1541
q20	539	303	331	303
q21	3419	2973	2979	2973
q22	366	304	305	304
Total cold run time: 46674 ms
Total hot run time: 42498 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	4599	4611	4595	4595
q2	324	205	230	205
q3	3742	3749	3752	3749
q4	2532	2537	2522	2522
q5	6198	6154	6182	6154
q6	249	124	127	124
q7	2677	1972	1996	1972
q8	3782	3727	3708	3708
q9	9434	9409	9428	9409
q10	4019	4140	4155	4140
q11	629	508	518	508
q12	805	657	642	642
q13	4379	3647	3648	3647
q14	280	248	244	244
q15	584	525	531	525
q16	528	480	476	476
q17	2108	2072	2085	2072
q18	9571	8914	8830	8830
q19	1835	1785	1775	1775
q20	2318	2006	2017	2006
q21	7269	7199	6866	6866
q22	636	536	582	536
Total cold run time: 68498 ms
Total hot run time: 64705 ms

Copy link
Contributor

github-actions bot commented Dec 1, 2023

clang-tidy review says "All clean, LGTM! 👍"

@doris-robot
Copy link

TPC-H test result on machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
Tpch sf100 test result on commit 97d6cd51c66707f6a20938a074633c2f375c6460, data reload: false

run tpch-sf100 query with default conf and session variables
q1	4900	4627	4651	4627
q2	362	163	162	162
q3	1497	1339	1290	1290
q4	1162	973	916	916
q5	3203	3205	3220	3205
q6	249	130	133	130
q7	998	524	540	524
q8	2244	2249	2229	2229
q9	6922	6985	7033	6985
q10	3303	3352	3341	3341
q11	345	214	216	214
q12	357	218	216	216
q13	4658	4296	3867	3867
q14	248	220	210	210
q15	596	546	529	529
q16	416	387	371	371
q17	1047	647	570	570
q18	8044	7475	7431	7431
q19	1559	1552	1526	1526
q20	572	294	327	294
q21	3387	2934	2954	2934
q22	375	301	307	301
Total cold run time: 46444 ms
Total hot run time: 41872 ms

run tpch-sf100 query with default conf and set session variable runtime_filter_mode=off
q1	4623	4614	4595	4595
q2	315	202	222	202
q3	3707	3717	3717	3717
q4	2508	2498	2491	2491
q5	6087	6078	6071	6071
q6	243	126	127	126
q7	2637	2050	1958	1958
q8	3734	3703	3674	3674
q9	9473	9421	9424	9421
q10	4039	4126	4115	4115
q11	652	489	497	489
q12	809	624	650	624
q13	4348	3640	3664	3640
q14	273	249	252	249
q15	604	528	529	528
q16	509	494	520	494
q17	2069	2045	2062	2045
q18	9379	8794	8822	8794
q19	1810	1780	1779	1779
q20	2302	1984	1966	1966
q21	7165	6866	6936	6866
q22	651	566	564	564
Total cold run time: 67937 ms
Total hot run time: 64408 ms

Copy link
Contributor

@github-actions github-actions bot left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

clang-tidy made some suggestions

}
return *this;
}

~OwnedSlice() { Allocator::free(_slice.data, _slice.size); }
~OwnedSlice() { Allocator::free(_slice.data, _capacity); }
Copy link
Contributor

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

warning: use '= default' to define a trivial destructor [modernize-use-equals-default]

    ~OwnedSlice() { Allocator::free(_slice.data, _capacity); }
    ^

@kaijchen kaijchen closed this Dec 7, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants