mirror of
https://github.com/elastic/kibana.git
synced 2025-04-23 17:28:26 -04:00
run all function test suites 6 times per build, to help spot flakiness
This commit is contained in:
spalger
parent
7127c40fa5
commit
477099337a
3 changed files with 200 additions and 33 deletions
143
.ci/jobs.yml
143
.ci/jobs.yml
|
|
@ -2,26 +2,131 @@ JOB:
|
|||
- kibana-intake
|
||||
- x-pack-intake
|
||||
# make sure all kibana-ciGRoups are listed in tasks/function_test_groups.js
|
||||
- kibana-ciGroup1
|
||||
- kibana-ciGroup2
|
||||
- kibana-ciGroup3
|
||||
- kibana-ciGroup4
|
||||
- kibana-ciGroup5
|
||||
- kibana-ciGroup6
|
||||
- kibana-ciGroup7
|
||||
- kibana-ciGroup8
|
||||
- kibana-ciGroup9
|
||||
- kibana-ciGroup10
|
||||
- kibana-ciGroup11
|
||||
- kibana-ciGroup12
|
||||
- kibana-ciGroup1-1
|
||||
- kibana-ciGroup2-1
|
||||
- kibana-ciGroup3-1
|
||||
- kibana-ciGroup4-1
|
||||
- kibana-ciGroup5-1
|
||||
- kibana-ciGroup6-1
|
||||
- kibana-ciGroup7-1
|
||||
- kibana-ciGroup8-1
|
||||
- kibana-ciGroup9-1
|
||||
- kibana-ciGroup10-1
|
||||
- kibana-ciGroup11-1
|
||||
- kibana-ciGroup12-1
|
||||
# make sure all x-pack-ciGroups are listed in test/scripts/jenkins_xpack_ci_group.sh
|
||||
- x-pack-ciGroup1
|
||||
- x-pack-ciGroup2
|
||||
- x-pack-ciGroup3
|
||||
- x-pack-ciGroup4
|
||||
- x-pack-ciGroup5
|
||||
- x-pack-ciGroup6
|
||||
- x-pack-ciGroup7
|
||||
- x-pack-ciGroup1-1
|
||||
- x-pack-ciGroup2-1
|
||||
- x-pack-ciGroup3-1
|
||||
- x-pack-ciGroup4-1
|
||||
- x-pack-ciGroup5-1
|
||||
- x-pack-ciGroup6-1
|
||||
- x-pack-ciGroup7-1
|
||||
|
||||
- kibana-ciGroup1-2
|
||||
- kibana-ciGroup2-2
|
||||
- kibana-ciGroup3-2
|
||||
- kibana-ciGroup4-2
|
||||
- kibana-ciGroup5-2
|
||||
- kibana-ciGroup6-2
|
||||
- kibana-ciGroup7-2
|
||||
- kibana-ciGroup8-2
|
||||
- kibana-ciGroup9-2
|
||||
- kibana-ciGroup10-2
|
||||
- kibana-ciGroup11-2
|
||||
- kibana-ciGroup12-2
|
||||
# make sure all x-pack-ciGroups are listed in test/scripts/jenkins_xpack_ci_group.sh
|
||||
- x-pack-ciGroup1-2
|
||||
- x-pack-ciGroup2-2
|
||||
- x-pack-ciGroup3-2
|
||||
- x-pack-ciGroup4-2
|
||||
- x-pack-ciGroup5-2
|
||||
- x-pack-ciGroup6-2
|
||||
- x-pack-ciGroup7-2
|
||||
|
||||
- kibana-ciGroup1-3
|
||||
- kibana-ciGroup2-3
|
||||
- kibana-ciGroup3-3
|
||||
- kibana-ciGroup4-3
|
||||
- kibana-ciGroup5-3
|
||||
- kibana-ciGroup6-3
|
||||
- kibana-ciGroup7-3
|
||||
- kibana-ciGroup8-3
|
||||
- kibana-ciGroup9-3
|
||||
- kibana-ciGroup10-3
|
||||
- kibana-ciGroup11-3
|
||||
- kibana-ciGroup12-3
|
||||
# make sure all x-pack-ciGroups are listed in test/scripts/jenkins_xpack_ci_group.sh
|
||||
- x-pack-ciGroup1-3
|
||||
- x-pack-ciGroup2-3
|
||||
- x-pack-ciGroup3-3
|
||||
- x-pack-ciGroup4-3
|
||||
- x-pack-ciGroup5-3
|
||||
- x-pack-ciGroup6-3
|
||||
- x-pack-ciGroup7-3
|
||||
|
||||
- kibana-ciGroup1-4
|
||||
- kibana-ciGroup2-4
|
||||
- kibana-ciGroup3-4
|
||||
- kibana-ciGroup4-4
|
||||
- kibana-ciGroup5-4
|
||||
- kibana-ciGroup6-4
|
||||
- kibana-ciGroup7-4
|
||||
- kibana-ciGroup8-4
|
||||
- kibana-ciGroup9-4
|
||||
- kibana-ciGroup10-4
|
||||
- kibana-ciGroup11-4
|
||||
- kibana-ciGroup12-4
|
||||
# make sure all x-pack-ciGroups are listed in test/scripts/jenkins_xpack_ci_group.sh
|
||||
- x-pack-ciGroup1-4
|
||||
- x-pack-ciGroup2-4
|
||||
- x-pack-ciGroup3-4
|
||||
- x-pack-ciGroup4-4
|
||||
- x-pack-ciGroup5-4
|
||||
- x-pack-ciGroup6-4
|
||||
- x-pack-ciGroup7-4
|
||||
|
||||
- kibana-ciGroup1-5
|
||||
- kibana-ciGroup2-5
|
||||
- kibana-ciGroup3-5
|
||||
- kibana-ciGroup4-5
|
||||
- kibana-ciGroup5-5
|
||||
- kibana-ciGroup6-5
|
||||
- kibana-ciGroup7-5
|
||||
- kibana-ciGroup8-5
|
||||
- kibana-ciGroup9-5
|
||||
- kibana-ciGroup10-5
|
||||
- kibana-ciGroup11-5
|
||||
- kibana-ciGroup12-5
|
||||
# make sure all x-pack-ciGroups are listed in test/scripts/jenkins_xpack_ci_group.sh
|
||||
- x-pack-ciGroup1-5
|
||||
- x-pack-ciGroup2-5
|
||||
- x-pack-ciGroup3-5
|
||||
- x-pack-ciGroup4-5
|
||||
- x-pack-ciGroup5-5
|
||||
- x-pack-ciGroup6-5
|
||||
- x-pack-ciGroup7-5
|
||||
|
||||
- kibana-ciGroup1-6
|
||||
- kibana-ciGroup2-6
|
||||
- kibana-ciGroup3-6
|
||||
- kibana-ciGroup4-6
|
||||
- kibana-ciGroup5-6
|
||||
- kibana-ciGroup6-6
|
||||
- kibana-ciGroup7-6
|
||||
- kibana-ciGroup8-6
|
||||
- kibana-ciGroup9-6
|
||||
- kibana-ciGroup10-6
|
||||
- kibana-ciGroup11-6
|
||||
- kibana-ciGroup12-6
|
||||
# make sure all x-pack-ciGroups are listed in test/scripts/jenkins_xpack_ci_group.sh
|
||||
- x-pack-ciGroup1-6
|
||||
- x-pack-ciGroup2-6
|
||||
- x-pack-ciGroup3-6
|
||||
- x-pack-ciGroup4-6
|
||||
- x-pack-ciGroup5-6
|
||||
- x-pack-ciGroup6-6
|
||||
- x-pack-ciGroup7-6
|
||||
|
||||
# `~` is yaml for `null`
|
||||
exclude: ~
|
||||
|
|
|
|||
|
|
@ -60,8 +60,10 @@ export async function setupMocha(lifecycle, log, config, providers) {
|
|||
filterSuitesByTags({
|
||||
log,
|
||||
mocha,
|
||||
include: config.get('suiteTags.include'),
|
||||
exclude: config.get('suiteTags.exclude'),
|
||||
include: config.get('suiteTags.include')
|
||||
.map(tag => tag.replace(/-\d+$/, '')),
|
||||
exclude: config.get('suiteTags.exclude')
|
||||
.map(tag => tag.replace(/-\d+$/, ''))
|
||||
});
|
||||
|
||||
return mocha;
|
||||
|
|
|
|||
|
|
@ -25,18 +25,78 @@ import grunt from 'grunt';
|
|||
* and to the list of jobs in .ci/jobs.yml
|
||||
*/
|
||||
const TEST_TAGS = [
|
||||
'ciGroup1',
|
||||
'ciGroup2',
|
||||
'ciGroup3',
|
||||
'ciGroup4',
|
||||
'ciGroup5',
|
||||
'ciGroup6',
|
||||
'ciGroup7',
|
||||
'ciGroup8',
|
||||
'ciGroup9',
|
||||
'ciGroup10',
|
||||
'ciGroup11',
|
||||
'ciGroup12'
|
||||
'ciGroup1-1',
|
||||
'ciGroup2-1',
|
||||
'ciGroup3-1',
|
||||
'ciGroup4-1',
|
||||
'ciGroup5-1',
|
||||
'ciGroup6-1',
|
||||
'ciGroup7-1',
|
||||
'ciGroup8-1',
|
||||
'ciGroup9-1',
|
||||
'ciGroup10-1',
|
||||
'ciGroup11-1',
|
||||
'ciGroup12-1',
|
||||
'ciGroup1-2',
|
||||
'ciGroup2-2',
|
||||
'ciGroup3-2',
|
||||
'ciGroup4-2',
|
||||
'ciGroup5-2',
|
||||
'ciGroup6-2',
|
||||
'ciGroup7-2',
|
||||
'ciGroup8-2',
|
||||
'ciGroup9-2',
|
||||
'ciGroup10-2',
|
||||
'ciGroup11-2',
|
||||
'ciGroup12-2',
|
||||
'ciGroup1-3',
|
||||
'ciGroup2-3',
|
||||
'ciGroup3-3',
|
||||
'ciGroup4-3',
|
||||
'ciGroup5-3',
|
||||
'ciGroup6-3',
|
||||
'ciGroup7-3',
|
||||
'ciGroup8-3',
|
||||
'ciGroup9-3',
|
||||
'ciGroup10-3',
|
||||
'ciGroup11-3',
|
||||
'ciGroup12-3',
|
||||
'ciGroup1-4',
|
||||
'ciGroup2-4',
|
||||
'ciGroup3-4',
|
||||
'ciGroup4-4',
|
||||
'ciGroup5-4',
|
||||
'ciGroup6-4',
|
||||
'ciGroup7-4',
|
||||
'ciGroup8-4',
|
||||
'ciGroup9-4',
|
||||
'ciGroup10-4',
|
||||
'ciGroup11-4',
|
||||
'ciGroup12-4',
|
||||
'ciGroup1-5',
|
||||
'ciGroup2-5',
|
||||
'ciGroup3-5',
|
||||
'ciGroup4-5',
|
||||
'ciGroup5-5',
|
||||
'ciGroup6-5',
|
||||
'ciGroup7-5',
|
||||
'ciGroup8-5',
|
||||
'ciGroup9-5',
|
||||
'ciGroup10-5',
|
||||
'ciGroup11-5',
|
||||
'ciGroup12-5',
|
||||
'ciGroup1-6',
|
||||
'ciGroup2-6',
|
||||
'ciGroup3-6',
|
||||
'ciGroup4-6',
|
||||
'ciGroup5-6',
|
||||
'ciGroup6-6',
|
||||
'ciGroup7-6',
|
||||
'ciGroup8-6',
|
||||
'ciGroup9-6',
|
||||
'ciGroup10-6',
|
||||
'ciGroup11-6',
|
||||
'ciGroup12-6',
|
||||
];
|
||||
|
||||
export function getFunctionalTestGroupRunConfigs({ esFrom, kibanaInstallDir } = {}) {
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue