[jira] [Commented] (SOLR-12866) Reproducing TestLocalFSCloudBackupRestore and TestHdfsCloudBackupRestore failures

classic Classic list List threaded Threaded
1 message Options
Reply | Threaded
Open this post in threaded view
|

[jira] [Commented] (SOLR-12866) Reproducing TestLocalFSCloudBackupRestore and TestHdfsCloudBackupRestore failures

JIRA jira@apache.org

    [ https://issues.apache.org/jira/browse/SOLR-12866?page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel&focusedCommentId=16659229#comment-16659229 ]

Steve Rowe commented on SOLR-12866:
-----------------------------------

Another reproducing seed for TestLocalFSCloudBackupRestore, from [https://jenkins.thetaphi.de/job/Lucene-Solr-7.x-MacOSX/890/] (reproduced for me on Linux on branch_7x with java8):

{noformat}
Checking out Revision 36ce83bc9add02a900e38b396b42c3c729846598 (refs/remotes/origin/branch_7x)
[...]
   [junit4]   2> NOTE: reproduce with: ant test  -Dtestcase=TestLocalFSCloudBackupRestore -Dtests.method=test -Dtests.seed=1F865FE108D99C42 -Dtests.slow=true -Dtests.locale=nnh -Dtests.timezone=Canada/Saskatchewan -Dtests.asserts=true -Dtests.file.encoding=ISO-8859-1
   [junit4] FAILURE 26.7s J1 | TestLocalFSCloudBackupRestore.test <<<
   [junit4]    > Throwable #1: java.lang.AssertionError: Node 127.0.0.1:62709_solr has 7 replicas. Expected num replicas : 6. state:
   [junit4]    > DocCollection(backuprestore_restored//collections/backuprestore_restored/state.json/38)={
   [junit4]    >   "pullReplicas":1,
   [junit4]    >   "replicationFactor":2,
   [junit4]    >   "shards":{
   [junit4]    >     "shard2":{
   [junit4]    >       "range":"0-7fffffff",
   [junit4]    >       "state":"active",
   [junit4]    >       "replicas":{
   [junit4]    >         "core_node122":{
   [junit4]    >           "core":"backuprestore_restored_shard2_replica_n121",
   [junit4]    >           "base_url":"http://127.0.0.1:62709/solr",
   [junit4]    >           "node_name":"127.0.0.1:62709_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"NRT",
   [junit4]    >           "force_set_state":"false",
   [junit4]    >           "leader":"true"},
   [junit4]    >         "core_node128":{
   [junit4]    >           "core":"backuprestore_restored_shard2_replica_n127",
   [junit4]    >           "base_url":"http://127.0.0.1:62709/solr",
   [junit4]    >           "node_name":"127.0.0.1:62709_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"NRT",
   [junit4]    >           "force_set_state":"false"},
   [junit4]    >         "core_node130":{
   [junit4]    >           "core":"backuprestore_restored_shard2_replica_t129",
   [junit4]    >           "base_url":"http://127.0.0.1:62709/solr",
   [junit4]    >           "node_name":"127.0.0.1:62709_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"TLOG",
   [junit4]    >           "force_set_state":"false"},
   [junit4]    >         "core_node132":{
   [junit4]    >           "core":"backuprestore_restored_shard2_replica_p131",
   [junit4]    >           "base_url":"http://127.0.0.1:62710/solr",
   [junit4]    >           "node_name":"127.0.0.1:62710_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"PULL",
   [junit4]    >           "force_set_state":"false"}},
   [junit4]    >       "stateTimestamp":"1540067298009810113"},
   [junit4]    >     "shard1_1":{
   [junit4]    >       "range":"c0000000-ffffffff",
   [junit4]    >       "state":"active",
   [junit4]    >       "replicas":{
   [junit4]    >         "core_node124":{
   [junit4]    >           "core":"backuprestore_restored_shard1_1_replica_n123",
   [junit4]    >           "base_url":"http://127.0.0.1:62710/solr",
   [junit4]    >           "node_name":"127.0.0.1:62710_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"NRT",
   [junit4]    >           "force_set_state":"false",
   [junit4]    >           "leader":"true"},
   [junit4]    >         "core_node134":{
   [junit4]    >           "core":"backuprestore_restored_shard1_1_replica_n133",
   [junit4]    >           "base_url":"http://127.0.0.1:62709/solr",
   [junit4]    >           "node_name":"127.0.0.1:62709_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"NRT",
   [junit4]    >           "force_set_state":"false"},
   [junit4]    >         "core_node136":{
   [junit4]    >           "core":"backuprestore_restored_shard1_1_replica_t135",
   [junit4]    >           "base_url":"http://127.0.0.1:62709/solr",
   [junit4]    >           "node_name":"127.0.0.1:62709_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"TLOG",
   [junit4]    >           "force_set_state":"false"},
   [junit4]    >         "core_node138":{
   [junit4]    >           "core":"backuprestore_restored_shard1_1_replica_p137",
   [junit4]    >           "base_url":"http://127.0.0.1:62710/solr",
   [junit4]    >           "node_name":"127.0.0.1:62710_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"PULL",
   [junit4]    >           "force_set_state":"false"}},
   [junit4]    >       "stateTimestamp":"1540067298009839609"},
   [junit4]    >     "shard1_0":{
   [junit4]    >       "range":"80000000-bfffffff",
   [junit4]    >       "state":"active",
   [junit4]    >       "replicas":{
   [junit4]    >         "core_node126":{
   [junit4]    >           "core":"backuprestore_restored_shard1_0_replica_n125",
   [junit4]    >           "base_url":"http://127.0.0.1:62710/solr",
   [junit4]    >           "node_name":"127.0.0.1:62710_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"NRT",
   [junit4]    >           "force_set_state":"false",
   [junit4]    >           "leader":"true"},
   [junit4]    >         "core_node140":{
   [junit4]    >           "core":"backuprestore_restored_shard1_0_replica_n139",
   [junit4]    >           "base_url":"http://127.0.0.1:62709/solr",
   [junit4]    >           "node_name":"127.0.0.1:62709_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"NRT",
   [junit4]    >           "force_set_state":"false"},
   [junit4]    >         "core_node142":{
   [junit4]    >           "core":"backuprestore_restored_shard1_0_replica_t141",
   [junit4]    >           "base_url":"http://127.0.0.1:62709/solr",
   [junit4]    >           "node_name":"127.0.0.1:62709_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"TLOG",
   [junit4]    >           "force_set_state":"false"},
   [junit4]    >         "core_node144":{
   [junit4]    >           "core":"backuprestore_restored_shard1_0_replica_p143",
   [junit4]    >           "base_url":"http://127.0.0.1:62710/solr",
   [junit4]    >           "node_name":"127.0.0.1:62710_solr",
   [junit4]    >           "state":"active",
   [junit4]    >           "type":"PULL",
   [junit4]    >           "force_set_state":"false"}},
   [junit4]    >       "stateTimestamp":"1540067298009877909"}},
   [junit4]    >   "router":{"name":"compositeId"},
   [junit4]    >   "maxShardsPerNode":"6",
   [junit4]    >   "autoAddReplicas":"false",
   [junit4]    >   "nrtReplicas":2,
   [junit4]    >   "tlogReplicas":1}
   [junit4]    > at __randomizedtesting.SeedInfo.seed([1F865FE108D99C42:97D2603BA625F1BA]:0)
   [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.lambda$testBackupAndRestore$1(AbstractCloudBackupRestoreTestCase.java:339)
   [junit4]    > at java.base/java.util.HashMap.forEach(HashMap.java:1340)
   [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.testBackupAndRestore(AbstractCloudBackupRestoreTestCase.java:338)
   [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.test(AbstractCloudBackupRestoreTestCase.java:144)
   [junit4]    > at org.apache.solr.cloud.api.collections.TestLocalFSCloudBackupRestore.test(TestLocalFSCloudBackupRestore.java:64)
   [junit4]    > at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
   [junit4]    > at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
   [junit4]    > at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
   [junit4]    > at java.base/java.lang.reflect.Method.invoke(Method.java:564)
   [junit4]    > at java.base/java.lang.Thread.run(Thread.java:844)
[...]
   [junit4]   2> NOTE: test params are: codec=Asserting(Lucene70): {shard_s=Lucene50(blocksize=128), id=Lucene50(blocksize=128)}, docValues:{}, maxPointsInLeafNode=688, maxMBSortInHeap=5.480202259929796, sim=RandomSimilarity(queryNorm=false): {}, locale=nnh, timezone=Canada/Saskatchewan
   [junit4]   2> NOTE: Mac OS X 10.11.6 x86_64/Oracle Corporation 9 (64-bit)/cpus=3,threads=1,free=159091232,total=444596224
{noformat}


> Reproducing TestLocalFSCloudBackupRestore and TestHdfsCloudBackupRestore failures
> ---------------------------------------------------------------------------------
>
>                 Key: SOLR-12866
>                 URL: https://issues.apache.org/jira/browse/SOLR-12866
>             Project: Solr
>          Issue Type: Task
>      Security Level: Public(Default Security Level. Issues are Public)
>            Reporter: Steve Rowe
>            Priority: Major
>
> From [https://builds.apache.org/job/Lucene-Solr-BadApples-Tests-7.x/185/], both tests failed 10/10 iterations for me on branch_7x with the seed:
> {noformat}
> Checking out Revision 37fdcb02d87ec44293ec4942c75a3cb709c45418 (refs/remotes/origin/branch_7x)
> [...]
>    [junit4]   2> NOTE: reproduce with: ant test  -Dtestcase=TestLocalFSCloudBackupRestore -Dtests.method=test -Dtests.seed=3CD4284489C09DB4 -Dtests.multiplier=2 -Dtests.slow=true -Dtests.badapples=true -Dtests.locale=mk-MK -Dtests.timezone=Pacific/Kiritimati -Dtests.asserts=true -Dtests.file.encoding=US-ASCII
>    [junit4] FAILURE 10.8s J2 | TestLocalFSCloudBackupRestore.test <<<
>    [junit4]    > Throwable #1: java.lang.AssertionError: Node 127.0.0.1:43864_solr has 3 replicas. Expected num replicas : 2. state:
>    [junit4]    > DocCollection(backuprestore_restored//collections/backuprestore_restored/state.json/9)={
>    [junit4]    >   "pullReplicas":0,
>    [junit4]    >   "replicationFactor":1,
>    [junit4]    >   "shards":{
>    [junit4]    >     "shard2":{
>    [junit4]    >       "range":"0-7fffffff",
>    [junit4]    >       "state":"active",
>    [junit4]    >       "replicas":{"core_node62":{
>    [junit4]    >           "core":"backuprestore_restored_shard2_replica_n61",
>    [junit4]    >           "base_url":"https://127.0.0.1:43864/solr",
>    [junit4]    >           "node_name":"127.0.0.1:43864_solr",
>    [junit4]    >           "state":"active",
>    [junit4]    >           "type":"NRT",
>    [junit4]    >           "force_set_state":"false",
>    [junit4]    >           "leader":"true"}},
>    [junit4]    >       "stateTimestamp":"1539459703266853250"},
>    [junit4]    >     "shard1_1":{
>    [junit4]    >       "range":"c0000000-ffffffff",
>    [junit4]    >       "state":"active",
>    [junit4]    >       "replicas":{"core_node64":{
>    [junit4]    >           "core":"backuprestore_restored_shard1_1_replica_n63",
>    [junit4]    >           "base_url":"https://127.0.0.1:43864/solr",
>    [junit4]    >           "node_name":"127.0.0.1:43864_solr",
>    [junit4]    >           "state":"active",
>    [junit4]    >           "type":"NRT",
>    [junit4]    >           "force_set_state":"false",
>    [junit4]    >           "leader":"true"}},
>    [junit4]    >       "stateTimestamp":"1539459703266887720"},
>    [junit4]    >     "shard1_0":{
>    [junit4]    >       "range":"80000000-bfffffff",
>    [junit4]    >       "state":"active",
>    [junit4]    >       "replicas":{"core_node66":{
>    [junit4]    >           "core":"backuprestore_restored_shard1_0_replica_n65",
>    [junit4]    >           "base_url":"https://127.0.0.1:43864/solr",
>    [junit4]    >           "node_name":"127.0.0.1:43864_solr",
>    [junit4]    >           "state":"active",
>    [junit4]    >           "type":"NRT",
>    [junit4]    >           "force_set_state":"false",
>    [junit4]    >           "leader":"true"}},
>    [junit4]    >       "stateTimestamp":"1539459703266910800"}},
>    [junit4]    >   "router":{
>    [junit4]    >     "name":"compositeId",
>    [junit4]    >     "field":"shard_s"},
>    [junit4]    >   "maxShardsPerNode":"-1",
>    [junit4]    >   "autoAddReplicas":"false",
>    [junit4]    >   "nrtReplicas":1,
>    [junit4]    >   "tlogReplicas":0}
>    [junit4]    > at __randomizedtesting.SeedInfo.seed([3CD4284489C09DB4:B480179E273CF04C]:0)
>    [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.lambda$testBackupAndRestore$1(AbstractCloudBackupRestoreTestCase.java:339)
>    [junit4]    > at java.util.HashMap.forEach(HashMap.java:1289)
>    [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.testBackupAndRestore(AbstractCloudBackupRestoreTestCase.java:338)
>    [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.test(AbstractCloudBackupRestoreTestCase.java:144)
>    [junit4]    > at org.apache.solr.cloud.api.collections.TestLocalFSCloudBackupRestore.test(TestLocalFSCloudBackupRestore.java:64)
>    [junit4]    > at java.lang.Thread.run(Thread.java:748)
> {noformat}
> {noformat}
>    [junit4]   2> NOTE: reproduce with: ant test  -Dtestcase=TestHdfsCloudBackupRestore -Dtests.method=test -Dtests.seed=3CD4284489C09DB4 -Dtests.multiplier=2 -Dtests.slow=true -Dtests.badapples=true -Dtests.locale=bg -Dtests.timezone=Africa/Khartoum -Dtests.asserts=true -Dtests.file.encoding=US-ASCII
>    [junit4] FAILURE 13.3s J0 | TestHdfsCloudBackupRestore.test <<<
>    [junit4]    > Throwable #1: java.lang.AssertionError: Node 127.0.0.1:38450_solr has 3 replicas. Expected num replicas : 2. state:
>    [junit4]    > DocCollection(hdfsbackuprestore_restored//collections/hdfsbackuprestore_restored/state.json/10)={
>    [junit4]    >   "pullReplicas":0,
>    [junit4]    >   "replicationFactor":1,
>    [junit4]    >   "shards":{
>    [junit4]    >     "shard2":{
>    [junit4]    >       "range":"0-7fffffff",
>    [junit4]    >       "state":"active",
>    [junit4]    >       "replicas":{"core_node62":{
>    [junit4]    >           "core":"hdfsbackuprestore_restored_shard2_replica_n61",
>    [junit4]    >           "base_url":"https://127.0.0.1:38450/solr",
>    [junit4]    >           "node_name":"127.0.0.1:38450_solr",
>    [junit4]    >           "state":"active",
>    [junit4]    >           "type":"NRT",
>    [junit4]    >           "force_set_state":"false",
>    [junit4]    >           "leader":"true"}},
>    [junit4]    >       "stateTimestamp":"1539459705812441110"},
>    [junit4]    >     "shard1_1":{
>    [junit4]    >       "range":"c0000000-ffffffff",
>    [junit4]    >       "state":"active",
>    [junit4]    >       "replicas":{"core_node64":{
>    [junit4]    >           "core":"hdfsbackuprestore_restored_shard1_1_replica_n63",
>    [junit4]    >           "base_url":"https://127.0.0.1:38450/solr",
>    [junit4]    >           "node_name":"127.0.0.1:38450_solr",
>    [junit4]    >           "state":"active",
>    [junit4]    >           "type":"NRT",
>    [junit4]    >           "force_set_state":"false",
>    [junit4]    >           "leader":"true"}},
>    [junit4]    >       "stateTimestamp":"1539459705812477955"},
>    [junit4]    >     "shard1_0":{
>    [junit4]    >       "range":"80000000-bfffffff",
>    [junit4]    >       "state":"active",
>    [junit4]    >       "replicas":{"core_node66":{
>    [junit4]    >           "core":"hdfsbackuprestore_restored_shard1_0_replica_n65",
>    [junit4]    >           "base_url":"https://127.0.0.1:38450/solr",
>    [junit4]    >           "node_name":"127.0.0.1:38450_solr",
>    [junit4]    >           "state":"active",
>    [junit4]    >           "type":"NRT",
>    [junit4]    >           "force_set_state":"false",
>    [junit4]    >           "leader":"true"}},
>    [junit4]    >       "stateTimestamp":"1539459705812506250"}},
>    [junit4]    >   "router":{
>    [junit4]    >     "name":"compositeId",
>    [junit4]    >     "field":"shard_s"},
>    [junit4]    >   "maxShardsPerNode":"-1",
>    [junit4]    >   "autoAddReplicas":"false",
>    [junit4]    >   "nrtReplicas":1,
>    [junit4]    >   "tlogReplicas":0}
>    [junit4]    > at __randomizedtesting.SeedInfo.seed([3CD4284489C09DB4:B480179E273CF04C]:0)
>    [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.lambda$testBackupAndRestore$1(AbstractCloudBackupRestoreTestCase.java:339)
>    [junit4]    > at java.util.HashMap.forEach(HashMap.java:1289)
>    [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.testBackupAndRestore(AbstractCloudBackupRestoreTestCase.java:338)
>    [junit4]    > at org.apache.solr.cloud.api.collections.AbstractCloudBackupRestoreTestCase.test(AbstractCloudBackupRestoreTestCase.java:144)
>    [junit4]    > at org.apache.solr.cloud.api.collections.TestHdfsCloudBackupRestore.test(TestHdfsCloudBackupRestore.java:213)
>    [junit4]    > at java.lang.Thread.run(Thread.java:748)
> {noformat}



--
This message was sent by Atlassian JIRA
(v7.6.3#76005)

---------------------------------------------------------------------
To unsubscribe, e-mail: [hidden email]
For additional commands, e-mail: [hidden email]