defaria.com/blogs/Status/archives/week_2006_06_25.html

   1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
   2    "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
   3 <html xmlns="http://www.w3.org/1999/xhtml" id="sixapart-standard">
   4 <head>
   5    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
   6    <meta name="generator" content="Movable Type 5.2.3" />
   7
   8    <link rel="stylesheet" href="http://defaria.com/blogs/Status/styles-site.css" type="text/css" />
   9    <link rel="alternate" type="application/atom+xml" title="Atom" href="http://defaria.com/blogs/Status/atom.xml" />
  10    <link rel="alternate" type="application/rss+xml" title="RSS 2.0" href="http://defaria.com/blogs/Status/index.xml"$>" />
  11
  12    <title>Status for Andrew DeFaria: June 25, 2006 - July  1, 2006 Archives</title>
  13
  14    <link rel="start" href="http://defaria.com/blogs/Status/" title="Home" />
  15    <link rel="prev" href="http://defaria.com/blogs/Status/archives/week_2006_06_18.html" title="June 18, 2006 - June 24, 2006" />
  16    <link rel="next" href="http://defaria.com/blogs/Status/archives/week_2006_07_02.html" title="July  2, 2006 - July  8, 2006" />
  17 </head>
  18 <body class="layout-one-column">
  19    <div id="container">
  20       <div id="container-inner" class="pkg">
  21
  22          <div id="banner">
  23             <div id="banner-inner" class="pkg">
  24                <h1 id="banner-header"><a href="http://defaria.com/blogs/Status/" accesskey="1">Status for Andrew DeFaria</a></h1>
  25                <h2 id="banner-description">Searchable status reports and work log</h2>
  26             </div>
  27          </div>
  28
  29          <div id="pagebody">
  30             <div id="pagebody-inner" class="pkg">
  31                <div id="alpha">
  32                   <div id="alpha-inner" class="pkg">
  33
  34                      <p class="content-nav">
  35                         <a href="http://defaria.com/blogs/Status/archives/week_2006_06_18.html">&laquo; June 18, 2006 - June 24, 2006</a> |
  36                         <a href="http://defaria.com/blogs/Status/">Main</a>
  37                         | <a href="http://defaria.com/blogs/Status/archives/week_2006_07_02.html">July  2, 2006 - July  8, 2006 &raquo;</a>
  38                      </p>
  39
  40
  41
  42
  43                      <h2 class="date-header">June 27, 2006</h2>
  44                      <a id="a000557"></a>
  45                      <div class="entry" id="entry-557">
  46                         <h3 class="entry-header">Salira Vob Corruption</h3>
  47                         <div class="entry-content">
  48                            <div class="entry-body">
  49                               <ul>
  50   <li>Cleaned up Multisite Packets</li>
  51
  52   <li>Cleaned up sons-sc-cc:/Windows/temp and sons-clearcase salira vob cleartext pools due to disk space crunch</li>
  53
  54   <li>Ran dbcheck on salira vob to fix corruption</li>
  55
  56   <li>Tested changing mastership of a test branch</li>
  57 </ul>
  58
  59 <p><b>Time spend:</b> 7 hours</p>
  60
  61                               <h3>Cleaning up Multisite Packets</h3>
  62
  63 <p>First order of business was to attempt to clean up multisite packets that reside in the shipping bays for both sons-clearcase and sons-sc-cc as much as possible. As per my prior work there seems to be huge sync packets to sync, which takes time. I wanted to attempt a chmaster on an older branch to see how that changes from sons-clearcase -&gt; sons-sc.cc.  Part of the chmaster involves informing the other replica of the change. This happens through the normal multisite syncreplica. If the bays are full of huge packets then I need to process them first. One problem I hit was running out of space on sons-sc-cc. Normally this is not a problem as there is enough space on the C drive where the vobs reside. But with these huge packets going back and forth I was running out of space. Cleaned up some space and attempt to import all packets on sons-sc-cc. I also attempted to scrub the cleartext pool on sons-clearcase, which has grown to 4 gig! The cleartext pool is a caching mechanism thus since Clearcase can reconstruct the cleartext pool at any time (cleartext is mutable) I figured I could save 4 gig.</p>
  64
  65 <h3>Testing chmaster</h3>
  66
  67 <p>Tested out that I cannot check out, and back in, and element on the rel_1.0 branch from a view on sons-sc-cc. I then attempted to transfer mastership of the rel_1.0 branch -&gt;  sons-sc-cc but received the following error:<br>
  68
  69 <div class=code><pre>
  70 <b>[ccadmin] sons-clearcase:</b><u>ct chmaster SantaClara brtype:rel_1.0@\\salira</u>
  71 cleartool: Error: Branch type "rel_1.0" has branches (with default mastership) that have outstanding checkouts.
  72 </pre></div>
  73
  74 <p>Actually there are still checkout on the rel_1.0 branch in, for example, the view YXiu_view_desktop (e.g. salira/neopon/build/makefile).</p>
  75
  76 <h3>Ran dbcheck on salira vob to fix corruption</h3>
  77
  78 <p><b>10:40 Pm:</b> Decided to give up on the testing of chmaster and get the vob fixed. Locked salira vob. Started copy of db</p>
  79
  80 <p><b>:10:43 Pm:</b> Dtarted keybuild procedure. Keybuild failed with:</p>
  81
  82 <div class=code><pre>
  83 db_VISTA Version 3.20
  84 Key File Build Utility
  85 Copyright (C) 1985-1990 Raima Corporation, All Rights Reserved
  86
  87 initializing key file: vob_db.k01
  88 initializing key file: vob_db.k02
  89 initializing key file: vob_db.k03
  90 initializing key file: vob_db.k04
  91 processing data file: vob_db.d01, total records = 3555277
  92  record:       9000
  93  record:      19000
  94  record:      29000
  95  record:      39000
  96  record:      49000
  97  record:      59000
  98  record:      69000
  99  record:      79000
 100  record:      89000
 101  record:      99000
 102  record:     109000
 103  record:     119000
 104  record:     129000
 105  record:     139000
 106  record:     149000
 107  record:     159000
 108 </pre></div>
 109
 110 <p>keybuild failed with an exit code of 58. Ran keybuild again... This seems to be going better... Did d01 file. Proceeded to work on the d02 file then (11:07 Pm):</p>
 111
 112 <div class=code><pre>
 113 record:   863000<br>
 114 *** db_VISTA database error -901 - system error
 115
 116 Bad read  863475
 117     863474processing data file vob_db.d02, total records = 1
 118
 119  record:       1
 120
 121 key file rebuild completed
 122 </pre></div>
 123
 124 <p>Hmmm... Doesn't seem like the key file rebuild was really completed. I wonder... Should I try again? Trying again...</p>
 125
 126 <p>Third times a charm they say! keybuild ran to completion but for a while it was touch and go as sons-clearcase was not responding. Now, however, I can import the packets that were stuck... Well most of them:</p>
 127
 128 <div class=code><pre>
 129 Applied sync. packet sync_SantaClara_26-Jun-06.02.00.01_5308 to VOB \\sons-clearcase\VOBs\salira.vbs
 130 Multitool.exe: Error: Database identifier (dbid) not found in database: "\salira".
 131 Multitool.exe: Error: Could not get oplog entry with order:2886884 from replica:
 132 China with oplog_id:376595: reference to non-existent ClearCase object.
 133 Multitool.exe: Error: Could not check oplog entry for divergence: reference to non-existent ClearCase object.
 134 Multitool.exe: Error: Cannot apply sync. packet sync_China_26-Jun-06.16.32.42_3292_1 to VOB replica \\sons-clearcase\VOBs\salira.vbs: reference to non-existent ClearCase object
 135 </pre></div>
 136
 137 <p>Damn. Ran syncreplica -import again and everything got processed. I'm glad it's processed but I can't help but wonder why I hit these errors...</p>
 138
 139
 140
 141                               <p class="entry-footer">
 142                                  <span class="post-footers">Posted by  at 11:18 AM</span> <span class="separator">|</span> <a class="permalink" href="http://defaria.com/blogs/Status/archives/000557.html">Permalink</a>
 143
 144
 145                               </p>
 146                            </div>
 147                         </div>
 148                      </div>
 149
 150
 151
 152                      <h2 class="date-header">June 26, 2006</h2>
 153                      <a id="a000556"></a>
 154                      <div class="entry" id="entry-556">
 155                         <h3 class="entry-header">dbcheck</h3>
 156                         <div class="entry-content">
 157                            <div class="entry-body">
 158                               <ul>
 159   <li>Ran dbcheck on salira vob</li>
 160 </ul>
 161
 162 <p><b>Time spent:</b> 2 hours</p>
 163
 164                               Frank W O'Keefe wrote:<br>
 165 <blockquote type="cite">
 166 <p>Hello Andrew,</p>
 167
 168 <p>For the error: 06/23/06 07:48:04 db_server(10104): Error: db_server.exe(10104): Error: Database identifier 427883 not foundin "../db__obj.c" line 731.</p>
 169
 170 <p>This could possibly mean there is an issue with the VOBs database. Unfortunately I cannot determine which VOB this is for? I would need you to run a "dbcheck" on the VOB that is reporting this error. Unfortunately I was seeing this error many times in the logs so I cannot tell for which VOB it is reporting this on.</p>
 171
 172 <p>(10104) in the error is the process id that is/was running. This may help in finding the VOB. </p>
 173 </blockquote>
 174
 175 <p>I'm pretty sure I know the vob in question - their main vob (\salira).</p>
 176
 177 <blockquote type="cite">
 178 <p>The following URL is to the instructions on running dbcheck. <a href="http://www-1.ibm.com/support/docview.wss?uid=swg21122748">http://www-1.ibm.com/support/docview.wss?uid=swg21122748</a></p>
 179 </blockquote>
 180
 181 <p>I tried following that by using the method of lock vob, copy the vob database files, unlock vob, dbcheck the copy. Everytime I got a -4 error so I went back to do lock vob, dbcheck, unlock vob.</p>
 182
 183 <p>I was surprised to see some stuff come out on stderr:</p>
 184
 185 <div class=code><pre>
 186 <b><font color=blue>[ccadmin] sons-clearcase:</font></b><u>/apps/Rational/ClearCase/etc/utils/dbcheck -r1 -a -k -p8192 vob_db &gt; C:\\cygwin\\tmp\\dbcheck.txt</u>
 187
 188 Processing delete chain:  75 nodes on delete chain.
 189 Processing nodes:
 190 +++....
 191 </pre></div>
 192
 193 <p>Eventually it finished stating:</p>
 194
 195 <div class=code><pre>
 196 Database consistency check completed
 197
 198 169 errors were encountered in 167 records/nodes
 199 </pre></div>
 200
 201 <blockquote type="cite">
 202 <p>Also, I am going to send you a URL to a technote about this PC's heap size. I see messages indicating that you may need to adjust the heap settings for this host.</p>
 203
 204 <a href="http://www-1.ibm.com/support/docview.wss?uid=swg21142584">http://www-1.ibm.com/support/docview.wss?uid=swg21142584</a></p>
 205
 206 <p>Depending on the dbcheck output, we may need to get a copy of the VOB's db directory but I rather hold off on that request until we see what the dbcheck reports.<p>
 207
 208 <p>I"ve attached the dbcheck output.</p>
 209
 210                               <p class="entry-footer">
 211                                  <span class="post-footers">Posted by  at 10:17 AM</span> <span class="separator">|</span> <a class="permalink" href="http://defaria.com/blogs/Status/archives/000556.html">Permalink</a>
 212
 213
 214                               </p>
 215                            </div>
 216                         </div>
 217                      </div>
 218
 219                   </div>
 220                </div>
 221             </div>
 222          </div>
 223       </div>
 224    </div>
 225 </body>
 226 </html>