defaria.com/blogs/Status/archives/000555.html

   1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
   2    "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
   3 <html xmlns="http://www.w3.org/1999/xhtml" id="sixapart-standard">
   4 <head>
   5    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
   6    <meta name="generator" content="Movable Type 5.2.3" />
   7
   8    <link rel="stylesheet" href="http://defaria.com/blogs/Status/styles-site.css" type="text/css" />
   9    <link rel="alternate" type="application/atom+xml" title="Atom" href="http://defaria.com/blogs/Status/atom.xml" />
  10    <link rel="alternate" type="application/rss+xml" title="RSS 2.0" href="http://defaria.com/blogs/Status/index.xml" />
  11
  12    <title>Status for Andrew DeFaria: Vob corruption/Email/Chmaster</title>
  13
  14    <link rel="start" href="http://defaria.com/blogs/Status/" title="Home" />
  15    <link rel="prev" href="http://defaria.com/blogs/Status/archives/000554.html" title="Osaka Builds on Windows" />
  16    <link rel="next" href="http://defaria.com/blogs/Status/archives/000556.html" title="dbcheck" />
  17
  18
  19
  20
  21
  22    <script type="text/javascript" src="http://defaria.com/blogs/Status/mt-site.js"></script>
  23 </head>
  24 <body class="layout-one-column" onload="individualArchivesOnLoad(commenter_name)">
  25    <div id="container">
  26       <div id="container-inner" class="pkg">
  27
  28          <div id="banner">
  29             <div id="banner-inner" class="pkg">
  30                <h1 id="banner-header"><a href="http://defaria.com/blogs/Status/" accesskey="1">Status for Andrew DeFaria</a></h1>
  31                <h2 id="banner-description">Searchable status reports and work log</h2>
  32             </div>
  33          </div>
  34
  35          <div id="pagebody">
  36             <div id="pagebody-inner" class="pkg">
  37                <div id="alpha">
  38                   <div id="alpha-inner" class="pkg">
  39
  40                      <p class="content-nav">
  41                         <a href="http://defaria.com/blogs/Status/archives/000554.html">&laquo; Osaka Builds on Windows</a> |
  42                         <a href="http://defaria.com/blogs/Status/">Main</a>
  43                         | <a href="http://defaria.com/blogs/Status/archives/000556.html">dbcheck &raquo;</a>
  44                      </p>
  45
  46                      <a id="a000555"></a>
  47                      <div class="entry" id="entry-555">
  48                         <h3 class="entry-header">Vob corruption/Email/Chmaster</h3>
  49                         <div class="entry-content">
  50                            <div class="entry-body">
  51                               <ul>
  52   <li>Fixed problem with email from Multisite jobs</li>
  53
  54   <li>Investigated vob corruption</li>
  55
  56   <li>Looked into chmaster</li>
  57 </ul>
  58
  59 <p><b>Total time:</b> 5 hours</b></p>
  60                            </div>
  61                            <div id="more" class="entry-more">
  62                               <h3>Email server for Multisite messages</h3>
  63
  64 <p>Multisite needs to send email if there is a problem with synchronization. The setting for which SMTP server to use is in the Clearcase Control Panel under Advanced. Somehow that got set to sons-exch02 which is no longer a valid SMTP server. Changed this to sons-exch01.</p>
  65
  66 <h3>Database identifier not found when doing syncreplica import</h3>
  67
  68 <p>Dear IBM/Rational Tech Support: My name is Andrew DeFaria and I perform
  69 Clearcase/Clearquest consultant services. One of my clients, Salira Optical Network Systems (a former employer of mine), has been experiencing a problem, described below, and has asked me to look into it for them. They are also in the process of migrating to newer server hardware and migrating up to the latest version of Clearcase/Clearquest. I've been performing this migration. So far we have the new server up and have Multisite replicating things between 3 "sites" - a remote one in Shanghai (sons-cc) and two in Santa Clara: the old server (sons-clearcase) and the new server (sons-sc-cc).</p>
  70
  71 <p>I had been working on this problem for a while last night. I was seeing what you guys were seeing - the db_server process will be running wildly and taking up 50% of the CPU. This seems to happen whenever the scheduled syncreplica -import runs on sons-clearcase. As a result sons-clearcase is not being synced. As far as I can tell this syncreplica -import never finishes and the db_server process consumes 50% of the CPU until killed.</p>
  72
  73 <p>I've also seen several of the following error in the db_server log:</p>
  74
  75 <div class=code><pre>
  76 Database identifer &lt;x&gt; not found in "..db__obj.c" line 731
  77 </pre></div>
  78
  79 <p>While the line number remains the same the id's I've seen are 427883, 427919, 427922.</p>
  80
  81 <p>Thinking that this was some sort of vob database corruption I ran checkvob and it reported some minor missing references to source containers. I then ran it in fix mode which cleared up the missing source containers but the missing db identifiers remain.</p>
  82
  83 <p>Next I tried running recoverpacket hoping to set the epoch numbers back a few days and thinking maybe the syncreplica would repair itself. On sons-sc-cc (SantaClara replica) I issued the following command:</p>
  84
  85 <div class=code><pre>
  86 [ccadmin] sons-sc-cc:mt recoverpacket -since 20-Jun-05 SantaClara@\salira
  87 Using epoch information from Monday, June 19, 2006 11:00:03 Pm
  88 Epoch row for replica "US" successfully reset
  89 </pre></div>
  90
  91 <p>Then back on sons-clearcase (US replica) I issued:</p>
  92
  93 <div class=code><pre>
  94 [ccadmin] sons-clearcase:mt syncreplica -export -fship SantaClara@\salira
  95 </pre></div>
  96
  97 <p>This went on to create a huge packet (growing over 1 gig!) before the scheduled syncreplica -import starts and ties up the db_server process.</p>
  98
  99 <p>Searching IBM/Rational support the closest thing I see is <a href="http://www-1.ibm.com/support/docview.wss?rs=100&amp;q1=database+identifier+not+found&amp;uid=swg21238768&amp;loc=en_US&amp;cs=utf-8&amp;lang=en">multitool syncreplica -export fails with Database identifier 0 not found in "../db__ver.c" line 505</a>. I know this speaks of syncreplica -export and references db__ver.c not db__obj.c it is the closest problem report that I could find. And it has the onerous note of:</p>
 100
 101 <blockquote>
 102 <b>Note: </b>This defect may also occur in <a href="http://www-1.ibm.com/support/docview.wss?rs=984&amp;uid=swg21137780"
 103  target="_blank">ClearCase MultiSite 2002.05 (5.0)</a>, however, the fix will not be back patched, you either need to back out of the patch that introduced this, or upgrade to a later version of ClearCase MultiSite to recover.
 104 </blockquote>
 105
 106 <p>The clearcase version on sons-clearcase is:</p>
 107
 108 <div class=code><pre>
 109 [ccadmin] sons-clearcase:ct -ver
 110 ClearCase version 2002.05.00 (Tue Oct 30 08:27:59 2001)
 111 clearcase patch p2002.05.00 NT-8 (Mon Jun 10 14:44:04 2002)
 112 clearcase patch p2002.05.00 NT-12 (Thu Sep 12 11:15:10 2002)
 113 @(#) MVFS version 2002.05.00+ (May 25 2002 03:14:49)
 114 cleartool                         2002.05.00 (Fri Oct 26 20:24:09  2001)
 115 db_server                         2002.05.00+ (Fri Aug 30 11:48:28 2002)
 116 </pre></div>
 117
 118 <p>As I said, we are in the process of migrating to 2003.06 and we are already halfway there - however, at this point people have not yet fully migrated their views over to the new server and the old server still serves Clearcase licenses.</p>
 119
 120 <p>Finally, as I am only a part time consultant at Salira you may wish to contact Jeff Stribling (408-845-5200) directly to gather more info and possibly try some solutions. My contact information is at <a href="http://defaria.com/contact.php">http://defaria.com/contact.php</a> but realize that during the day I'm at another client.</p>
 121
 122 <h3>Chmaster</h3>
 123
 124 <p>There are a few Clearcase objects that can have mastership. These are:</p>
 125
 126 <ol>
 127   <li>Label types</li>
 128
 129   <li>Branch types</li>
 130
 131   <li>Trigger types</li>
 132
 133   <li>Hyperlink types</li>
 134
 135   <li>Attribute types</li>
 136
 137   <li>Element types</li>
 138 </ol>
 139
 140 <p>1 &amp; 2 above are the ones that concern me and that need to eventually get transfered. #3 has already been done by my mktriggers script with added the triggers to the vobs over on sons-sc-cc long ago.#4, 5 and 6 Salira doesn't really use anyway (there are only the predefined types for 4, 5 and 6 anyway).</p>
 141
 142 <p>It might be good for you, or perhaps Vijay, to experiment a bit on changing the mastership of a branch type, a branch that is not heavily used. I would:</p>
 143
 144 <ul>
 145   <li>Set up a new view on sons-sc-cc oriented to working on this test branch that is mastered by sons-clearcase</li>
 146
 147   <li>Verify that there is a problem and how it manifests itself attempting to use this view on sons-sc-cc. IOW, while working on this new view on sons-sc-cc verify that you cannot checkout to this test branch because it's mastered at  sons-clearcase</li>
 148
 149   <li>Transfer mastership of this test branch over to sons-sc-cc</li>
 150
 151   <li>Test that the problem has gone away</li>
 152 </ul>
 153
 154 <p>Of course I realize that the overriding problem is the current vob database problem on sons-clearcase described in my earlier email. Assuming that that's fixed and multisiting is working...</p>
 155
 156 <p>You can see these types by right clicking on the vob in the Clearcase Explorer on sons-clearcase and selected Explore Types. You can double click on branch type and find your test branch. Right click on it and select properties. Go to the Mastership tab and click on Change. Select SantaClara (that's sons-sc-cc). You might need to also perform a syncreplica (run the scheduled job for sync export on sons-clearcase and the sync import on sons-sc-cc.</p>
 157
 158 <p>There are about 30 branch types that are mastered on sons-clearcase. There are far more label types that are mastered on sons-clearcase. IOW while I might change mastership by hand for the 30 or so branch types, I wouldn't want to  change mastership for all those labels.</p>
 159
 160 <p>What I have not verified is what happens if one was working on sons-sc-cc, checks in a bug and the trigger attempts to move that pre existing label (this was an update to an old bug) to point to the new version about to be checked in. Since that label is mastered by sons-clearcase will that be a problem?</p>
 161
 162 <p>If your test above regarding changing the mastership of a test branch type is successful you may wish to move a more used branch type's mastership in the same manner then instructed the engineers involved in that branch to move to the new server. Then the next branch type, etc.
 163                            </div>
 164                         </div>
 165                         <p class="entry-footer">
 166                            <span class="post-footers">Posted by  on June 22, 2006  5:59 PM</span> <span class="separator">|</span> <a class="permalink" href="http://defaria.com/blogs/Status/archives/000555.html">Permalink</a>
 167                         </p>
 168                      </div>
 169
 170
 171
 172
 173                   </div>
 174                </div>
 175             </div>
 176          </div>
 177       </div>
 178    </div>
 179 </body>
 180 </html>