defaria.com/blogs/Status/2006/06/vob-corruptione.html

   1 <!DOCTYPE html>
   2 <html lang="en-us" itemscope itemtype="http://schema.org/Article">
   3   <head>
   4     <meta charset="utf-8">
   5     <meta name="description" content=" Fixed problem with email from Multisite jobs Investigated vob corruption Looked into chmaster Total time: 5 hours...">
   6     <meta name="generator" content="Movable Type 5.2.3">
   7     <title>Vob corruption/Email/Chmaster - Status</title>
   8     <link rel="alternate" type="application/atom+xml" title="Recent Entries" href="http://defaria.com/blogs/Status/atom.xml">
   9     <link rel="canonical" href="http://defaria.com/blogs/Status/2006/06/vob-corruptione.html">
  10     <meta name="viewport" content="width=device-width,initial-scale=1">
  11     <link rel="stylesheet" href="http://defaria.com/blogs/Status/styles.css">
  12     <!--[if lt IE 9]>
  13     <link rel="stylesheet" href="http://defaria.com/blogs/Status/styles_ie.css">
  14     <script src="/mt/mt-static/support/theme_static/rainier/js/html5shiv.js"></script>
  15     <![endif]-->
  16
  17     <link rel="start" href="http://defaria.com/blogs/Status/">
  18
  19     <link rel="prev" href="http://defaria.com/blogs/Status/2006/05/osaka-builds-on.html" title="Osaka Builds on Windows">
  20     <link rel="next" href="http://defaria.com/blogs/Status/2006/06/dbcheck.html" title="dbcheck">
  21     <!-- Open Graph Protocol -->
  22     <meta property="og:type" content="article">
  23     <meta property="og:locale" content="en-us">
  24     <meta property="og:title" content="Vob corruption/Email/Chmaster">
  25     <meta property="og:url" content="http://defaria.com/blogs/Status/2006/06/vob-corruptione.html">
  26     <meta property="og:description" content=" Fixed problem with email from Multisite jobs Investigated vob corruption Looked into chmaster Total time: 5 hours...">
  27     <meta property="og:site_name" content="Status">
  28     <meta property="og:image" content="/mt/mt-static/support/theme_static/rainier/img/siteicon-sample.png">
  29     <!-- Metadata -->
  30     <meta itemprop="description" content=" Fixed problem with email from Multisite jobs Investigated vob corruption Looked into chmaster Total time: 5 hours...">
  31     <link itemprop="url" href="http://defaria.com/blogs/Status/2006/06/vob-corruptione.html">
  32     <link itemprop="image" href="/mt/mt-static/support/theme_static/rainier/img/siteicon-sample.png">
  33
  34   </head>
  35   <body>
  36     <div id="container">
  37       <div id="container-inner">
  38         <header id="header" role="banner">
  39           <div id="header-inner">
  40             <div id="header-content">
  41               <h1>
  42                 <a href="http://defaria.com/blogs/Status/">
  43
  44                   Status
  45
  46                 </a>
  47               </h1>
  48
  49             </div>
  50
  51             <nav role="navigation">
  52           <ul>
  53             <li><a href="http://defaria.com/blogs/Status/">Home</a></li>
  54
  55
  56           </ul>
  57         </nav>
  58
  59           </div>
  60         </header>
  61         <div id="content">
  62           <div id="content-inner">
  63             <ul class="breadcrumb breadcrumb-list">
  64               <li class="breadcrumb-list-item"><a href="http://defaria.com/blogs/Status/">Home</a></li>
  65               <li class="breadcrumb-list-item">Vob corruption/Email/Chmaster</li>
  66             </ul>
  67             <div id="individual-main" class="main" role="main">
  68               <article id="entry-1817" class="entry entry-asset asset hentry">
  69                 <div class="asset-header">
  70                   <h2 itemprop="name" class="asset-name entry-title">Vob corruption/Email/Chmaster</h2>
  71                   <footer class="asset-meta">
  72                     <ul class="asset-meta-list">
  73                       <li class="asset-meta-list-item">Posted on <time datetime="2006-06-22T17:59:49-08:00" itemprop="datePublished">June 22, 2006</time></li>
  74                       <li class="asset-meta-list-item">by <span class="author entry-author vcard"></span></li>
  75
  76
  77                       <li class="asset-meta-list-item">in <a itemprop="articleSection" rel="tag" href="http://defaria.com/blogs/Status/salira/">Salira</a></li>
  78
  79
  80                    </ul>
  81                 </footer>
  82                 </div>
  83                 <div class="entry-content asset-content" itemprop="articleBody">
  84                   <ul>
  85   <li>Fixed problem with email from Multisite jobs</li>
  86
  87   <li>Investigated vob corruption</li>
  88
  89   <li>Looked into chmaster</li>
  90 </ul>
  91
  92 <p><b>Total time:</b> 5 hours</b></p>
  93                   <h3>Email server for Multisite messages</h3>
  94
  95 <p>Multisite needs to send email if there is a problem with synchronization. The setting for which SMTP server to use is in the Clearcase Control Panel under Advanced. Somehow that got set to sons-exch02 which is no longer a valid SMTP server. Changed this to sons-exch01.</p>
  96
  97 <h3>Database identifier not found when doing syncreplica import</h3>
  98
  99 <p>Dear IBM/Rational Tech Support: My name is Andrew DeFaria and I perform
 100 Clearcase/Clearquest consultant services. One of my clients, Salira Optical Network Systems (a former employer of mine), has been experiencing a problem, described below, and has asked me to look into it for them. They are also in the process of migrating to newer server hardware and migrating up to the latest version of Clearcase/Clearquest. I've been performing this migration. So far we have the new server up and have Multisite replicating things between 3 "sites" - a remote one in Shanghai (sons-cc) and two in Santa Clara: the old server (sons-clearcase) and the new server (sons-sc-cc).</p>
 101
 102 <p>I had been working on this problem for a while last night. I was seeing what you guys were seeing - the db_server process will be running wildly and taking up 50% of the CPU. This seems to happen whenever the scheduled syncreplica -import runs on sons-clearcase. As a result sons-clearcase is not being synced. As far as I can tell this syncreplica -import never finishes and the db_server process consumes 50% of the CPU until killed.</p>
 103
 104 <p>I've also seen several of the following error in the db_server log:</p>
 105
 106 <div class=code><pre>
 107 Database identifer &lt;x&gt; not found in "..db__obj.c" line 731
 108 </pre></div>
 109
 110 <p>While the line number remains the same the id's I've seen are 427883, 427919, 427922.</p>
 111
 112 <p>Thinking that this was some sort of vob database corruption I ran checkvob and it reported some minor missing references to source containers. I then ran it in fix mode which cleared up the missing source containers but the missing db identifiers remain.</p>
 113
 114 <p>Next I tried running recoverpacket hoping to set the epoch numbers back a few days and thinking maybe the syncreplica would repair itself. On sons-sc-cc (SantaClara replica) I issued the following command:</p>
 115
 116 <div class=code><pre>
 117 [ccadmin] sons-sc-cc:mt recoverpacket -since 20-Jun-05 SantaClara@\salira
 118 Using epoch information from Monday, June 19, 2006 11:00:03 Pm
 119 Epoch row for replica "US" successfully reset
 120 </pre></div>
 121
 122 <p>Then back on sons-clearcase (US replica) I issued:</p>
 123
 124 <div class=code><pre>
 125 [ccadmin] sons-clearcase:mt syncreplica -export -fship SantaClara@\salira
 126 </pre></div>
 127
 128 <p>This went on to create a huge packet (growing over 1 gig!) before the scheduled syncreplica -import starts and ties up the db_server process.</p>
 129
 130 <p>Searching IBM/Rational support the closest thing I see is <a href="http://www-1.ibm.com/support/docview.wss?rs=100&amp;q1=database+identifier+not+found&amp;uid=swg21238768&amp;loc=en_US&amp;cs=utf-8&amp;lang=en">multitool syncreplica -export fails with Database identifier 0 not found in "../db__ver.c" line 505</a>. I know this speaks of syncreplica -export and references db__ver.c not db__obj.c it is the closest problem report that I could find. And it has the onerous note of:</p>
 131
 132 <blockquote>
 133 <b>Note: </b>This defect may also occur in <a href="http://www-1.ibm.com/support/docview.wss?rs=984&amp;uid=swg21137780"
 134  target="_blank">ClearCase MultiSite 2002.05 (5.0)</a>, however, the fix will not be back patched, you either need to back out of the patch that introduced this, or upgrade to a later version of ClearCase MultiSite to recover.
 135 </blockquote>
 136
 137 <p>The clearcase version on sons-clearcase is:</p>
 138
 139 <div class=code><pre>
 140 [ccadmin] sons-clearcase:ct -ver
 141 ClearCase version 2002.05.00 (Tue Oct 30 08:27:59 2001)
 142 clearcase patch p2002.05.00 NT-8 (Mon Jun 10 14:44:04 2002)
 143 clearcase patch p2002.05.00 NT-12 (Thu Sep 12 11:15:10 2002)
 144 @(#) MVFS version 2002.05.00+ (May 25 2002 03:14:49)
 145 cleartool                         2002.05.00 (Fri Oct 26 20:24:09  2001)
 146 db_server                         2002.05.00+ (Fri Aug 30 11:48:28 2002)
 147 </pre></div>
 148
 149 <p>As I said, we are in the process of migrating to 2003.06 and we are already halfway there - however, at this point people have not yet fully migrated their views over to the new server and the old server still serves Clearcase licenses.</p>
 150
 151 <p>Finally, as I am only a part time consultant at Salira you may wish to contact Jeff Stribling (408-845-5200) directly to gather more info and possibly try some solutions. My contact information is at <a href="http://defaria.com/contact.php">http://defaria.com/contact.php</a> but realize that during the day I'm at another client.</p>
 152
 153 <h3>Chmaster</h3>
 154
 155 <p>There are a few Clearcase objects that can have mastership. These are:</p>
 156
 157 <ol>
 158   <li>Label types</li>
 159
 160   <li>Branch types</li>
 161
 162   <li>Trigger types</li>
 163
 164   <li>Hyperlink types</li>
 165
 166   <li>Attribute types</li>
 167
 168   <li>Element types</li>
 169 </ol>
 170
 171 <p>1 &amp; 2 above are the ones that concern me and that need to eventually get transfered. #3 has already been done by my mktriggers script with added the triggers to the vobs over on sons-sc-cc long ago.#4, 5 and 6 Salira doesn't really use anyway (there are only the predefined types for 4, 5 and 6 anyway).</p>
 172
 173 <p>It might be good for you, or perhaps Vijay, to experiment a bit on changing the mastership of a branch type, a branch that is not heavily used. I would:</p>
 174
 175 <ul>
 176   <li>Set up a new view on sons-sc-cc oriented to working on this test branch that is mastered by sons-clearcase</li>
 177
 178   <li>Verify that there is a problem and how it manifests itself attempting to use this view on sons-sc-cc. IOW, while working on this new view on sons-sc-cc verify that you cannot checkout to this test branch because it's mastered at  sons-clearcase</li>
 179
 180   <li>Transfer mastership of this test branch over to sons-sc-cc</li>
 181
 182   <li>Test that the problem has gone away</li>
 183 </ul>
 184
 185 <p>Of course I realize that the overriding problem is the current vob database problem on sons-clearcase described in my earlier email. Assuming that that's fixed and multisiting is working...</p>
 186
 187 <p>You can see these types by right clicking on the vob in the Clearcase Explorer on sons-clearcase and selected Explore Types. You can double click on branch type and find your test branch. Right click on it and select properties. Go to the Mastership tab and click on Change. Select SantaClara (that's sons-sc-cc). You might need to also perform a syncreplica (run the scheduled job for sync export on sons-clearcase and the sync import on sons-sc-cc.</p>
 188
 189 <p>There are about 30 branch types that are mastered on sons-clearcase. There are far more label types that are mastered on sons-clearcase. IOW while I might change mastership by hand for the 30 or so branch types, I wouldn't want to  change mastership for all those labels.</p>
 190
 191 <p>What I have not verified is what happens if one was working on sons-sc-cc, checks in a bug and the trigger attempts to move that pre existing label (this was an update to an old bug) to point to the new version about to be checked in. Since that label is mastered by sons-clearcase will that be a problem?</p>
 192
 193 <p>If your test above regarding changing the mastership of a test branch type is successful you may wish to move a more used branch type's mastership in the same manner then instructed the engineers involved in that branch to move to the new server. Then the next branch type, etc.
 194                 </div>
 195                 <nav class="page-navigation entry-navigation pagination content-nav">
 196                   <ul class="page-navigation-list">
 197
 198                     <li class="page-navigation-list-item page-navigation-prev"><a rel="prev" href="http://defaria.com/blogs/Status/2006/05/osaka-builds-on.html" title="Osaka Builds on Windows">Previous entry</a></li>
 199
 200
 201                     <li class="page-navigation-list-item page-navigation-next"><a rel="next" href="http://defaria.com/blogs/Status/2006/06/dbcheck.html" title="dbcheck">Next entry</a></li>
 202
 203                   </ul>
 204                 </nav>
 205                 <!--
 206 <aside id="zenback" class="zenback feedback">
 207   Please paste Zenback script code here.
 208 </aside>
 209 -->
 210
 211
 212               </article>
 213             </div>
 214             <aside class="widgets related" role="complementary">
 215               <nav class="widget-search widget">
 216   <div class="widget-content">
 217     <form method="get" id="search" action="http://defaria.com/mt/mt-search.cgi">
 218       <div>
 219         <input type="text" name="search" value="" placeholder="Search...">
 220
 221         <input type="hidden" name="IncludeBlogs" value="8">
 222
 223         <input type="hidden" name="limit" value="20">
 224         <button type="submit" name="button">
 225           <img alt="Search" src="/mt/mt-static/support/theme_static/rainier/img/search-icon.png">
 226         </button>
 227       </div>
 228     </form>
 229   </div>
 230 </nav>
 231 <nav class="widget-archive-category widget">
 232   <h3 class="widget-header">Categories</h3>
 233   <div class="widget-content">
 234
 235
 236     <ul class="widget-list">
 237
 238
 239       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/ameriquest/">Ameriquest (99)</a>
 240
 241
 242       </li>
 243
 244
 245
 246
 247       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/audience/">Audience (3)</a>
 248
 249
 250       </li>
 251
 252
 253
 254
 255       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/broadcom/">Broadcom (76)</a>
 256
 257
 258       </li>
 259
 260
 261
 262
 263       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/gpdb/">GPDB (35)</a>
 264
 265
 266       </li>
 267
 268
 269
 270
 271       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/general-dynamics/">General Dynamics (61)</a>
 272
 273
 274       </li>
 275
 276
 277
 278
 279       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/general-electric/">General Electric (13)</a>
 280
 281
 282       </li>
 283
 284
 285
 286
 287       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/hewlett-packard/">Hewlett Packard (13)</a>
 288
 289
 290       </li>
 291
 292
 293
 294
 295       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/lynuxworks/">LynuxWorks (162)</a>
 296
 297
 298       </li>
 299
 300
 301
 302
 303       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/pqa/">PQA (35)</a>
 304
 305
 306       </li>
 307
 308
 309
 310
 311       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/salira/">Salira (79)</a>
 312
 313
 314       </li>
 315
 316
 317
 318
 319       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/tellabs/">Tellabs (2)</a>
 320
 321
 322       </li>
 323
 324
 325
 326
 327       <li class="widget-list-item"><a href="http://defaria.com/blogs/Status/texas-instruments/">Texas Instruments (31)</a>
 328
 329
 330       </li>
 331
 332     </ul>
 333
 334
 335   </div>
 336 </nav>
 337
 338
 339 <nav class="widget-archive-dropdown widget">
 340   <h3 class="widget-header">Archives</h3>
 341   <div class="widget-content">
 342     <select>
 343       <option>Select a Month...</option>
 344
 345       <option value="http://defaria.com/blogs/Status/2016/02/">February 2016</option>
 346
 347
 348
 349       <option value="http://defaria.com/blogs/Status/2014/09/">September 2014</option>
 350
 351
 352
 353       <option value="http://defaria.com/blogs/Status/2014/04/">April 2014</option>
 354
 355
 356
 357       <option value="http://defaria.com/blogs/Status/2014/03/">March 2014</option>
 358
 359
 360
 361       <option value="http://defaria.com/blogs/Status/2013/02/">February 2013</option>
 362
 363
 364
 365       <option value="http://defaria.com/blogs/Status/2012/09/">September 2012</option>
 366
 367
 368
 369       <option value="http://defaria.com/blogs/Status/2012/08/">August 2012</option>
 370
 371
 372
 373       <option value="http://defaria.com/blogs/Status/2012/05/">May 2012</option>
 374
 375
 376
 377       <option value="http://defaria.com/blogs/Status/2012/04/">April 2012</option>
 378
 379
 380
 381       <option value="http://defaria.com/blogs/Status/2012/02/">February 2012</option>
 382
 383
 384
 385       <option value="http://defaria.com/blogs/Status/2012/01/">January 2012</option>
 386
 387
 388
 389       <option value="http://defaria.com/blogs/Status/2011/10/">October 2011</option>
 390
 391
 392
 393       <option value="http://defaria.com/blogs/Status/2011/07/">July 2011</option>
 394
 395
 396
 397       <option value="http://defaria.com/blogs/Status/2010/09/">September 2010</option>
 398
 399
 400
 401       <option value="http://defaria.com/blogs/Status/2010/08/">August 2010</option>
 402
 403
 404
 405       <option value="http://defaria.com/blogs/Status/2010/04/">April 2010</option>
 406
 407
 408
 409       <option value="http://defaria.com/blogs/Status/2010/03/">March 2010</option>
 410
 411
 412
 413       <option value="http://defaria.com/blogs/Status/2010/02/">February 2010</option>
 414
 415
 416
 417       <option value="http://defaria.com/blogs/Status/2009/05/">May 2009</option>
 418
 419
 420
 421       <option value="http://defaria.com/blogs/Status/2009/04/">April 2009</option>
 422
 423
 424
 425       <option value="http://defaria.com/blogs/Status/2008/07/">July 2008</option>
 426
 427
 428
 429       <option value="http://defaria.com/blogs/Status/2008/05/">May 2008</option>
 430
 431
 432
 433       <option value="http://defaria.com/blogs/Status/2008/04/">April 2008</option>
 434
 435
 436
 437       <option value="http://defaria.com/blogs/Status/2008/03/">March 2008</option>
 438
 439
 440
 441       <option value="http://defaria.com/blogs/Status/2008/02/">February 2008</option>
 442
 443
 444
 445       <option value="http://defaria.com/blogs/Status/2008/01/">January 2008</option>
 446
 447
 448
 449       <option value="http://defaria.com/blogs/Status/2007/12/">December 2007</option>
 450
 451
 452
 453       <option value="http://defaria.com/blogs/Status/2007/11/">November 2007</option>
 454
 455
 456
 457       <option value="http://defaria.com/blogs/Status/2007/10/">October 2007</option>
 458
 459
 460
 461       <option value="http://defaria.com/blogs/Status/2007/09/">September 2007</option>
 462
 463
 464
 465       <option value="http://defaria.com/blogs/Status/2007/08/">August 2007</option>
 466
 467
 468
 469       <option value="http://defaria.com/blogs/Status/2007/07/">July 2007</option>
 470
 471
 472
 473       <option value="http://defaria.com/blogs/Status/2007/06/">June 2007</option>
 474
 475
 476
 477       <option value="http://defaria.com/blogs/Status/2007/05/">May 2007</option>
 478
 479
 480
 481       <option value="http://defaria.com/blogs/Status/2007/04/">April 2007</option>
 482
 483
 484
 485       <option value="http://defaria.com/blogs/Status/2007/03/">March 2007</option>
 486
 487
 488
 489       <option value="http://defaria.com/blogs/Status/2007/01/">January 2007</option>
 490
 491
 492
 493       <option value="http://defaria.com/blogs/Status/2006/12/">December 2006</option>
 494
 495
 496
 497       <option value="http://defaria.com/blogs/Status/2006/11/">November 2006</option>
 498
 499
 500
 501       <option value="http://defaria.com/blogs/Status/2006/10/">October 2006</option>
 502
 503
 504
 505       <option value="http://defaria.com/blogs/Status/2006/09/">September 2006</option>
 506
 507
 508
 509       <option value="http://defaria.com/blogs/Status/2006/07/">July 2006</option>
 510
 511
 512
 513       <option value="http://defaria.com/blogs/Status/2006/06/">June 2006</option>
 514
 515
 516
 517       <option value="http://defaria.com/blogs/Status/2006/05/">May 2006</option>
 518
 519
 520
 521       <option value="http://defaria.com/blogs/Status/2006/04/">April 2006</option>
 522
 523
 524
 525       <option value="http://defaria.com/blogs/Status/2006/03/">March 2006</option>
 526
 527
 528
 529       <option value="http://defaria.com/blogs/Status/2006/02/">February 2006</option>
 530
 531
 532
 533       <option value="http://defaria.com/blogs/Status/2006/01/">January 2006</option>
 534
 535
 536
 537       <option value="http://defaria.com/blogs/Status/2005/12/">December 2005</option>
 538
 539
 540
 541       <option value="http://defaria.com/blogs/Status/2005/11/">November 2005</option>
 542
 543
 544
 545       <option value="http://defaria.com/blogs/Status/2005/10/">October 2005</option>
 546
 547
 548
 549       <option value="http://defaria.com/blogs/Status/2005/09/">September 2005</option>
 550
 551
 552
 553       <option value="http://defaria.com/blogs/Status/2005/08/">August 2005</option>
 554
 555
 556
 557       <option value="http://defaria.com/blogs/Status/2005/07/">July 2005</option>
 558
 559
 560
 561       <option value="http://defaria.com/blogs/Status/2005/06/">June 2005</option>
 562
 563
 564
 565       <option value="http://defaria.com/blogs/Status/2005/05/">May 2005</option>
 566
 567
 568
 569       <option value="http://defaria.com/blogs/Status/2005/04/">April 2005</option>
 570
 571
 572
 573       <option value="http://defaria.com/blogs/Status/2005/03/">March 2005</option>
 574
 575
 576
 577       <option value="http://defaria.com/blogs/Status/2005/02/">February 2005</option>
 578
 579
 580
 581       <option value="http://defaria.com/blogs/Status/2005/01/">January 2005</option>
 582
 583
 584
 585       <option value="http://defaria.com/blogs/Status/2004/12/">December 2004</option>
 586
 587
 588
 589       <option value="http://defaria.com/blogs/Status/2004/09/">September 2004</option>
 590
 591
 592
 593       <option value="http://defaria.com/blogs/Status/2004/08/">August 2004</option>
 594
 595
 596
 597       <option value="http://defaria.com/blogs/Status/2004/07/">July 2004</option>
 598
 599
 600
 601       <option value="http://defaria.com/blogs/Status/2004/06/">June 2004</option>
 602
 603
 604
 605       <option value="http://defaria.com/blogs/Status/2004/05/">May 2004</option>
 606
 607
 608
 609       <option value="http://defaria.com/blogs/Status/2004/04/">April 2004</option>
 610
 611
 612
 613       <option value="http://defaria.com/blogs/Status/2004/03/">March 2004</option>
 614
 615
 616
 617       <option value="http://defaria.com/blogs/Status/2004/02/">February 2004</option>
 618
 619
 620
 621       <option value="http://defaria.com/blogs/Status/2004/01/">January 2004</option>
 622
 623
 624
 625       <option value="http://defaria.com/blogs/Status/2003/12/">December 2003</option>
 626
 627
 628
 629       <option value="http://defaria.com/blogs/Status/2003/11/">November 2003</option>
 630
 631     </select>
 632   </div>
 633 </nav>
 634
 635
 636
 637 <div class="widget-syndication widget section">
 638   <div class="widget-content">
 639     <p><img src="http://defaria.com/mt/mt-static/images/status_icons/feed.gif" alt="Subscribe to feed" width="9" height="9" /> <a href="http://defaria.com/blogs/Status/atom.xml">Subscribe to this blog's feed</a></p>
 640
 641   </div>
 642 </div>
 643
 644             </aside>
 645           </div>
 646         </div>
 647         <footer id="footer" role="contentinfo">
 648           <div id="footer-inner">
 649             <div id="footer-content">
 650   <nav role="navigation">
 651           <ul>
 652             <li><a href="http://defaria.com/blogs/Status/">Home</a></li>
 653
 654
 655           </ul>
 656         </nav>
 657
 658   <p class="license">&copy; Copyright 2016.</p>
 659   <p class="poweredby">Powered by <a href="http://www.movabletype.org/">Movable Type</a></p>
 660 </div>
 661           </div>
 662         </footer>
 663       </div>
 664     </div>
 665     <script src="http://defaria.com/mt/mt-static/jquery/jquery.min.js"></script>
 666     <script src="http://defaria.com/blogs/Status/mt-theme-scale2.js"></script>
 667   </body>
 668 </html>