defaria.com/blogs/MAPS/archives/2007/07/index.html

   1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
   2     "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
   3 <html xmlns="http://www.w3.org/1999/xhtml" id="sixapart-standard">
   4 <head>
   5     <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
   6 <meta name="generator" content="Movable Type 5.2.3" />
   7 <link rel="stylesheet" href="http://defaria.com/blogs/MAPS/styles.css" type="text/css" />
   8 <link rel="start" href="http://defaria.com/blogs/MAPS/" title="Home" />
   9 <link rel="alternate" type="application/atom+xml" title="Recent Entries" href="http://defaria.com/blogs/MAPS/atom.xml" />
  10 <script type="text/javascript" src="http://defaria.com/blogs/MAPS/mt.js"></script>
  11
  12
  13     <title>MAPS: July 2007 Archives</title>
  14
  15
  16     <link rel="prev" href="http://defaria.com/blogs/MAPS/archives/2006/04/" title="April 2006" />
  17
  18
  19 </head>
  20 <body id="classic-blog" class="mt-archive-listing mt-datebased-monthly-archive layout-wtt">
  21     <div id="container">
  22         <div id="container-inner">
  23
  24
  25             <div id="header">
  26     <div id="header-inner">
  27         <div id="header-content">
  28
  29
  30             <div id="header-name"><a href="http://defaria.com/blogs/MAPS/" accesskey="1">MAPS</a></div>
  31             <div id="header-description"></div>
  32
  33         </div>
  34     </div>
  35 </div>
  36
  37
  38
  39             <div id="content">
  40                 <div id="content-inner">
  41
  42
  43                     <div id="alpha">
  44                         <div id="alpha-inner">
  45
  46
  47                             <h1 id="page-title" class="archive-title">July 2007 Archives</h1>
  48
  49
  50
  51
  52
  53
  54                             <div id="entry-651" class="entry-asset asset hentry">
  55     <div class="asset-header">
  56         <h2 class="asset-name entry-title"><a href="http://defaria.com/blogs/MAPS/archives/2007/07/hit-count-and-l.html" rel="bookmark">Hit Count and Last Hit</a></h2>
  57         <div class="asset-meta">
  58             <span class="byline">
  59
  60                 <abbr class="published" title="2007-07-13T17:26:08-06:00">July 13, 2007  5:26 PM</abbr>
  61
  62             </span>
  63
  64
  65
  66
  67         </div>
  68     </div>
  69     <div class="asset-content entry-content">
  70
  71         <div class="asset-body">
  72             <p>After having left MAPS pretty much alone for a long time, though I did implement "nuke" which helps nuke whole domains, I finally have implemented new functionality for MAPS. You see over this last year or so I've been getting a lot of spam mostly oriented in which the domain name was wildly varying. So lots of mail loops were happening. Whacking whole domains became a favorite past time of mine and hence the "nuke" script (not an official part of MAPS mind you). Still it seemed like a losing battle.</p>
  73
  74 <p>Then I got to thinking - something I've been thinking for a while - how effective are all of my null list entries, now numbering in the 17K area! I thought that I could easily add some fields to the list table, namely a hit_count and a last_hit field, and then during scrubbing time see if these null list entries were at all effective, and if not then to automatically remove them.</p>
  75
  76 <p>So I added the fields and changed MAPS such that it records the hits and when the last hit happened. Then in mapsscrub check to see if last_hit is older than the number of days the user is keeping history. If it's 0 then simply remove that entry. Note this happens only for the null list. White list and black list are to be managed by the user. You purposely add somebody to the white or black list for a reason. Do we want to auto age these off? Probably not.</p>
  77
  78 <p>If the hit count is not 0 then how do we age off these apparently no longer effective null list entries? Well the though was to age them by subtracting 1 from the hit count. Thus if we had a null list entry that was fairly active for a little while and say accumulated a hit_count of 10 but then was largely un-hit, the hit_count would go 9, 8, 7, 6, 5... down to 0 and then the entry would be removed. I might want to change this as some null list entries are getting hit_counts in the thousands now! Assuming the user has a 30 day history then perhaps after 30 days of inactivity I should age any null list entry off the list in 7 days? Note that any activity in those 30 days would immediately reset the clock for at least the next 30 days (assuming a history of 30 days).</p>
  79
  80 <p>With this in place I decided to change the mail loop procedure to auto add the sender to the null list. Previously I was whacking off the whole domain - here we are just auto adding the individual sending address. But it's automatically added, automatically tracked for effectiveness and automatically aged off. Beside I still have the option of perusing the top returning domains and can whack whole domains still. Now any hits on any users in the domain will continue to insure that that domain null list entry will remain and not automatically age away...</p>
  81         </div>
  82
  83
  84
  85     </div>
  86     <div class="asset-footer"></div>
  87 </div>
  88
  89
  90
  91
  92                             <div class="content-nav">
  93                                 <a href="http://defaria.com/blogs/MAPS/archives/2006/04/">&laquo; April 2006</a> |
  94                                 <a href="http://defaria.com/blogs/MAPS/">Main Index</a> |
  95                                 <a href="http://defaria.com/blogs/MAPS/archives.html">Archives</a>
  96
  97                             </div>
  98
  99
 100                         </div>
 101                     </div>
 102
 103
 104                     <div id="beta">
 105     <div id="beta-inner">
 106
 107
 108
 109     <div class="widget-archive widget-archive-category widget">
 110     <h3 class="widget-header">Categories</h3>
 111     <div class="widget-content">
 112
 113     </div>
 114 </div>
 115
 116
 117
 118
 119     <div class="widget-archive-monthly widget-archive widget">
 120     <h3 class="widget-header">Monthly <a href="http://defaria.com/blogs/MAPS/archives.html">Archives</a></h3>
 121     <div class="widget-content">
 122         <ul>
 123
 124             <li><a href="http://defaria.com/blogs/MAPS/archives/2007/07/">July 2007 (1)</a></li>
 125
 126
 127
 128             <li><a href="http://defaria.com/blogs/MAPS/archives/2006/04/">April 2006 (1)</a></li>
 129
 130
 131
 132             <li><a href="http://defaria.com/blogs/MAPS/archives/2005/11/">November 2005 (2)</a></li>
 133
 134
 135
 136             <li><a href="http://defaria.com/blogs/MAPS/archives/2004/03/">March 2004 (1)</a></li>
 137
 138
 139
 140             <li><a href="http://defaria.com/blogs/MAPS/archives/2004/02/">February 2004 (3)</a></li>
 141
 142
 143
 144             <li><a href="http://defaria.com/blogs/MAPS/archives/2003/11/">November 2003 (3)</a></li>
 145
 146
 147
 148             <li><a href="http://defaria.com/blogs/MAPS/archives/2003/10/">October 2003 (9)</a></li>
 149
 150         </ul>
 151     </div>
 152 </div>
 153
 154
 155
 156
 157
 158 <div class="widget-pages widget">
 159     <h3 class="widget-header">Pages</h3>
 160     <div class="widget-content">
 161         <ul>
 162
 163
 164         </ul>
 165     </div>
 166 </div>
 167
 168 <div class="widget-syndication widget">
 169     <div class="widget-content">
 170         <ul>
 171             <li><img src="http://defaria.com/mt/mt-static/images/status_icons/feed.gif" alt="Subscribe to feed" width="9" height="9" /> <a href="http://defaria.com/blogs/MAPS/atom.xml">Subscribe to this blog's feed</a></li>
 172
 173         </ul>
 174     </div>
 175 </div>
 176 <div class="widget-powered widget">
 177     <div class="widget-content">
 178         <a href="http://www.movabletype.com/"><img src="http://defaria.com/mt/mt-static/images/bug-pbmt-white.png" alt="Powered by Movable Type 5.2.3" width="120" height="75" /></a>
 179     </div>
 180 </div>
 181
 182
 183
 184     </div>
 185 </div>
 186
 187
 188
 189
 190 <div id="gamma">
 191     <div id="gamma-inner">
 192     <div class="widget-search widget">
 193     <h3 class="widget-header">Search</h3>
 194     <div class="widget-content">
 195         <form method="get" action="http://defaria.com/mt/mt-search.cgi">
 196             <input type="text" id="search" class="ti" name="search" value="" />
 197
 198             <input type="hidden" name="IncludeBlogs" value="3" />
 199
 200             <input type="hidden" name="limit" value="20" />
 201             <input type="submit" accesskey="4" value="Search" />
 202         </form>
 203     </div>
 204 </div>
 205
 206 <div class="widget-about-this-page widget">
 207     <h3 class="widget-header">
 208
 209
 210         About this Archive
 211
 212
 213
 214     </h3>
 215     <div class="widget-content">
 216
 217
 218
 219
 220
 221         <p class="first">This page is an archive of entries from <strong>July 2007</strong> listed from newest to oldest.</p>
 222
 223         <p><a href="http://defaria.com/blogs/MAPS/archives/2006/04/">April 2006</a> is the previous archive.</p>
 224
 225
 226
 227
 228         <p>Find recent content on the <a href="http://defaria.com/blogs/MAPS/">main index</a> or look in the <a href="http://defaria.com/blogs/MAPS/archives.html">archives</a> to find all content.</p>
 229
 230     </div>
 231 </div>
 232
 233
 234     </div>
 235 </div>
 236
 237
 238
 239
 240                 </div>
 241             </div>
 242
 243
 244             <div id="footer">
 245     <div id="footer-inner">
 246         <div id="footer-content">
 247             <div class="widget-powered widget">
 248                 <div class="widget-content">
 249                     Powered by <a href="http://www.movabletype.org/">Movable Type</a>
 250                 </div>
 251             </div>
 252
 253         </div>
 254     </div>
 255 </div>
 256
 257
 258
 259         </div>
 260     </div>
 261 </body>
 262 </html>