defaria.com/blogs/MAPS/index.xml

   1 <?xml version="1.0" encoding="utf-8"?>
   2 <rss version="2.0">
   3    <channel>
   4       <title>MAPS</title>
   5       <link>http://defaria.com/blogs/MAPS/</link>
   6       <description></description>
   7       <language>en</language>
   8       <copyright>Copyright 2013</copyright>
   9       <lastBuildDate>Fri, 13 Jul 2007 17:26:08 -0600</lastBuildDate>
  10       <generator>http://www.sixapart.com/movabletype/?v=3.2</generator>
  11       <docs>http://blogs.law.harvard.edu/tech/rss</docs>
  12
  13             <item>
  14          <title>Hit Count and Last Hit</title>
  15          <description><![CDATA[<p>After having left MAPS pretty much alone for a long time, though I did implement "nuke" which helps nuke whole domains, I finally have implemented new functionality for MAPS. You see over this last year or so I've been getting a lot of spam mostly oriented in which the domain name was wildly varying. So lots of mail loops were happening. Whacking whole domains became a favorite past time of mine and hence the "nuke" script (not an official part of MAPS mind you). Still it seemed like a losing battle.</p>
  16
  17 <p>Then I got to thinking - something I've been thinking for a while - how effective are all of my null list entries, now numbering in the 17K area! I thought that I could easily add some fields to the list table, namely a hit_count and a last_hit field, and then during scrubbing time see if these null list entries were at all effective, and if not then to automatically remove them.</p>
  18
  19 <p>So I added the fields and changed MAPS such that it records the hits and when the last hit happened. Then in mapsscrub check to see if last_hit is older than the number of days the user is keeping history. If it's 0 then simply remove that entry. Note this happens only for the null list. White list and black list are to be managed by the user. You purposely add somebody to the white or black list for a reason. Do we want to auto age these off? Probably not.</p>
  20
  21 <p>If the hit count is not 0 then how do we age off these apparently no longer effective null list entries? Well the though was to age them by subtracting 1 from the hit count. Thus if we had a null list entry that was fairly active for a little while and say accumulated a hit_count of 10 but then was largely un-hit, the hit_count would go 9, 8, 7, 6, 5... down to 0 and then the entry would be removed. I might want to change this as some null list entries are getting hit_counts in the thousands now! Assuming the user has a 30 day history then perhaps after 30 days of inactivity I should age any null list entry off the list in 7 days? Note that any activity in those 30 days would immediately reset the clock for at least the next 30 days (assuming a history of 30 days).</p>
  22
  23 <p>With this in place I decided to change the mail loop procedure to auto add the sender to the null list. Previously I was whacking off the whole domain - here we are just auto adding the individual sending address. But it's automatically added, automatically tracked for effectiveness and automatically aged off. Beside I still have the option of perusing the top returning domains and can whack whole domains still. Now any hits on any users in the domain will continue to insure that that domain null list entry will remain and not automatically age away...</p>]]></description>
  24          <link>http://defaria.com/blogs/MAPS/archives/000651.html</link>
  25          <guid>http://defaria.com/blogs/MAPS/archives/000651.html</guid>
  26          <category></category>
  27          <pubDate>Fri, 13 Jul 2007 17:26:08 -0600</pubDate>
  28       </item>
  29             <item>
  30          <title><![CDATA[No more &lt;anything&gt;@defaria.com]]></title>
  31          <description><![CDATA[<p>Due to an influx of spam getting through MAPS with a format of &lt;something&gt;@defaria.com I finally decided to fix MAPS to handle that better. Now if the from is from defaria.com (or the current domain) then the user name is looked up in /etc/passwd using getpwent and if there is no user of that name it is simply nulllisted. This is an obvious attempt by spammers to forge from email addresses.</p>
  32
  33 <p>Also removed logging of when the message is obviously garbled or not conforming to standards. Plus I no longer log if the user uses andrew@defaria.com but fails to have a name such as "Andrew DeFaria &lt;andrew@defaria.com&gt;". The former turns out to be mostly Nigerian spam anyway.</p>
  34
  35 <p>FInally, replaced /usr/local/amps with a direct checkout form CVS!</p>]]></description>
  36          <link>http://defaria.com/blogs/MAPS/archives/000542.html</link>
  37          <guid>http://defaria.com/blogs/MAPS/archives/000542.html</guid>
  38          <category></category>
  39          <pubDate>Sat, 15 Apr 2006 22:58:40 -0600</pubDate>
  40       </item>
  41             <item>
  42          <title>MAPS Scrubber</title>
  43          <description><![CDATA[<p>Updated mapsscrub to also report total number of user emails in the database. Also fixed header.</p>]]></description>
  44          <link>http://defaria.com/blogs/MAPS/archives/000469.html</link>
  45          <guid>http://defaria.com/blogs/MAPS/archives/000469.html</guid>
  46          <category></category>
  47          <pubDate>Sun, 06 Nov 2005 10:17:58 -0600</pubDate>
  48       </item>
  49             <item>
  50          <title>Added page drop down</title>
  51          <description><![CDATA[<p>Added a page drop down to list.php. This is useful when one wants to say <i>go to the last page</i>.</p>]]></description>
  52          <link>http://defaria.com/blogs/MAPS/archives/000468.html</link>
  53          <guid>http://defaria.com/blogs/MAPS/archives/000468.html</guid>
  54          <category></category>
  55          <pubDate>Sat, 05 Nov 2005 10:44:37 -0600</pubDate>
  56       </item>
  57             <item>
  58          <title>Move list entry bug</title>
  59          <description><![CDATA[<p>Found a bug today. While adding to the blacklist an entry was on the white list, MAPS correctly adds the entry to the black list and deletes the entry on the white list. However it fails to resequence the white list causing problems down the line.</p>]]></description>
  60          <link>http://defaria.com/blogs/MAPS/archives/000150.html</link>
  61          <guid>http://defaria.com/blogs/MAPS/archives/000150.html</guid>
  62          <category></category>
  63          <pubDate>Mon, 08 Mar 2004 09:17:23 -0600</pubDate>
  64       </item>
  65             <item>
  66          <title>Login bug</title>
  67          <description><![CDATA[<p>Squashed a nasty bug, well actually a lack of implementation. After converting some of the web pages to PHP I neglected to implement Login in PHP! Now implemented.</p>]]></description>
  68          <link>http://defaria.com/blogs/MAPS/archives/000139.html</link>
  69          <guid>http://defaria.com/blogs/MAPS/archives/000139.html</guid>
  70          <category></category>
  71          <pubDate>Tue, 17 Feb 2004 23:25:05 -0600</pubDate>
  72       </item>
  73             <item>
  74          <title>Space</title>
  75          <description><![CDATA[<p>Added new "Space Usage" report. Not sure if I like this because 1) it's too slow and 2) the resulting report is not very impressive - it's just a line saying "User is using X bytes in the databsase". Might wish to implement a space counter in the user table. This would require that all procedures updating the database update the space counter. The intent for this space counter is to judge how much space a user is using in the database for the purposes of quotas or perhaps to charge people if they want more space.</p>
  76
  77 <p>Also, currently this space report is only counting space used in the email table. Might wish to add in the log table, which can add up, and the user and useropts tables. The latter two are minimal but including them would make the report more accurate.</p>]]></description>
  78          <link>http://defaria.com/blogs/MAPS/archives/000138.html</link>
  79          <guid>http://defaria.com/blogs/MAPS/archives/000138.html</guid>
  80          <category></category>
  81          <pubDate>Mon, 16 Feb 2004 23:12:26 -0600</pubDate>
  82       </item>
  83             <item>
  84          <title>Delete bug</title>
  85          <description><![CDATA[<p>Many, many improvements have happened to MAPS. I have not been keeping this blog up to date. I will try to do better. Here are some of the things that have been implemented or improved:</p>
  86
  87 <ol>
  88
  89 <li>Went live 12/10/2003! We are now using MAPS from the Linux system and using the MySQL backend.</li>
  90
  91 <li>Many improvements and implemented a lot of the pages</li>
  92
  93 <li>Started re-writing things in PHP. PHP is pretty cool and now that I have mod PHP running it's also quick. I suspect that if I managed to get mod Perl installed that that would solve some of the sluggishness of the Perl pages, however PHP is more "web friendly" and it's nice not having to write a whole web page just because part of it will be dynamic</li>
  94
  95 <li>Implemented most of the "list" processing. You can now add/change and delete entries in the various lists.</li>
  96
  97 <li>Details.cgi needs some work but otherwise is functional. You can even select entries and say Add to Null list, etc.</li>
  98
  99 <li>Implemented Returned Messages by Domain report (in PHP)</li>
 100
 101 <li>Updated the look of the register and blacklist return messages</li>
 102
 103 <li>Implemented the Forgot Your Password link</li>
 104
 105 <li>Making pages have refresh option so that Quickstats updates itself. Added time to Quickstats</li>
 106
 107 <li>Implemented search facility to search sender and subject in returned email. While this is helpful it's not finished yet. Also takes a long time on a large message base...</li>
 108
 109 <li>Changed MAPS to only send return message once instead of up to 5 times</li>
 110
 111 <li>Changed MAPS to use envelope address if From address is blank</li>
 112
 113 </ol>
 114
 115 <p>That said here's a bug:</p>
 116
 117 <p>When an entry is added to a list the system now searches the other lists and if a matching entry appears in another list it is deleted. This effectively "moves" the entry. Problem is that the delete does not resequence the list that it deleted the entry from.</p>
 118
 119 <p>We should also consider decoupling the sequence # concept. I don't think it is necessary anymore. MAPS applies filtering based on lists - order doesn't seem to be important.</p>
 120
 121 <p>We might also consider not basing the stats and detail pages off of the log entries but directly off of the email in the email table.</p>
 122
 123 <p>Might wish to implement a "super white list". Super white list would be bascially the users address book. The "other" white list would be entries added by registration. User should be able to promote from white list -> super white list. The difference is that the super white list would be applied before other lists. Currently MAPS processes lists in the following order:</p>
 124
 125 <ul>
 126
 127 <li>Check null list. If found send message to /dev/null</li>
 128
 129 <li>Check black list. If found send blacklist.html to the sender and discard message</li>
 130
 131 <li>Check white list. If found deliver message</li>
 132
 133 <li>Otherwise return message (if we have not already returned a message for this sender)</li>
 134
 135 </ul>
 136
 137 <p>This way the user can apply special privilege for some users. For example, I'd really like to null list all of the *.br$ spam I get but if I did I could not get email from my dad in Brasil. If I had a super white list I could add his address to it and then nulllist everybody else.</p>
 138
 139 <p>We also need to figure out how to handle spam I get when the spammer sets From to be me (or anybody else on my white list). I was thinking about an X-MAPS header that I could set for myself. This would not solve the problem of a spammer sending me spam from somebody else on my white list though I've yet to see that - it would be rare. Except for domain whitelisting such as *@defaria.com. Not sure how to address that</p>]]></description>
 140          <link>http://defaria.com/blogs/MAPS/archives/000137.html</link>
 141          <guid>http://defaria.com/blogs/MAPS/archives/000137.html</guid>
 142          <category></category>
 143          <pubDate>Mon, 16 Feb 2004 00:24:20 -0600</pubDate>
 144       </item>
 145             <item>
 146          <title>Rounded Tables</title>
 147          <description><![CDATA[<p><a title="The Trick to Rounded Corner Tables" href="http://www.sitepoint.com/article/392">The Trick to Rounded Corner Tables</a></p>
 148
 149 <p>Might use this on MAPS...</p>
 150 ]]></description>
 151          <link>http://defaria.com/blogs/MAPS/archives/000030.html</link>
 152          <guid>http://defaria.com/blogs/MAPS/archives/000030.html</guid>
 153          <category></category>
 154          <pubDate>Tue, 11 Nov 2003 15:35:23 -0600</pubDate>
 155       </item>
 156             <item>
 157          <title>CSS Site</title>
 158          <description><![CDATA[<p><a title="MaKo 4 CSS: Frequently asked Questions -" href="http://www.mako4css.com/CSSFAQ.htm">MaKo 4 CSS: Frequently asked Questions -</a></p>
 159
 160 <p>Seems to be a good site on CSS issues. Should be able to help me solve my current problems with CSS in MAPS.</p>
 161 ]]></description>
 162          <link>http://defaria.com/blogs/MAPS/archives/000029.html</link>
 163          <guid>http://defaria.com/blogs/MAPS/archives/000029.html</guid>
 164          <category></category>
 165          <pubDate>Mon, 03 Nov 2003 13:32:19 -0600</pubDate>
 166       </item>
 167             <item>
 168          <title>CSS and Cookies</title>
 169          <description><![CDATA[<p>Did a lot of work this weekend on CSS. It's a bitch that things render differently between Netscape and IE. Anyways, developed a new "main" page and implemented cookies properly so that there is no login involved. Still the user can "logout", thus deleting the cookie, if they like.</p>
 170
 171 <p>Worked hard on <i>Quick Stats</i> which appears on the main page and gives the user a quick rundown of today's activity. Also implmented <b>Check Address</b> as a input field on the main page. Basically it allows the user to type in an address to see what MAPS would do with it. Pops up a window to display the message. Pretty cool.</p>
 172
 173 <p>Added pages for Reports, Manage Lists, etc. So far they go nowhere really. Need to fill these out.</p>
 174
 175 <p>Also, the "menu" box needs to be displayed consistently across pages. Need to get rid of the JavaScript menu bar thing I had. Ah page layout can be a bitch, especially when you code it. Need to move the page layout duties to CSS!</p>
 176
 177 <p>Finally, why doesn't IE pay attention to the Footer.js/copyright thing?<br />
 178 </p>]]></description>
 179          <link>http://defaria.com/blogs/MAPS/archives/000028.html</link>
 180          <guid>http://defaria.com/blogs/MAPS/archives/000028.html</guid>
 181          <category></category>
 182          <pubDate>Mon, 03 Nov 2003 11:14:36 -0600</pubDate>
 183       </item>
 184             <item>
 185          <title>Cookies</title>
 186          <description><![CDATA[<p>I consulted with Scott and he suggested that I just use a cookie to store the userid and the base things off of that. Seems to work fairly well. Spent some time implementing this and things are looking goodl</p>
 187 ]]></description>
 188          <link>http://defaria.com/blogs/MAPS/archives/000027.html</link>
 189          <guid>http://defaria.com/blogs/MAPS/archives/000027.html</guid>
 190          <category></category>
 191          <pubDate>Wed, 29 Oct 2003 11:07:26 -0600</pubDate>
 192       </item>
 193             <item>
 194          <title>Todos</title>
 195          <description><![CDATA[<p><a title="MAPS Registration" href="http://defaria.com:8080/maps/bin/register.cgi">MAPS Registration</a></p>
 196
 197 <ol><li><strike>Apparently the JavaScript regex for valid email addresses is not bulletproof yet. Email addresses of tthe form "Joe@Schmoe" pass through the regex OK.</strike></li>
 198
 199 <p><li><strike>Javascript should check to make sure username doesn't have a space in it</strike></li></p>
 200
 201 <p><li>username should be case insensitive</li></p>
 202
 203 <p><li>registerform.cgi should not allow a username that is not a valid MAPS user.</li></p>
 204
 205 <p></ol></p>
 206 ]]></description>
 207          <link>http://defaria.com/blogs/MAPS/archives/000026.html</link>
 208          <guid>http://defaria.com/blogs/MAPS/archives/000026.html</guid>
 209          <category></category>
 210          <pubDate>Tue, 28 Oct 2003 11:07:21 -0600</pubDate>
 211       </item>
 212             <item>
 213          <title>Apache Session</title>
 214          <description><![CDATA[<p><a title="search.cpan.org: Jeffrey Baker / Apache-Session" href="http://search.cpan.org/~jbaker/Apache-Session/">search.cpan.org: Jeffrey Baker / Apache-Session</a></p>
 215
 216 <p>It may be possible to use Apache Session to record that somebody has logged into MAPS and provide a persistent state while they are logged in. Question is what happens if people do not log out? How is this to be handled.</p>
 217 ]]></description>
 218          <link>http://defaria.com/blogs/MAPS/archives/000025.html</link>
 219          <guid>http://defaria.com/blogs/MAPS/archives/000025.html</guid>
 220          <category></category>
 221          <pubDate>Mon, 27 Oct 2003 17:19:18 -0600</pubDate>
 222       </item>
 223             <item>
 224          <title>Mod Perl</title>
 225          <description><![CDATA[<p><a title="mod_perl: What is mod_perl?" href="http://perl.apache.org/start/index.html">mod_perl: What is mod_perl?</a></p>
 226
 227 <p>Seems like this is homebase for mod_perl. Still not sure if this can help out with my problems of maintaining the state of what user is currently logged into my MAPS web pages.</p>
 228 ]]></description>
 229          <link>http://defaria.com/blogs/MAPS/archives/000024.html</link>
 230          <guid>http://defaria.com/blogs/MAPS/archives/000024.html</guid>
 231          <category></category>
 232          <pubDate>Mon, 27 Oct 2003 16:14:39 -0600</pubDate>
 233       </item>
 234
 235    </channel>
 236 </rss>