Notes of a Developer » Python http://www.developers-life.com Develop on Objective-C, UIKit, C, OpenGL for iPhone, iPad, Mac OS X Fri, 03 Feb 2012 11:49:47 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 Setup Python, MySQL, MySQL-python and SVN on MAC OS X 10.6 http://www.developers-life.com/setup-python-mysql-mysql-python-and-svn-on-mac-os-x-106.html http://www.developers-life.com/setup-python-mysql-mysql-python-and-svn-on-mac-os-x-106.html#comments Sun, 11 Oct 2009 12:58:03 +0000 Vladimir Boychentsov http://www.developers-life.com/?p=550 Mac Os X + Python 2.6.1+ PIL + apache2.2 +mod_python + MySQL + MySQLdb +php5+ phpMyAdmin + SVN server +WebSVN

OS: Mac OS X 10.6.1 Snow Leopard
XCode:The latest Xcode Tools
Python: Python 2.6.1 64-bit (Snow Leopard default)

Projects will be located in ~/Sites, so change permissions:
add read permission for everyone on ~/Sites

Setup django

1. mkdir ~/sources
2. cd ~/sources
3. svn co http://code.djangoproject.com/svn/django/trunk/ django
4. cd django
5. sudo python setup.py install

Apache:
We will use default 10.6 apache2.2

Setup mod_python:
1. mkdir ~/sources/mod_python
2. cd ~/sources/mod_python
3. svn co http://svn.apache.org/repos/asf/quetzalcoatl/mod_python/trunk mod_python-trunk
4. cd mod_python-trunk
5. ./configure –with-apxs=/usr/sbin/apxs
6. make
7. sudo make install


Setup MySQL — Download 64bit!!!
1. nano ~/.profile
2. export PATH=”/usr/local/bin:/usr/local/sbin:/usr/local/mysql/bin:$PATH”
3. source ~/.profile
4. Download MySQL 5.1.39 sourcse and place it into ~/sources
5. tar xzvf mysql-5.1.39.tar.gz
6. cd mysql-5.1.39

7. ./configure –prefix=/usr/local/mysql –with-extra-charsets=complex \
–enable-thread-safe-client –enable-local-infile –enable-shared \
–with-plugins=innobase
8. make
9. sudo make install
10. cd /usr/local/mysql
11. sudo ./bin/mysql_install_db –user=mysql
12. sudo chown -R mysql ./var
13. cd ..
14. open TexEdit, switch to plain text
copy-paste:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>KeepAlive</key>
    <true/>
    <key>Label</key>
    <string>com.mysql.mysqld</string>
    <key>Program</key>
    <string>/usr/local/mysql/bin/mysqld_safe</string>
    <key>RunAtLoad</key>
    <true/>
    <key>UserName</key>
    <string>mysql</string>
    <key>WorkingDirectory</key>
    <string>/usr/local/mysql</string>
</dict>
</plist>

save as ~/sources/com.mysql.mysqld.plist
close TexEdit

15. sudo mv ~/sources/com.mysql.mysqld.plist /Library/LaunchDaemons
16. sudo chown root /Library/LaunchDaemons/com.mysql.mysqld.plist
17. sudo launchctl load -w /Library/LaunchDaemons/com.mysql.mysqld.plist
18. mysqladmin -u root password NEW_PASSWORD

Setup MySQL for Python adapter

1. Download the latest MySQL for Python adapter from SourceForge(http://sourceforge.net/project/showfiles.php?group_id=22307) and copy to ~/sources
2. cd ~/sources
3. tar xzvf MySQL-python-1.2.2.tar.gz
4. cd ./MySQL-python-1.2.2
5. Inside the folder, clean the package by typing
6. sudo python setup.py clean
7. In the same folder, edit _mysql.c using your favourite text-editor
8. Remove the following lines (37-39):

1
2
3
4
5
6
7
8
9
10
11
12
13
        #ifndef uint
        #define uint unsigned int
        #endif

       Change the following:

       uint port = MYSQL_PORT;
       uint client_flag = 0;

       to

       unsigned int port = MYSQL_PORT;
       unsigned int client_flag = 0;

9. Create a symbolic link under lib to point to a sub-directory called mysql. This is where it looks for during compilation.
10.sudo ln -s /usr/local/mysql/lib /usr/local/mysql/lib/mysql
11. Edit the setup_posix.py and change the following
mysql_config.path = “mysql_config”
to
mysql_config.path = “/usr/local/mysql/bin/mysql_config”
12.In the same directory, rebuild your package (ignore the warnings that comes with it)

13. sudo python setup.py build

Install the package and you are done.

14. sudo python setup.py install

Test if it’s working. It works if you can import MySQLdb.

python
>>> import MySQLdb

SVN
We will be using build in svn + WebSvn for repo browsing
1. mkdir ~/svn
2 cd ~
3.chown -R _www svn
4. svnadmin create –fs-type fsfs myrepo-1
5. donwload latest WebSVN
6. Unpack in into ~/Sites
7. rename to websvn
8. chmod 0700 ~/Sites/websvn/cache
9. rename ~/Sites/websvn/include/distconfig.php to ~/Sites/websvn/include/config.php
10. edit ~/Sites/websvn/include/config.php:
find and uncomment
$config->useTreeIndex(true); // Tree index, open by default
$config->addInlineMimeType(“text/plain”);
$config->hideRSS();
$config->parentPath(‘path/to/yours/svn’);

Starting project
1. cd ~/Sites
2. mkdir Temp
3. chmod 0700 ~/Sites/Temp
4. django-admin.py start project my_project
5. nano apache_settings.py
6. add lines:

1
2
3
      import os
      os.environ['PYTHON_EGG_CACHE'] = '/Users/you_user_name/Sites/Temp'
   close apache_settings.py

Configure Apache:
sudo nano /etc/apache2/httpd.conf
Add lines:
LoadModule python_module libexec/apache2/mod_python.so
LoadModule php5_module libexec/apache2/libphp5.so #for WebSvn and phpMyAdmin
Uncomment:
Include /private/etc/apache2/extra/httpd-vhosts.conf
Add line:
PythonImport /Users/you_user_name/Sites/my_project/apache_settings.py my_project
save and exit httpd.conf

Configure VirtualHosts:
sudo nano /etc/apache2/extra/httpd-vhosts.conf
remove all lines
add

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
 NameVirtualHost *:80
   
<VirtualHost *:80>
    ServerName "you_server_name"
    DocumentRoot "/Users/pyromann/Sites/my_project"
    ErrorLog     "/private/var/log/apache2/my_project-error_log"
    CustomLog   "/private/var/log/apache2/my_project-access_log" common
    <Directory "/Users/pyromann/Sites/my_project">
        Options FollowSymLinks MultiViews Includes
        AllowOverride All
        Order allow,deny
        Allow from all
    </Directory>

    <Location "/">
        SetHandler python-program
        SetEnv  DJANGO_SETTINGS_MODULE my_project.settings
        PythonHandler django.core.handlers.modpython
        PythonPath "sys.path + ['/Users/your_user_name/Sites/']"
        PythonOption django.root /my_project
        PythonDebug On
        PythonInterpreter my_project
    </Location>

    <Location "/media">
        SetHandler None
    </Location>

    <LocationMatch ".(jpg|gif|png)$">
        SetHandler None
    </LocationMatch>

</VirtualHost>

<VirtualHost *:80>
    ServerName "mysqladmin.loc"
    ServerAlias "www.mysqladmin.loc"
    DocumentRoot "/Users/your_user_name/Sites/mysqladmin"
</VirtualHost>


<VirtualHost *:80>
    ServerName "svn.loc"
    ServerAlias "www.svn.loc"
    DocumentRoot "/Users/your_user_name/Sites/websvn"
</VirtualHost>

Setup hosts
sudo nano /etc/hosts
add line:
127.0.0.1 your_server_name svn.loc mysqladmin.loc

restart apache
sudo apachectl restart
http://svn.loc – yours svn
http://mysqladmin.loc – phpMyAdmin
http://your_server_name – yours django project

setup PIL
Download lates sources
Place it to ~/sources
tar xzfv Imaging-1.1.6.tar
cd Imaging-1.1.6
python setup.py build
sudo python setup.py install

Source:

How to setup django development environment in Mac OS X 10.6 Snow Leopard

]]> http://www.developers-life.com/setup-python-mysql-mysql-python-and-svn-on-mac-os-x-106.html/feed 0 Python and PyQt4 part 1 http://www.developers-life.com/python-and-pyqt4.html http://www.developers-life.com/python-and-pyqt4.html#comments Sat, 29 Nov 2008 15:17:58 +0000 Vladimir Boychentsov http://www.developers-life.com/?p=197 Меня уже довольно долгое время интересует программирование на python. В том числе и кроссплатформенное программирование под GUI. Для этих целей использовал PyQt4, который очень легко было использовать т.к. под рукой был qt4 и все его возможности. Первые помощьники это Qt Designer в котором можно быстро набросать интерфейс и Qt Assistant в котором можно прочитать много полезного для работы с объектами GUI.

Про IDE можно спорить долго, но я выбрал Eric IDE, он написан на Python+PyQt4 , что мне очень понравилось, но в нем есть свои нюансы и баги :)

На  Qt Designer делаем интерфейс и легким движением руки превращаем в python код:

pyuic4 -x untitled.ui > untitled.py

но можно и не преобразовывать, а использовать *.ui файл….

прошло много времени……

и еще много времени….

Эта статья писалась уже давно и не как не доходили руки ее дописать, публикую то что есть. Будет время допишу :)

]]> http://www.developers-life.com/python-and-pyqt4.html/feed 0 Тикеты по всем проектам в Trac`e http://www.developers-life.com/macros-for-trac-all-tickets-by-all-projects.html http://www.developers-life.com/macros-for-trac-all-tickets-by-all-projects.html#comments Thu, 11 Sep 2008 20:50:38 +0000 Vladimir Boychentsov http://www.developers-life.com/?p=132 Выкладываю свой Macros для трака. Это переписанный макрос, который отображал тикеты по выбранному проекту в виде календаря.

На данный момент этот макрос выводит в список все активные тикеты по всем проектам, зашедшего в систему человека, и сортирует их по важности. В этом макросе есть возможность отследить время закрытия/создание/изменение тикетов по дате и по определенному человеку.

Код макроса:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
# Author: Vladimir Boichentsov

import time
import calendar
import sys
import string
import Cookie
import os
import fileinput
import sqlite3 as sqlite
import operator
from StringIO import StringIO
from trac.wiki.api import WikiSystem
from trac.util import *



def execute(hdf, txt, env):
    # building the output
    buff = StringIO()
   
   
    # you type ticket
    if(hdf.getValue('args.close', 'no') == "yes"):
     plist = ['none']
    else:
     plist = ['blocker','critical','high','major','medium','minor','trivial','low']
     
     
    tickets = []
    # directory by trac projects
    DIR = '/home/pub/trac'
    o = j = c = 0
   
    users = ''
    #passwords for users trac projects
    for line in fileinput.input('/home/pub/svn/.htpasswd'):
     temp = line.split(':')
     if(temp[0] != 'admin'):
         users += '<a href="?user=' + temp[0] + '">' + temp[0] + '</a> &nbsp;'
         
    user = hdf.getValue('args.user', '')

    if(len(user) < 1):
        owner = hdf.getValue("trac.authname", "anonymous")
    else:
        owner = user

    buff.write('<a href="?user=' + owner + '&close=yes&time=yes">close(create time)</a> <a href="?user=' + owner + '&close=yes">close(time close)</a> | ' + users + "\n" )
   
    buff.write('<table class="listing tickets"><tbody>\n')
    buff.write('<thead><tr> <td class="ticket"> Ticket </a></td><td class="summary">Summary</td> <td> Project</td>  <td class="owner">Owner</td> <td>Priority</td> <td>Type</td> <td class="date"> Create </td> <td class="date"> Changetime </td> </tr> </thead>\n')
    for p in plist:
     for project in os.listdir(DIR):
         con = sqlite.connect(DIR + '/' + project +'/db/trac.db')
         cur = con.cursor()
         
         if(p != 'none'):
             t = "and t.priority='" + p + "'"
         else:
             t = ''
         
         
         
         cur.execute("SELECT t.changetime,t.id,t.summary,t.owner,t.status,t.description,t.time,t.priority,t.type FROM ticket t, ticket_custom tc where tc.ticket=t.id and t.owner='" + owner +"' " + t)
         
         
         if(hdf.getValue('args.close', 'no') != "yes"):
          while (1):
              row = cur.fetchone()
               
              if row == None:
               break
              else:
               j = j + 1
                   
               if(row[4] != 'closed'):
                   o = o + 1
               else:
                   c = c + 1
                       
               if(row[4] != 'closed'):
                   buff.write(show_ticket(row,project,env))
         else:
             while(1):
              row = cur.fetchone()
              ticket = []
               
              if row == None:
                  break    
                             
              for t in row:
                  ticket.append(t)
               
              ticket.append(project)
              tickets.append(ticket)
               
    if(hdf.getValue('args.close', 'no') == "yes"):
     if(hdf.getValue('args.time', 'no') == "yes"):
         tickets.sort(reverse=True,key=operator.itemgetter(6))
     else:
         tickets.sort(reverse=True)

    for row in tickets:
     buff.write(show_ticket(row,row[9],env))
     
     j = j + 1
     
     if(row[4] != 'closed'):
         o = o + 1
     else:
         c = c + 1
     
               
    buff.write('</tbody></table>\n')
    buff.write('<br>Ticket all: %(j)i Ticket open: %(o)i  Closed ticket: %(c)i \n' % { 'j':j,
          'o':o,
          'c':c, })
    table = buff.getvalue()
    buff.close()
    return table


def ticket_priority(row):
    priority = ''
    if (row[7] == 'minor'):
     priority = "background: #e7ffff; border-color: #cee; color: #099;"
    if (row[7] == 'major' or row[7] == 'medium'):
        priority = "background: #fbfbfb; border-color: #ddd; color: #444;"
    if (row[7] == 'trivial' or row[7] == 'low'):
        priority = "background: #e7eeff; border-color: #cde; color: #469;"
    if (row[7] == 'critical' or row[7] == 'high'):
        priority = "background: #ffb; border-color: #eea; color: #880;"
    if (row[7] == 'blocker'):
        priority = "background: #fdc; border-color: #e88; color: #a22;"
         
    if(row[4] == 'closed'):
        priority = "color: #777; background: #ddd; border-color: #ccc;"
   
    return priority

     
def show_ticket(row,project,env):
    ticket = row[2]
    line = '<tr style="%(priority)s"> <td class="ticket"> <a href="/trac/%(project)s/ticket/%(id)i"> #%(id)i </a></td><td class="summary"><a href="/trac/%(project)s/ticket/%(id)i" title="%(description)s"> %(ticket)s </a></td><td>%(project)s</td>  <td class="owner">%(owner)s</td> <td>%(prio)s</td> <td>%(type)s</td> <td class="date"> %(time)s </td> <td class="date"> %(changetime)s </td> </tr>\n' % {
                              'id' : row[1],
                              'url': env.href.ticket(row[1]),
                              'project' : project,
                              'priority' : ticket_priority(row),
                              'prio' : row[7],
                              'type' : row[8],
                              'ticket': ticket[0:100],
                              'owner': row[3],
                              'time' : time.strftime('%d/%m/%y',time.localtime(row[6])),
                              'changetime' :      time.strftime('%d/%m/%y',time.localtime(row[0])),
                              'style': row[4] == 'closed' and 'font-size: 9px; color: #777777; text-decoration: line-through;' or 'font-size: 9px; color: #000000',
                                   'description': " ", #replace(description, "\'", "&#39;") == None and " " or replace(description, "\'", "&#39;"),
                              }
    return line
]]> http://www.developers-life.com/macros-for-trac-all-tickets-by-all-projects.html/feed 4 Делаем RSS ленту всех проектов Trac`a http://www.developers-life.com/making-rss-tape-all-projects-trac-a.html http://www.developers-life.com/making-rss-tape-all-projects-trac-a.html#comments Thu, 11 Sep 2008 20:36:11 +0000 Vladimir Boychentsov http://www.developers-life.com/?p=131 Написал небольшой скрипт на python. Для получения RSS ленты по всем проектам trac системы, что иногда очень полезно. Это оценил мой менеджер проектов как удобное средство. Вот привожу на вольный суд.

Чтоб получить ленту пишем http://192.168.0.129/index.py?user= md5( хеш пароля)
Тоесть уже захешированый пароль еще в md5
Код:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
# Author: Vladimir Boichentsov <sakrist@sakrist.org.ua>

import time
import calendar
import sys
import string
import Cookie
import os
import fileinput
import sqlite3 as sqlite
import cgi
import base64
from md5 import md5
from StringIO import StringIO



def  index(req):
    # building the output
    buff = StringIO()

    # you type ticket
    plist = ['blocker','critical','high','major','medium','minor','trivial','low']
   
    # directory by trac projects
    DIR = '/home/pub/trac'

    # adress trac projects
    url = 'http://192.168.0.129/trac'
    i = 0
    owner = ' '
    if req.form.has_key('user'):
        user = req.form['user'].value

        #passwords for users trac projects
        for line in fileinput.input('/home/pub/.htpasswd'):
            line = line.replace('\n','')
            temp = line.split(':')
            if md5(line).hexdigest() == user:
                owner = temp[0]

        if owner != ' ' :
            buff.write('<?xml version="1.0"?>\n')
            buff.write('<rss version="2.0">\n')
            buff.write('<channel>\n')
            buff.write('\t<title>All My Tickets</title>\n')
            buff.write('\t<link>' + url + '/org/wiki/AllTikets</link>\n')
            buff.write('\t<description>Trac Report - All My Tickets</description>')
            buff.write('\t<language>en-us</language>\n')
            buff.write('\t<generator>RSS SAKrisT</generator>\n')
            buff.write('\t<image>\n')
            buff.write('\t<title>Organizational</title>\n')
            buff.write('\t<url>' + url + '_banner.png</url>\n')
            buff.write('\t<link>' + url + '/org/wiki/AllTikets</link>\n')
            buff.write('\t</image>\n')

            for p in plist:
                for project in os.listdir(DIR):
                    if (i == 0):
                        con = sqlite.connect(DIR + '/' + project +'/db/trac.db')
                        cur = con.cursor()

                        cur.execute("SELECT t.id,t.summary,t.owner,t.status,t.description,t.time,t.priority,t.type FROM ticket t, ticket_custom tc where tc.ticket=t.id and t.owner='" + owner +"' and t.priority='" + p  + "'")

                        while (1):

                            row = cur.fetchone()

                            if row == None:
                                buff.write('')
                                break

                            else:
                                status = row[3]
                                description = row[4]

                                description = description.replace('[[BR]]', '&lt;br&gt;')
                                description = description.replace('<', '&lt;')
                                description = description.replace('>', '&gt;')
                                timee = time.strftime('%d %m %Y %H:%M:%S GMT',time.localtime(row[5]))

                                if(row[3] != 'closed'):
                                    buff.write('\t<item>\n')
                                    buff.write('\t\t<author>' + owner + '</author>\n')
                                    buff.write('\t\t<pubDate>' + timee  + '</pubDate>\n')
                                    buff.write('\t\t<title>' + row[1]  + '</title>\n')
                                    buff.write('\t\t<link>%(url)s/%(p)s/ticket/%(id)i</link>\n' % {'id' : row[0], 'p' : project, 'url' : url, })
                                    buff.write('\t\t<guid isPermaLink="false">%(url)s/%(p)s/ticket/%(id)i</guid>\n' % {'id' : row[0], 'p' : project, 'url' : url, })
                                    buff.write('\t\t<description>' + description +'</description>\n')
                                    buff.write('\t\t<category>Report</category>\n')
                                    buff.write('\t</item>\n')

            buff.write('</channel>\n</rss>')

            table = buff.getvalue()

            buff.close()

            return table
    return 'error'
]]> http://www.developers-life.com/making-rss-tape-all-projects-trac-a.html/feed 0 Пишем свою статистику посещения на Python http://www.developers-life.com/writing-his-visitation-statistics-on-python.html http://www.developers-life.com/writing-his-visitation-statistics-on-python.html#comments Thu, 04 Sep 2008 05:44:54 +0000 Vladimir Boychentsov http://developers-life.com/?p=77 И так, продолжаем играться с питоном и попробуем написать статистику посещений для сайта. Для реализации воспользуемся связкой python и sqlite.
Я постараюсь рассказать про мой подход к написанию статистики для одного своего сайта написанного на питоне.

Создаем базу для статистики с одной единственной таблицей.
setup.py

1
2
3
4
5
6
7
8
9
10
11
# -*- coding: utf-8 -*-

import sqlite3

connection = sqlite3.connect('statistics.db')
cursor = connection.cursor()

cursor.execute('CREATE TABLE daily (id INTEGER PRIMARY KEY, time, uri, referer, user_agent, ip)')

cursor.close()
connection.close()

Для сбора статистики будем помещать в базу информацию о каждом запросе. У меня все запросы проходят через файл core.py так что в начале этого файла пишем код такого вида

1
2
3
4
5
6
7
8
9
10
11
12
13
14
core.py

# -*- coding: utf-8 -*-

import sqlite3
import time

connection = sqlite3.connect('statistics.db')
cursor = connection.cursor()

cursor.execute('INSERT INTO daily (time, uri, referer, user_agent, ip) VALUES (%s, %s, %s, %s, %s)' % (time.time(), uri, refer, user_agent, ip))

cursor.close()
connection.close()

Отвлечемся немного на sqlite. Модуль sqlite3 реализует работу с базой через DB-API 2.0. При таком подходе стандартная работа с базой выглядит так

connection = sqlite3.connect(‘файл БД’) — соединяемся с базой
cursor = connection.cursor() — получаем курсор, через него в дальнейшем выполняем все запросы

cursor.execute(запрос) — выполняем запрос

cursor.fetchone() — получить одну строку запроса
cursor.fetchall() — получить все строки запроса

connection.close() — закрываем соединение

В sqlite3 есть одна магическая команда, позволяющая обращаться к результатам выборки не только по индексу, но и по имени

1
connection.row_factory = sqlite3.Row

Теперь займемся самым легким, выбором из базы необходимых данных (мой подход возможно не самый оптимальный, так как вся нагрузка ложится на выборки, но все же)
Создадим класс для статистики.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
# -*- coding: utf-8 -*-

import sqlite3
from parser import Parser

class Stats(object):

def __init__(self, db):
self.__connection = sqlite3.connect(db)
self.__connection.row_factory = sqlite3.Row
self.__cursor = self.__connection.cursor()

self.__parser = Parser()
self.__connection.create_function('truncate_time', 1, self.__parser.truncate_time)
self.__connection.create_function('parse_os_type', 1, self.__parser.parse_os_type)
self.__connection.create_function('parse_os_version', 1, self.__parser.parse_os_version)
self.__connection.create_function('parse_browser_type', 1, self.__parser.parse_browser_type)
self.__connection.create_function('parse_browser_version', 1, self.__parser.parse_browser_version)

def __del__(self):
self.__connection.close()

def get_rows(self, query):
self.__cursor.execute(query)
return self.__cursor.fetchall()

def get_row(self, query):
self.__cursor.execute(query)
return self.__cursor.fetchone()

def get_row_count(self, query):
self.__cursor.execute(query)
count = 0

for row in self.__cursor.fetchall():
count = count + 1

return count

def os_type(self):
return self.get_rows('SELECT COUNT(id) count, parse_os_type(user_agent) os FROM daily GROUP BY os ORDER BY count DESC')

def os_version(self):
return self.get_rows('SELECT COUNT(id) count, parse_os_type(user_agent) os, parse_os_version(user_agent) version FROM daily GROUP BY os, version ORDER BY count DESC')

def browser_type(self):
return self.get_rows('SELECT COUNT(id) count, parse_browser_type(user_agent) browser FROM daily GROUP BY browser ORDER BY count DESC')

def browser_version(self):
return self.get_rows('SELECT COUNT(id) count, parse_browser_type(user_agent) browser, parse_browser_version(user_agent) version FROM daily GROUP BY browser, version ORDER BY count DESC')

def daily_stats(self):
return self.get_rows('SELECT COUNT(id) count, truncate_time(time) date FROM daily GROUP BY date ORDER BY date DESC')

def page_visited(self):
return self.get_rows('SELECT COUNT(id) count, uri FROM daily GROUP BY uri ORDER BY uri')

def all_unique(self):
return self.get_row_count('SELECT ip, truncate_time(time) date FROM daily GROUP BY ip, date')

def unique_for_date(self, date):
return self.get_row_count('SELECT ip, truncate_time(time) date FROM daily WHERE date = «%s» GROUP BY ip, date' % date)

def unique_for_period(self, begin, end):
return self.get_row_count('SELECT ip, truncate_time(time) date FROM daily WHERE date BETWEEN «%s» AND «%s» GROUP BY ip, date' % (begin, end))

def count(self):
result = self.get_row('SELECT COUNT(id) count FROM daily')
return result[0]

def get_all(self):
return self.get_rows('SELECT * FROM daily')

Класс Parser мы рассмотрим поздней, в нем реализованы методы для обработки запросов.
В примере я реализовал следующие функции:

truncate_time — переводим тип timestamp к формату dd.mm.yyyy
parse_os_type — выбираем из поля user_agent типы ОС
parse_os_version — выбираем из поля user_agent версии ОС
parse_browser_type — выбираем из поля user_agent типы браузеров
parse_browser_version — выбираем из поля user_agent версии браузеров

Функция create_function делает доступными методы питона в запросах sqlite, для выборки статистики будем активно пользоваться этой возможностью.
Нам надо зарегистрировать методы класса как функции в sqlite

1
2
3
4
5
create_function('truncate_time', 1, self.__parser.truncate_time)
create_function('parse_os_type', 1, self.__parser.parse_os_type)
create_function('parse_os_version', 1, self.__parser.parse_os_version)
create_function('parse_browser_type', 1, self.__parser.parse_browser_type)
create_function('parse_browser_version', 1, self.__parser.parse_browser_version)

Методы класса

get_rows, get_row, get_row_count — спомогательные методы
os_type — получаем типы ОС
os_version — типы ОС вместе с версиями
browser_type — типы браузеров
browser_version — типы и версии браузеров
daily_stats — количество хитов по дням
page_visited — посещенные страницы и количество хитов
all_unique, unique_for_date, unique_for_period — все уникальные посетители, на дату и за период
count — общее количество хитов
get_all — все записи

Ну а теперь сам парсер. Приведу сразу полный код класса, думаю там ничего сложного нет. При вызове метода в него передается поле из базы и обрабатывается.
# -*- coding: utf-8 -*-

import datetime
import string

class Parser(object):

def parse_os_type(self, user_agent):
user_agent = user_agent.lower()

if 'windows' in user_agent:
return 'windows'
if 'linux' in user_agent:
return 'linux'
if 'macintosh' in user_agent:
return 'mac'
if 'freebsd' in user_agent:
return 'bsd'

return 'unknown'

def parse_os_version(self, user_agent):
user_agent = user_agent.lower()

if 'windows' in user_agent:
if 'windows nt 6.0' in user_agent:
return 'vista'
if 'windows nt 5.2' in user_agent:

return '2003'
if 'windows nt 5.1' in user_agent:
return 'xp'
if 'windows nt 5.0' in user_agent:
return '2000'
if 'windows nt 4.0' in user_agent:
return 'nt'
if 'windows 98' in user_agent:
return '98'
if 'windows 95' in user_agent:
return '95'

if 'macintosh' in user_agent:
start = user_agent.find('mac os x') + 8
return string.replace(user_agent[start: start + 7], '_', '.')

return 'unknown'

def parse_browser_type(self, user_agent):
user_agent = user_agent.lower()

if 'firefox' in user_agent:
return 'firefox'
if 'opera' in user_agent:
return 'opera'
if 'safari' in user_agent:
return 'safari'
if 'msie' in user_agent:
return 'ie'

return 'unknown'

def parse_browser_version(self, user_agent):
user_agent = user_agent.lower()

if 'firefox' in user_agent:
start = user_agent.find('firefox/') + 8
return user_agent[start: start + 3]

if 'opera' in user_agent:
start = user_agent.find('opera') + 5
return user_agent[start: start + 4]

if 'safari' in user_agent:
start = user_agent.find('version/') + 8
return user_agent[start: start + 4]

if 'msie' in user_agent:
start = user_agent.find('msie') + 4
return user_agent[start: start + 4]

return 'unknown'

def truncate_time(self, time):
date = datetime.datetime
return date.fromtimestamp(time).strftime('%d.%m.%Y')
Пример использования

1
statex = Stats(<span style="color: #a31515;">'statistics.db'</span>)

for row in statex.browser_type():
print '%s %s' % (row['browser'], row['count'])

for row in statex.os_type():
print '%s %s' % (row['os'], row['count'])
У меня в проекте это выглядит примерно так.
Выполняю запрос и передаю его в шаблон:
statex = Stats('statistics.db')
total = statex.count()

if (re.match(r'^(.*)/os(\/*)$', req.uri)):
os_types = []
for row in statex.os_type():
os_types.append({'name': row['os'], 'count': row['count'], 'percent': calc_percent(total, row['count'])})

os_versions = []
for row in statex.os_version():
os_versions.append({'name': row['os'], 'version': row['version'], 'count': row['count'], 'percent': calc_percent(total, row['count'])})

template = Template(filename=path + '/templates/os.tpl', format_exceptions=True)
req.content_type = 'text/html'
req.write(template.render(os_types=os_types, os_versions=os_versions, fetch_time=round(time.time() — start, 3)))
В шаблоне рисую табличку
<h1>OS</h1>

</p>

% for row in os_types:
${row['name']} ${row['count']} ${row['percent']}</br>
% endfor

<h1>OS Versions</h1>

% for row in os_versions:
${row['name']} ${row['version']} ${row['count']} ${row['percent']}</br>
% endfor

</p>

Fetch time: ${fetch_time}
Все. Дорабатывайте парсер и запросы под свои нужды.

P.S. Да бы меня не уличие в велосипедостроении, прошу считать данный пост примером к использованию sqlite3 и python :)

]]> http://www.developers-life.com/writing-his-visitation-statistics-on-python.html/feed 0 Web Admin Permissions for Trac 0.10 http://www.developers-life.com/web-admin-permissions-for-trac-010.html http://www.developers-life.com/web-admin-permissions-for-trac-010.html#comments Wed, 03 Sep 2008 17:11:11 +0000 Vladimir Boychentsov http://developers-life.com/?p=14 Плагин для управления правами доступа пользователей (Web Admin Permissions)  WebAdminPerm совмести с Trac 0.10. Легок в установке и настройке.

В версии трака Trac 0.11dev это реализовано, но так-как это dev версия она не стабильна, а этот плагин полноценно заменяет возможности управления правами.

Установив плагин нужно указать в trac.ini в секци [components] следующую строку:
webadminperm.perm.permissionadminpage = enabled

В данные момент разработка плагина приостановлена.

Скриншот в действии:

Trac Permission

]]> http://www.developers-life.com/web-admin-permissions-for-trac-010.html/feed 0