20.2. cgi – Поддержка Common Gateway Interface¶cgi – Common Gateway Interface support

20.2.1. Введение¶Introduction

CGI-скрипт вызывается HTTP-сервером, обычно для обработки пользовательского ввода, отправленного через элемент HTML <FORM> или <ISINDEX>.

Чаще всего CGI-скрипты находятся в специальном каталоге сервера cgi-bin. HTTP-сервер помещает различную информацию о запросе (например, имя хоста клиента, запрошенный URL, строку запроса и множество других полезных данных) в окружение оболочки скрипта, выполняет скрипт и отправляет вывод скрипта обратно клиенту.

Ввод скрипта также подключён к клиенту, и иногда данные формы читаются таким образом; в других случаях данные формы передаются через часть URL «строка запроса». Этот модуль предназначен для обработки различных ситуаций и предоставления более простого интерфейса для Python-скрипта. Он также предоставляет ряд утилит, помогающих при отладке скриптов, и последним дополнением является поддержка загрузки файлов из формы (если браузер это поддерживает).

Вывод CGI-скрипта должен состоять из двух разделов, разделённых пустой строкой. Первый раздел содержит несколько заголовков, сообщающих клиенту, какие данные следуют. Код Python для генерации минимального раздела заголовков выглядит так:

print "Content-Type: text/html"     # Далее HTML
print                               # пустая строка, конец заголовков

Второй раздел обычно представляет собой HTML, что позволяет клиентскому программному обеспечению отображать красиво отформатированный текст с заголовками, встроенными изображениями и т.д. Вот код Python, выводящий простой фрагмент HTML:

print "<TITLE>CGI script output</TITLE>"
print "<H1>This is my first CGI script</H1>"
print "Hello, world!"

20.2.2. Использование модуля cgi¶Using the cgi module

Начните с записи import cgi. Не используйте from cgi import * – модуль определяет множество имён для собственных нужд или для обратной совместимости, которые не нужны в вашем пространстве имён.

При написании нового скрипта стоит добавить следующие строки:

import cgitb
cgitb.enable()

Это активирует специальный обработчик исключений, который будет выводить подробные отчеты в веб-браузере при возникновении ошибок. Если вы не хотите показывать пользователям вашего скрипта внутренности программы, можно вместо этого сохранять отчеты в файлы с помощью такого кода:

import cgitb
cgitb.enable(display=0, logdir="/path/to/logdir")

Очень полезно использовать эту возможность при разработке скрипта. Отчёты, создаваемые cgitb, предоставляют информацию, которая может сэкономить много времени при поиске ошибок. Строку cgitb можно удалить позже, когда скрипт будет протестирован и будет уверенность, что он работает правильно.

Для получения отправленных данных формы лучше всего использовать класс FieldStorage. Остальные классы, определённые в этом модуле, предоставлены в основном для обратной совместимости. Создавайте экземпляр ровно один раз, без аргументов. Он читает содержимое формы из стандартного ввода или окружения (в зависимости от значений различных переменных окружения, установленных по стандарту CGI). Поскольку он может потреблять стандартный ввод, его следует создавать только один раз.

Экземпляр FieldStorage можно индексировать как словарь Python. Он позволяет проверять наличие ключей оператором in, а также поддерживает стандартный метод словаря keys() и встроенную функцию len(). Поля формы, содержащие пустые строки, игнорируются и не появляются в словаре; чтобы сохранить такие значения, укажите истинное значение для необязательного именованного параметра keep_blank_values при создании экземпляра FieldStorage.

Например, следующий код (предполагается, что заголовок Content-Type и пустая строка уже выведены) проверяет, что поля name и addr установлены в непустую строку:

form = cgi.FieldStorage()
if "name" not in form or "addr" not in form:
    print "<H1>Error</H1>"
    print "Please fill in the name and addr fields."
    return
print "<p>name:", form["name"].value
print "<p>addr:", form["addr"].value
...further form processing here...

Здесь поля, доступные через form[key], сами являются экземплярами FieldStorage (или MiniFieldStorage, в зависимости от кодировки формы). Атрибут value экземпляра даёт строковое значение поля. Метод getvalue() возвращает это строковое значение напрямую; он также принимает необязательный второй аргумент – значение по умолчанию, возвращаемое, если запрошенный ключ отсутствует.

Если отправленные данные формы содержат несколько полей с одинаковым именем, объект, полученный через form[key], будет не экземпляром FieldStorage или MiniFieldStorage, а списком таких экземпляров. Аналогично в этой ситуации form.getvalue(key) вернёт список строк. Если предполагается такая возможность (когда HTML-форма содержит несколько полей с одинаковым именем), используйте метод getlist(), который всегда возвращает список значений (чтобы не требовалось обрабатывать случай одного элемента отдельно). Например, следующий код объединяет любое количество полей с именами пользователей через запятую:

value = form.getlist("username")
usernames = ",".join(value)

Если поле представляет загруженный файл, обращение к значению через атрибут value или метод getvalue() считывает весь файл в память как строку. Это может быть не то, что нужно. Можно проверить, является ли поле загруженным файлом, проверив атрибут filename или атрибут file. Затем можно прочитать данные из атрибута file:

fileitem = form["userfile"]
if fileitem.file:
    # Это загруженный файл; подсчитать строки
    linecount = 0
    while 1:
        line = fileitem.file.readline()
        if not line: break
        linecount = linecount + 1

Если при получении содержимого загруженного файла возникает ошибка (например, пользователь прерывает отправку формы, нажав кнопку «Назад» или «Отмена»), атрибут done объекта поля будет установлен в значение -1.

Проект стандарта загрузки файлов предусматривает возможность загрузки нескольких файлов из одного поля (с использованием рекурсивной кодировки multipart/*). В этом случае элемент будет представлять собой словареподобный элемент FieldStorage. Это можно определить, проверив его атрибут type, который должен быть равен multipart/form-data (или, возможно, другому MIME-типу, соответствующему multipart/*). В этом случае его можно рекурсивно перебирать так же, как объект формы верхнего уровня.

Когда форма отправляется в «старом» формате (как строка запроса или как одна часть данных типа application/x-www-form-urlencoded), элементы на самом деле будут экземплярами класса MiniFieldStorage. В этом случае атрибуты list, file и filename всегда равны None.

Форма, отправленная через POST и имеющая также строку запроса, будет содержать элементы как FieldStorage, так и MiniFieldStorage.

20.2.3. Интерфейс более высокого уровня¶Higher Level Interface

В предыдущем разделе объясняется, как читать данные CGI-формы с помощью класса FieldStorage. В этом разделе описывается интерфейс более высокого уровня, который был добавлен в этот класс, чтобы позволить делать это более читабельным и интуитивным способом. Этот интерфейс не делает методы, описанные в предыдущих разделах, устаревшими – они по-прежнему полезны, например, для эффективной обработки загрузки файлов.

Интерфейс состоит из двух простых методов. С их помощью можно обрабатывать данные формы универсально, не задумываясь о том, было ли отправлено одно или несколько значений под одним именем.

В предыдущем разделе было показано, как писать следующий код каждый раз, когда ожидается, что пользователь отправит несколько значений под одним именем:

item = form.getvalue("item")
if isinstance(item, list):
    # Пользователь запрашивает более одного элемента.
else:
    # Пользователь запрашивает только один элемент.

Такая ситуация часто возникает, например, когда форма содержит группу флажков с одинаковым именем:

<input type="checkbox" name="item" value="1" />
<input type="checkbox" name="item" value="2" />

Однако в большинстве случаев в форме есть только один элемент управления с определённым именем, и тогда ожидается и требуется только одно значение, связанное с этим именем. Поэтому пишется скрипт, содержащий, например, такой код:

user = form.getvalue("user").upper()

Проблема в том, что не следует рассчитывать, что клиент всегда будет передавать корректные данные в скрипты. Например, если любопытный пользователь добавит ещё одну пару user=foo в строку запроса, скрипт аварийно завершится, потому что в этом случае вызов метода getvalue("user") вернёт список вместо строки. Вызов метода upper() для списка недопустим (поскольку у списков нет метода с таким именем) и приводит к исключению AttributeError.

Поэтому единственным правильным способом чтения значений данных формы было всегда использовать код, проверяющий, является ли полученное значение одиночным или списком значений. Это утомительно и снижает читаемость скриптов.

Более удобный подход – использовать методы getfirst() и getlist(), предоставляемые этим интерфейсом более высокого уровня.

FieldStorage.getfirst(name[, default])¶

Этот метод всегда возвращает только одно значение, связанное с полем формы name. Метод возвращает только первое значение, если под этим именем было отправлено несколько значений. Обратите внимание, что порядок получения значений может различаться в разных браузерах, и полагаться на него не стоит. 1 Если такого поля формы или значения не существует, метод возвращает значение, указанное в необязательном параметре default. Этот параметр по умолчанию равен None, если не указан.

FieldStorage.getlist(name)¶

Этот метод всегда возвращает список значений, связанных с полем формы name. Метод возвращает пустой список, если для name не существует такого поля или значения. Возвращает список из одного элемента, если существует только одно значение.

С помощью этих методов можно писать компактный код:

import cgi
form = cgi.FieldStorage()
user = form.getfirst("user", "").upper()    # Так это безопасно.
for item in form.getlist("item"):
    do_something(item)

20.2.4. Старые классы¶Old classes

SvFormContentDict сохраняет содержимое формы с единственным значением как словарь; предполагается, что каждое имя поля встречается в форме только один раз.

FormContentDict сохраняет содержимое формы с множественными значениями в виде словаря (элементы формы – это списки значений). Полезно, если форма содержит несколько полей с одинаковым именем.

Другие классы (FormContent, InterpFormContentDict) присутствуют только для обратной совместимости с очень старыми приложениями.

20.2.5. Функции¶Functions

Они полезны, если нужен более тонкий контроль или если требуется использовать некоторые алгоритмы, реализованные в этом модуле, в других ситуациях.

cgi.parse(fp[, environ[, keep_blank_values[, strict_parsing]]])¶

Разбирает запрос из окружения или из файла (файл по умолчанию sys.stdin и окружение по умолчанию os.environ). Параметры keep_blank_values и strict_parsing передаются в urlparse.parse_qs() без изменений.

cgi.parse_qs(qs[, keep_blank_values[, strict_parsing[, max_num_fields]]])¶

Эта функция устарела в данном модуле. Вместо неё используйте urlparse.parse_qs() . Она сохраняется здесь только для обратной совместимости.

cgi.parse_qsl(qs[, keep_blank_values[, strict_parsing[, max_num_fields]]])¶

Эта функция устарела в данном модуле. Вместо неё используйте urlparse.parse_qsl() . Она сохраняется здесь только для обратной совместимости.

cgi.parse_multipart(fp, pdict)¶

Разбирает входные данные типа multipart/form-data (для загрузки файлов). Аргументы: fp – входной файл, pdict – словарь, содержащий другие параметры из заголовка Content-Type.

Возвращает словарь, как и urlparse.parse_qs(): ключи – имена полей, каждое значение – список значений для этого поля. Этот способ прост в использовании, но не очень подходит, если ожидается загрузка мегабайт – в таком случае лучше использовать FieldStorage класс, который гораздо гибче.

Обратите внимание, что это не разбирает вложенные multipart-части – используйте FieldStorage для этого.

cgi.parse_header(string)¶

Разбирает MIME-заголовок (например, Content-Type) на основное значение и словарь параметров.

cgi.test()¶

Надёжный тестовый CGI-скрипт, который можно использовать как основную программу. Выводит минимальные HTTP-заголовки и форматирует всю переданную скрипту информацию в виде HTML.

cgi.print_environ()¶

Форматирует окружение оболочки в формате HTML.

cgi.print_form(form)¶

Форматирование формы в HTML.

cgi.print_directory()¶

Форматирование текущей директории в HTML.

cgi.print_environ_usage()¶

Вывод в HTML списка полезных переменных окружения (используемых CGI).

cgi.escape(s[, quote])¶

Преобразует символы '&', '<' и '>' в строке s в безопасные для HTML последовательности. Используйте эту функцию, если нужно отобразить текст, который может содержать такие символы в HTML. Если необязательный флаг quote равен true, символ кавычки (") также преобразуется; это помогает при включении в значение атрибута HTML, ограниченное двойными кавычками, как в <a href="...">. Обратите внимание, что одинарные кавычки никогда не преобразуются.

Если значение, которое нужно заключить в кавычки, может содержать одинарные или двойные кавычки, или оба типа, рассмотрите возможность использования функции quoteattr() из модуля xml.sax.saxutils.

20.2.6. Забота о безопасности¶Caring about security

Важно запомнить одно правило: если вы вызываете внешнюю программу (через функции os.system() или os.popen() или другие с похожей функциональностью), убедитесь, что вы не передаёте оболочке произвольные строки, полученные от клиента. Это известная уязвимость безопасности, с помощью которой умные хакеры, где бы они ни были в Интернете, могут использовать доверчивый CGI-скрипт для вызова произвольных команд оболочки. Даже частям URL или именам полей нельзя доверять, поскольку запрос не обязательно должен поступать от вашей формы!

Чтобы быть в безопасности, если вам всё же нужно передать строку из формы команде оболочки, стоит убедиться, что строка содержит только буквенно-цифровые символы, дефисы, символы подчёркивания и точки.

20.2.7. Установка CGI-скрипта в Unix-системе¶Installing your CGI script on a Unix system

Прочтите документацию вашего HTTP-сервера и уточните у местного системного администратора директорию, куда следует устанавливать CGI-скрипты; обычно это директория cgi-bin в дереве сервера.

Убедитесь, что скрипт доступен для чтения и выполнения «другими»; файловая маска Unix должна быть 0755 в восьмеричном виде (используйте chmod 0755 filename). Проверьте, что первая строка скрипта содержит #! начиная с первой позиции, за которым следует путь к интерпретатору Python, например:

#!/usr/local/bin/python

Убедитесь, что интерпретатор Python существует и доступен для выполнения «другими».

Убедитесь, что любые файлы, которые скрипт должен читать или писать, доступны для чтения или записи «другим» – их права должны быть 0644 для чтения и 0666 для записи. Это связано с тем, что из соображений безопасности HTTP-сервер выполняет скрипт от имени пользователя «nobody», без каких-либо особых привилегий. Он может только читать (писать, выполнять) файлы, которые доступны всем на чтение (запись, выполнение). Текущая директория во время выполнения тоже отличается (обычно это каталог cgi-bin сервера), и набор переменных окружения отличается от того, что получается при входе в систему. В частности, не рассчитывайте, что путь поиска исполняемых файлов оболочки (PATH) или путь поиска модулей Python (PYTHONPATH) будут установлены во что-то содержательное.

Если вам нужно загружать модули из директории, которой нет в пути поиска модулей Python по умолчанию, можно изменить путь в скрипте перед импортом других модулей. Например:

import sys
sys.path.insert(0, "/usr/home/joe/lib/python")
sys.path.insert(0, "/usr/local/lib/python")

(Так директория, вставленная последней, будет просматриваться первой!)

Инструкции для систем, отличных от Unix, различаются; ознакомьтесь с документацией вашего HTTP-сервера (обычно в ней есть раздел о CGI-скриптах).

20.2.8. Тестирование CGI-скрипта¶Testing your CGI script

К сожалению, CGI-скрипт обычно не работает при запуске из командной строки, а скрипт, отлично работающий в командной строке, может таинственно отказываться при запуске через сервер. Но есть одна причина, по которой всё же стоит тестировать скрипт из командной строки: если в нём есть синтаксическая ошибка, интерпретатор Python вообще не выполнит его, и HTTP-сервер, скорее всего, отправит клиенту малопонятную ошибку.

Если в скрипте нет синтаксических ошибок, но он всё равно не работает, ничего не остаётся, кроме как прочитать следующий раздел.

20.2.9. Отладка CGI-скриптов¶Debugging CGI scripts

Прежде всего, проверьте тривиальные ошибки установки – чтение раздела выше о тщательной установке CGI-скрипта может сэкономить вам много времени. Если вы сомневаетесь, правильно ли поняли процедуру установки, попробуйте установить копию этого файла модуля (cgi.py) в качестве CGI-скрипта. При запуске как скрипта файл выведет своё окружение и содержимое формы в HTML-виде. Установите правильные права доступа и т.п. и отправьте ему запрос. Если он установлен в стандартную директорию cgi-bin, должно быть возможно отправить ему запрос, введя URL в браузер в форме:

http://yourhostname/cgi-bin/cgi.py?name=Joe+Blow&addr=At+Home

Если это даёт ошибку типа 404, сервер не может найти скрипт – возможно, нужно установить его в другую директорию. Если возникает другая ошибка, значит есть проблема с установкой, которую нужно исправить, прежде чем продолжать. Если вы получаете аккуратно отформатированный список окружения и содержимого формы (в этом примере поля должны отображаться как «addr» со значением «At Home» и «name» со значением «Joe Blow»), значит скрипт cgi.py установлен правильно. Если повторить ту же процедуру для вашего собственного скрипта, теперь вы сможете его отлаживать.

Следующим шагом может быть вызов функции test() модуля cgi из вашего скрипта: замените его основной код единственным оператором

cgi.test()

Это должно дать те же результаты, что и при установке самого файла cgi.py.

Когда обычный скрипт Python вызывает необработанное исключение (по любой причине: опечатка в имени модуля, файл, который не удаётся открыть, и т.п.), интерпретатор Python печатает подробную трассировку и завершает работу. Хотя интерпретатор Python всё ещё делает это, когда ваш CGI-скрипт вызывает исключение, скорее всего, трассировка попадёт в один из журнальных файлов HTTP-сервера или вообще будет отброшена.

К счастью, если вам удалось заставить ваш скрипт выполнить какой-либо код, вы можете легко отправлять трассировки в веб-браузер с помощью модуля cgitb. Если вы еще этого не сделали, просто добавьте строки:

import cgitb
cgitb.enable()

в начало скрипта. Затем попробуйте запустить его снова; при возникновении проблемы вы увидите подробный отчёт, который, вероятно, укажет на причину сбоя.

Если вы подозреваете, что может быть проблема с импортом модуля cgitb, можно использовать ещё более надёжный подход (использующий только встроенные модули):

import sys
sys.stderr = sys.stdout
print "Content-Type: text/plain"
print
...your code here...

Этот подход полагается на интерпретатор Python для печати трассировки. Тип содержимого вывода устанавливается в обычный текст, что отключает всю обработку HTML. Если ваш скрипт работает, сырой HTML будет отображён клиентом. Если он вызывает исключение, скорее всего, после вывода первых двух строк будет показана трассировка. Поскольку интерпретация HTML не происходит, трассировка будет читаемой.

20.2.10. Частые проблемы и их решения¶Common problems and solutions

• Большинство HTTP-серверов буферизуют вывод CGI-скриптов до завершения скрипта. Это означает, что невозможно отображать индикатор выполнения на экране клиента во время работы скрипта.

• Проверьте инструкции по установке выше.

• Проверьте файлы журнала HTTP-сервера. (tail -f logfile в отдельном окне может оказаться полезным!)

• Всегда сначала проверяйте скрипт на синтаксические ошибки, выполнив что-то вроде python script.py.

• Если в скрипте нет синтаксических ошибок, попробуйте добавить import cgitb; cgitb.enable() в начало скрипта.

• При вызове внешних программ убедитесь, что они могут быть найдены. Обычно это означает использование абсолютных путей – PATH обычно не содержит полезного значения в CGI-скрипте.

• При чтении или записи внешних файлов убедитесь, что они могут быть прочитаны или записаны идентификатором пользователя (userid), от имени которого будет выполняться CGI-скрипт: обычно это идентификатор пользователя, под которым работает веб-сервер, или явно указанный идентификатор для функции suexec веб-сервера.

• Не пытайтесь установить CGI-скрипту режим set-uid. На большинстве систем это не работает и к тому же создаёт угрозу безопасности.

Сноски

1

Обратите внимание, что некоторые последние версии спецификации HTML действительно указывают, в каком порядке должны передаваться значения полей, но выяснить, был ли запрос получен от соответствующего стандарту браузера или вообще от браузера, утомительно и чревато ошибками.