Category Archives: Web

Обо всём, что связано с WEB технологиями и мной

PHP Conf 2009 Kaunas

Posted on by
Reply

Да, да я пишу о PHP Conf 2009 Kaunas, который произошёл 2 месяца назад, ещё 21 апреля 2009 года. Как-то туго у меня со свободным временем и всё что осталось свободным от работы ты тратишь на семью и отдых.

О том, что организуется PHP конференция я узнал один из первых, так как меня пригласили туда организаторы и не пассивным слушателем. К сожаления конференция проходила в рабочий день, что было немного не удобно с моим напряжённым графиком. Но свободный день на работе мне дали очень легко — поэтому я согласился в ней участвовать.

Организаторы были в этом году теже, что и в прошлом: InfoShow и «Net Frequency». Всё происходило в центре дистанционного обучения Каунасского технологического университета.

Тема у меня благодатная: «PHP+MySQL проекты с огромной посещаемостью», информация по ней много в сети, и я сделал просто выборку по теме и подкрепил её своими жизненными примерами. Презентацию я сделал на ура за несколько часов в одно из воскресений после прогулок по магазинам с супругой. Потом потратил пару часов на доработку.

Поездка в Каунас прошла очень гладко — 100 км на автобусе проехать очень просто и не долго по автостраде. Музыка в плеере, 3G интернет в мобильном, пара звонков, включая организаторов: попросили выслать им презентацию заранее, что-бы перенесли её в нужный компьютер — переслал её прямо в пути через Gmail клиент в Nokia. Тут всё прошло без проблем.

Сама конференция в этом году прошла очень и очень интересно и я бы сказал на довольно высоком уровне.

Во первых, все докладчики подобрали очень интересные темы:
Rytis Lukoševičius — «Как стать лучшим программистом»
Очень понравилась идея «имени-бренда», очень правильные идеи относительно того что работа должна нравиться. Это не новость, но тема в наши дни я думаю очень актуальная для многих, особенно начинающих PHP программистов.

Rimantas Liubertas — «Дистрибутивные системы контроля версий: git, mercurial, bazaar»
Актуальная тема для многих — такие системы как git или bazaar становятся всё популярней и востребованней среди разработчиков. Беглое ознакомление с ними многим может помочь в дальнейшем при их изучении, да и за всеми новостями не всегда успееш.

Paulius Jačionis — «Как справиться с огромными потоками пользователей»
Человек представил именно свою визию (точнее команды, которая работает над проектом http://www.uzdarbis.lt/), как бороться с нагрузкой, которая образуется при больших потоках пользователей имея маленький парк машин. Очень рад, что я не один здесь и решения которые принимаю я совпадают с теми, что принимают они.

Edvinas Tamošiūnas — «Как новичку влиться в команду, быстро и эффективно»
Это была довольная весёлая презентация с серьёзными и не очень советами. Кто первый раз попадал в такую ситуацию — то они полезны, кто не раз менял работу — то наверняка уже имеет свою тактику.

Giedrius Kriščiukaitis — «За качество и эффективность»
Не ожидал такой открытой презентации о том, что происходит внутри отдельно взятой компании, методах и технологиях. Местами казалось, что работать в «Net Frequency» для меня было-бы вызовом.

Во вторых аудитория в зале задавала очень правильные и конкретные вопросы, а также делилась своим опытом, советами и замечаниями.

Понравилось замечания в адрес моей презентации от Giedrius Kriščiukaitis, что в ней не упомянуто ни одного способа как проверить максимальную нагрузку на разрабатываемом проекте, ни показаны числа. К сожаления у меня нет этих чисел и способов проверить — я работаю с проектом, который уже до меня разместили на нескольких серверах с распределением нагрузки и провести тесты на живом проекте не представляется возможным — ни сайт есть желание положить, ни канал с такой пропускной мощностью, так что многое делается «по приборам» и внутреннему чутью команды. Я покупать копию по «желеу» для этих нужд никто не будет.

Что не понравилось, так то, что Tomas Liubinas и Vladas Diržys не представили свои темы: «OXID eShop Community Edition» и «Не изобретай велосипед, используй framework. Плюсы Zend Framework». Я очень ждал этих презентаций.

На after-party я не пошёл, так как предстояла дорога домой, дома ждала любящая супруга и вкусный ужин. Да и не любитель я пить пиво вечером в другом городе, если потом ехать куда-то надо.

NGINX, PHP-FPM и загрузка файлов по HTTP

Posted on by
2

Наверно недели 3 сидел у меня в голове вопрос на тему NGINX + PHP-FPM (FastCGI) и как они будут работать с загрузкой файла по HTTP, если PHP-FPM процесс крутиться на другом сервере.

Сегодня наконец выпала возможность в конце рабочего дня собрать на 2 раздельных серверах такую конфигурацию, когда NGINX находиться на одном сервере, а процессы PHP-FPM на другом и NGINX весь .php прогоняет именно через те процессы, что крутятся удалённо.

Весь этот эксперимент проходил на Ubuntu Server 8.10, так что проблем с установкой или сборкой PHP или NGINX у меня не возникло. Единственное, что я сделал не верно и что меня затормозило на пол часа, так это конфигурация NGINX — я упустил строку, в которой PHP файлы указывалось искать не в Document Root, а в /scripts.

Собрать из HTML форму для загрузки файла не составляет труда, добросить за несколько минут туда PHP код, который сделает var_dump($_FILES); и отдаст содержимое загружаемого файла тоже не сложно.

Прицепить маленький текстовый файл и нажать на «Submit» ещё проще. И что же видно в результате? Всё работает идеально. Файл загружен при помощи POST на сервер с NGINX, а там передан к PHP-FPM и уже PHP-обработчик с ним работает как ему/вам угодно — что меня очень радует. Всё работает «out of the box» и никаких особых шаманских танцев не нужно.

Что огорчает, так что PHP-FPM до сих пор не входит ни в стандартную поставку PHP ни в какие-либо пакеты в стандартных дистрибутивах Linux — таскать за собой какие-либо Perl или Lighttpd spawn-скрипты не хочется, плюс те возможности, которые представляет PHP-FPM делает его очень вкусным.

Ещё огорчает, что PHP-FPM это patch к PHP и после его установки установить какой-либо модуль из PECL становиться намного сложнее если вы его хотите скомпилировать со static – приходиться использовать phpize.

Но вообще, эксперимент считаю удавшимся — сборка системы с NGINX + PHP-FPM не представляет сложности и я давно хотел испытать такую конфигурацию хотя-бы в парниковых условиях.

Zend_View и encoding

Posted on by
2

Смотрю я теперь на исходный код Zend_Controller_Front , Zend_Controller_Action, Zend_View, а также на Zend_View_Abstract у Zend Framework версии 1.7.3, чтоб понять, как в них обстоят дела с encoding.

Продолжая тему MySQL + PHP: charset и collation и правильные мысли и изучение векторов, которые подкинул Алексей Захлестин, я наткнулся на замечательный private член класса Zend_View_Abstract под названием $_encoding, со значением ISO-8859-1. Так-же в этом классе я нашёл как в Zend_View_Abstract устроен метод escape. Этот $_encoding на него влияет, так как в методе escape он является третьим параметром к функциям htmlspecialchars или htmlentities (какую из них использовать вы тоже можете настроить).

Вот смотрю я на их исходный код и понять не могу, как нормальным и безболезненным способом в объект Zend_View передать мне нужный encoding? Везде в уроках по Zend Framework можно увидеть, как во всех View используют строку <meta http-equiv=”Content-Type” content=”text/html; charset=UTF-8″ /> или соответствующую строку из helpers API у Zend_View, но я нигде не замечал как сменить внутреннюю настройку. Ну, кроме наисложнейших манипуляций со всей иерархией bootsrap, ведь есть замечательный helper Zend_View_Helper_Doctype.

Ведь, если бы была единая настройка encoding для всех компонентов Zend Framework, как бы было удобно и не возникала таких проблем, как были у нас. Разработчикам не нужно было-бы думать о том, в каком encoding у них клиент для работы с базой данных, в каком encoding у них страницы, в каком encoding у них остальные используемые компоненты Zend Framework — обо всём позаботились бы в одном месте и сразу.

Может я чего упустил — ткните в соответствующий урок или страницу мануала.

MySQL + PHP: charset и collation

Posted on by
6

Работаю я над одним проектом, где в день проноситься до миллиона уникальных посетителей в день. Для этого проекта я с командой работаю над маленьким сателлитом, назначения которого не имеет столь весомого значения, сколько имеет значение проблема, с которой я сегодня столкнулся. И нам крупно повезло, что кол-во данных сейчас на сателлите мизерное и он пока находиться в стадии тестирования и нагрузка на нём растёт постепенно.

Проект пишется на PHP 5.2.x + MySQL 5.0 Так как проект международный, база сателлита находиться в collation utf8_unicode_ci.

У сателлита есть 2 части: так называемая клиентская и административная. Клиентская доступна всем и дёргается постоянно, административная только администраторам, ею пользуются раз в неделю примерно пока.

Клиентская часть, из-за ожидаемой нагрузки, писалась полностью мною, без использования каких-либо фреймворков, каркасов и прочего. Благо её простейшие функции позволяли это сделать быстро. Естественно, в качестве MySQL клиента был выбран mysqli, всё как надо, сразу после соединения был выставлен нужный charset, строго как в мануале:

$conn->set_charset("utf8")

Сам mysqli был выбран потому-что проект новый и у него вроде-как получше с поддержкой UTF-8 всё устроено.

Административная часть писалась коллегой, на пару со мной, причём ответственность за качество кода лежит на мне. Для большей скорости написания мы использовали Zend Framework, который мы оба довольно не плохо освоили к этому моменту. К тому-же, административная часть имела куда больше функций и меньше нагрузки, нежели клиентская. Единственное разногласие, которое у нас было с коллегой, это использовать или нет Zend_Form или нет из-за очень сложной кастомизации самих форм и их декораторов, неразумного использования комбинации <dd> и &ltdt> вокруг скрытых полей и прочих мелких религиозных и языковых разногласий. Ни одному из нас не возник простейший вопрос, как устроен другой компонент — Zend_Db. Определит ли он сам charset и collation, который мы используем и нам нужен или будет использовать тот, что установлен по умолчанию. И вот, сегодня мы поняли что мы выстрелили себе в ногу примерно две недели назад — не то пуля летело медленно и наконец долетела, не то порох сырой ныл и сработал только сейчас.

Я всегда думал, что умный Zend_Db как-то сам узнает какой нужно charset и collation использовать, раз он сам узнаёт какие поля у таблицы и какие значения туда можно писать, а какие нет. Оказалось что нет… Я был не прав и ему об этом нужно грубо говорить (ну или клиенту вдолбить в настройки по умолчанию).

Поэтому в самом начале ему пришлось прописать следующие строку сразу после инициализации:

$db->query('SET CHARACTER SET utf8');

Теоретически, если следовать документации Configuring the Character Set and Collation for Applications, хватило-бы только SET NAMES ‘utf8′, но в таком случае collation остался бы utf8_general_ci — а нам этого не хочется. Поэтому, копнув немного глубже, в Connection Character Sets and Collations, было найдено SET CHARACTER SET utf8.

После данных изменений со стороны административной части на Zend Framework, замены $conn->set_charset(“utf8″); тоже на $conn->query(‘SET CHARACTER SET utf8′); и правок в базе данных всё заработало прекраснейшим образом.

Я вот понять не могу, почему у Zend Framework нигде об этой проблеме не написано? Зачем у mysqli есть метод mysqli::set_charset, если он меняет collation на верный? Почему в PHP мануале написано не использовать «старый дедовский способ с SET NAMES»?

Вообще, если посмотреть на то, что я встречаю в других проектах, которые попадают к нам на поддержку или консультации, много кто зарывается на этих charset и collation к сожалению, особенно на мультиязычных проектах.

PHP PECL GeoIP 1.0.6 и 64битовая платформа

Posted on by
Reply

Если ещё когда-нибудь придётся компилировать PHP extension GeoIP версии 1.0.6 из PECL под 64битовой платформой для PHP 5.2.8 вместе с FPM при помощи phpize – в файл php_geoip.h нужно добавить:

#define LIBGEOIP_VERSION 1004001

Мне помогло и работает.

Не сам я нашёл, взято с форума MaxMind

EuroPython 2008 день три

Posted on by
3

Michael Meinel: FlowSimulator – к сожалению я опоздал на эту презентацию и за последние 15 минут уже ничего не понял.

Jussi Rasinmäki: Small Team, Big Demands? – Use the Batteries Included – Что стало очень ясно, так что что Финские лесничие вполне овладели Python, XML и даже немного SQL и очень чуть чуть C. Так они создали симулятор предназначенный для менеджмента и планирования вырубки леса. Очень интересная история создания программы, эволюция от C + libxml2 до Python. С какими проблемами столкнулись, какая скорость написания кода, какя скорость написанного кода по отношению к коду на C. Довольно серьёзно всё. Очень жаль что Jussi Rasinmäki не представил интерфейсов системы о только один пример отчёта, очень слабо понятный среднему питонисту.

Raymond D. Hettinger: Core Python Containers – Under the Hood – Ну что хотеть, когда к вам приезжает кто-то из core developer for the Python language. Только чуда. И оно было. Замечательная презентация, отлично изложен материал, примеры и пояснения тоже на высоте, понятный английский язык. Сразу видно, что человек знает своё дело, понимает что к чему и ни капли не сомневается в своей правоте, даже при вопросах, которые могут потребовать более глубокого анализа ситуации. Вообще, после такой презентации, как устроены некоторые компоненты Python, как устроен менеджмент памяти, почему именно такие решения начинаешь очень сильно уважать этот язык. 10 балов!

Nicolas Chauvat: LAX – Logilab AppEngine eXtension – Можеть быть это расширение было-бы куда более понятным, если бы его хорошо представили и подготовили примеры. К сожалению все примеры увенчались почти неудачами. Конечно, готовая административная часть для Google AppEngine, очень схожая с Django тоже не плохо, но готовиться нужно лучше.

Adam Byrtek: Why It’s Good To Be Lazy: Functional Programming with Python – паренёк конечно маньяк, но ещё сам Guido van Rossum в понедельник сказал, что Python нифига не функциональный язык и не надо этим на нём этим заниматься. Но за старания и раскрытие темы я ему благодарен.

Gašper Žejn: Managing Computing Clouds on Unreliable Nodes with Python – А здесь я ожидал большего. Я ожидал опять-таки примеров и рекомендаций как это сделать. Да, они были, но их было маловато, хотелось немного больше.

Хотелось бы заметить что народ поделился ещё кой-какой информацией как используют Python: кто-то пишет дистрибутивную файловую систему под кодовым названием Byron, кто-то на нём программирует Hardware (Telic.pl) тем самым избегая дорогостоящих программистов на C.

Вобщем, потраченные 100 Euro на конференцию (кстати, оплатила всё Dip Studija) очень даже окупились. Погружение в мир Python на 3 дня дал очень много материала для размышлений. Я бы сказал мышление немного меняется после таких встреч.

EuroPython 2008 день два

Posted on by
Reply

Marc-André Lemburg: Designing Large-Scale Applications in Python – а знаете, ничего нового. Фундаментально он ничего совсем не сказал нового. Я думал будут менее абстрактные советы и примеры. Причём говорил тихо, с утра чуть не уснул.

Steve Alexander: Developing a Very Large Python Web Application LEAN style – тут я ожидал явных примеров из жизни, каких-то конфигураций, советов. А узнал, что нужно эксплуатировать Open Source и прочее yada-yada.

Jonathan Fine: Math on Web Pages and Mixed Language Programming – Вот посмотрите на название: Mixed Language Programming. я ожидал чего-то космического, можно сказать rocket science. Получил же пример (абстрактный) что некий университет разработал MathTran на основе TeX, где Python находиться как “смазка” между протоколом HTTP и демоном TeX. Бегло рассказали про решение (никаких особенностей и трудностей исполнения не представили), показали новый (ими разработанный) стандарт xson и немного показали как JavaScript может работать с Python (будто в этом есть сложность).

Raymond D. Hettinger: Descriptor Tutorial – Молодец! Тему раскрыли с третьего слайда, а оставшимися её очень и очень закрепили. Очень понятный английский язык, очень правильные слайды, очень хорошие примеры кода. Правильный темп, хорошая тема, полный зал слушателей. Всем очень понравилось. И темя, я думаю, очень актуальная. И не смотря на то, что она помечена как “Advanced”, она должна быть обязательной для начинающих.

Fabio Pliger: Freezing the Python – отдельное спасибо организаторам и докладчику. Очень актуальная тема. Как-бы не старались товарищи *nix’систы, а MS Windows не сильно сдаёт позиции. Писать инструкции: скачай то, запусти, нажми, установи, скачай, установи, скачай, установи очень и очень не интересно. Жаль правда, что решения пока не совсем стабильные и 200 MB egg файлов скомпилировать в .exe нам не удалось. Надо обязательно рассмотреть все 3 библиотеки: Py2exe, PuInstaller, BBFreeze. Но возможность собрать почти всё что угодно, написанное на Python в .exe меня очень и очень привлекает.

Stefan Behnel: The Cython Compiler for C-extensions in Python – Не знаю на сколько он реально работает и стабилен, но идея очень и очень хорошая. Тоже очень очень хочется попробывать как оно может работать. Как можно из Python библиотеки сдлеать C код и превратить его в Python extensions с на порядок большей скоростью исполнения.

А на закуску к нам приехал сам Hans Rosling. Представил нам тему: Code that makes sense of the world. Все слушали тихо, впитывая каждое слово этого Человека. Тема, слайды, темп – всё отлично. Один Gapminder что заслуживает. Когда он рассказал о том, с какими проблемами они сталкиваются при разработке, мне становиться их жалко. Flash, как оказалось, не поддерживал то количество кода, которое они написали для создания Gapminder. Собирать статистическую информацию о разных регионах/странах/районах очень сложно и дорого. Google им много помогает. Но мне нравиться цель, которую перед собой поставил Hans Rosling: дать доступ к глобальной статистической информации всем, кто имеет доступ к интернет сети и как можно более полной статистической информации. Очень правильная и благородная цель. Разработанные интерфейсы и возможности, представленные на конференции очень сильно расширяют взгляд на то что происходит и может изменить даже взгляд на жизнь. Вобщем, опять хочется поставить 10.

Из “халявы”: майка Bazaar и Google. Если Google я буду носить с удовольствием (особенно радует надпись на спине: I’m feeling lucky), то Bazaar изза странного отростка вниз носить как-то стрёмно.

EuroPython 2008 день один – что забыто сказать

Posted on by
2

Видимо вчера я полностью выдохся и забыл написать о двух докладах на EuroPython 2008.

Первый это Christian Theune: ZEORaid – Free, Reliable and Flexible ZODB Storage. Интересное решение для Python базы данных ZODB используя технологии RAID. Как утверждалось, она не имеет точки сбоя, но во время презентации сидящие в зале попросили симулировать одно условие и вдруг всё упало оплевав всех ужасными ошибками.

Второй это: Christian Scholz: Second Life and the Open Grid Protocol. А ребята не спят. переходят на REST, строят хитрую инфраструктуру и строят PyOGP. Почему именно Python они не сказали, т.е. сказали но так не прозрачно. Мне сложилось впечатление, что на них очень давит что сообщество интернета само стоит OpenSim на открытом коде и им хочется такой-же.

Что ещё заметил на конференции: почти все с лаптопами. Преобладают такие марки: Apple Mac Book (Pro в частности), Dell (Latitude), Lenovo/IBM ThinkPad, Asus EEE (701 модели). Wi-Fi очень медленный и очень капризный.

Когда во время общения с коллегами из западной Европы узнаёш какие ресурсы им предоставляют для разработки и тестирования проектов, слюнки конечно не текут, но зависть появляется за спиной.

Сидеть на конференции и впитывать всю информацию куда тяжелее, чем писать код на Python.