Google AppEngine & Twitter блог

Google webmaster tools - хороший инструмент!

2010-02-08T15:08:00.010+02:00

Недавно решил разобраться почему поисковый траффик на блог составляет лишь около 10% от общего. Подключил проект к Google Webmaster Tools и - ооо ужас! Гугл считает что мой блог посвящен описанию тегов HTML :))

Думаю виной всему кривой шаблон TicTac от Blogger.com

Webmaster tools имеет и другие полезные функции, которые не даст система типа Google Analytics, например:

Crawl stats
Crawl errors
HTML suggestions (типа не уникальные page titles, meta descriptions)

Но особо мне понравилась информация о Site Performance:

Она указывает что именно замедляет загрузку страницы и дает конкретные цифры. Супер! Видно насколько внешний javascript или не gzip-нутый css тормозят скорость загрузки сайта.

Так что советую всем использовать этот инструмент в дополнение к Google Analytics!

Статистика twitter по городам Украины

2010-02-03T12:04:00.011+02:00

Провел 7-дневный сбор статистики о активных пользователях твиттера по городам Украины.

Итого за неделю в Киеве твитнуло 3.5 тыс человек, по Украине - около 5тыс.

- по моим оценкам 20% процентов активных пользователей твиттер в Украине - это всевозможные продавцы, рекламщики, корпоративные аккаунты, масс-фолловеры и т.п.

+ в статистике не учтены те кто не указывает свой location в профиле, таких тоже много

+ в данных по Украине учитывается лишь статистика по больших городах (кроме Одессы)

Статистика twitter по Украине, детальные результаты

Google Social Search работает!

2010-02-01T11:59:00.016+02:00

Вчера, занимаясь поисковой оптимизацией сайта, наткнулся на такой результат в выдаче гугла:

Обратите внимание на:

Results from people in your social circle for бары и рестораны киева - BETA - My social circle - My social content

...

Artem Dudarev - connected via Gmail

Т.е, в результатах запроса я отдельно получаю то, что написали люди из моего Gmail контакт-листа (в данном случае Артем Дударев). Я давно удивлялся почему Google, обладая наибольшим в мире социальным графом - никак его не использует? Ведь через связи в Gmail (contacts и активность переписки) можно определять друзей, друзей-друзей и тд. И на этом уже строить поиск, т.к. информация от близких/знакомых людей более ценна. И вот - началось! Гуглу только не хватает своего Twitter-а, чтобы получить мощний источник таких социальных публикаций. Пока для этого у него есть: google reader, blogspot.com, picasa.

Кстати, Google Social Search сильно перекликается с моей системой рекомендаций Recc.info . Я делаю, по сути, такой же социальный поиск, только по публикациям в Twitter и используя социальный граф твиттера.

Интересно как social search будет развиваться дальше?

На очереди поиск по социальному графу от Facebook и Twitter?

Запасной вариант на случай поломки сайта

2010-01-26T10:01:00.006+02:00

У меня вчера случилась неприятность - задеплоил сломанную версию сайта. Вроде и потестировал как надо, на продакшин данных - но подвел appengine, неожиданно начал ругаться при попытке кешировать результаты запроса:

PicklingError: Can't pickle : it's not found as __main__.Category

Причем:

В методе откуда это вылетает я сделал даже так:
def cacheRS(rs):
from recomm.tw import Category
memcache.set(key=CATS, value=rs)
+ импорт стоит, как полагается, вверху файла
На других версия приложения такой ошибки не наблюдается, только на default version

Вобщем, у кого есть идеи, откуда происходит такой глюк - пишите

И вот - в результате несколько посетителей вместо полезного контента увидели сообщение о неизвестной ошибке и ушли. Чтобы сгладить такие случаи в будущем я теперь всегда держу тщательно протестированную стабильную, старую версию и в случае ошибки предлагаю использовать ее. Типа так:

Основная версия: http://recc.info
Запасная: http://stable.latest.recsea.appspot.com
Текст ошибки теперь: "Неизвестная ошибка, попробуйте перезагрузить страницу. Если не помогает - можно использовать старую версию сайта."

В будущем думаю автоматизировать редирект на запасную версию после, скажем, трех вызовов log.error. Такой себе fallback.

javascript shell обзор

2010-01-22T10:34:00.011+02:00

Для тестирования и отладки, очень удобно выполнять куски javascript кода сами по себе, без привязки к browser-у. Также удобно играться с кодом в контексте открытой HTML страницы, исследовать DOM model, тестировать DOM API и тп.

Какие инструменты есть для этих целей?
Вот мой обзор интерактивных консолей для javascript:

Rhino shell -не требует браузера, использует Rhino engine, написано на Java, можно использовать java классы в javascript. Command line console поддерживает auto-completion. Есть также Rhino debugger.
JSDB - не требует браузера, использует движок Mozilla SpiderMonkey имеет command-line и web-based дебаггеры.
ExecuteJS - Firefox addon, может выполнять джаваскипт в контексте открытой HTML страницы.
Chrome console - отличная консолька от движка WebKit, есть подсветка и автоподстановка. Очень шустро работает.

Настройка Rhino shell:

Отдельно скачайте библиотеку JLine
Положите js.jar и jline.jar в одну папку и выполните:

java -cp js.jar;jline.jar

org.mozilla.javascript.tools.shell.Main

После этого можно использовать Tab для autocomplete. Детальнее тут.

English version here.

retry on appengine datastore timeout

2010-01-21T00:44:00.003+02:00

У вас вылетает datastore db.Timeout exception? Это нормально. Может когда нибудь это и починят, но пока этим заканчивается примерно каждый 50-й datastore query.

Я в таком случае немножко time.sleep() а потом делаю retry.

То же самое и для urlfetch - ждите urlfetch.DownloadError. Решение такое же. В коде выглядит примерно так:

max_tries = 3

while max_tries > 0:

try:

#do urlfetch call here

except urlfetch.DownloadError, e:

max_tries -= 1

if max_tries > 0:

time.sleep(1)

else:

raise e

python или java на appengine?

2010-01-21T00:10:00.004+02:00

Заметил что много людей, заходят на мой блог по поисковым запросам типа "app engine python or java". Что ж, если хотите знать мой выбор - то это python. До этого разрабатывал 5 лет на java, после поддержки ее на appengine, хотел было на нее вернуться, но оказалось что разрабатывать на python приятнее и быстрее.

sharded counter - интересное решение для масштабируемости

2010-01-20T00:35:00.007+02:00

Работая с appengine встречаешь много интересных решений, которые можно применить и вне его. Пример - паттерн sharded counter. Суть в чем:

Например у нас есть счетчик pageViews, значение которого хранится в базе, и должно обновляться после каждого просмотра страницы. Update по любому лочит запись и при каком-нибудь хабраэффекте БД уже не справится с нагрузкой, а appengine и пытаться не будет - у него есть ограничение на количество апдейтов entity в секунду.

Каково же решение?

Гениальное просто - вместо одного счетчика, делаем, скажем 10. Каждый pageView случайным образом икрементит один из них. Таким образом значение счетчика хранится в 10-ти независимых строках БД и узкое место расширяется в 10 раз.

Для получения значения счетчика делаем что-то вроде SELECT SUM(*) FROM PAGE_VIEWS.

Система подтягиваний 10*x + бонусы

2010-01-19T14:07:00.005+02:00

Для тех кто нерегулярно занимается спортом и вообще физическими нагрузками думаю будет полезно. Этому меня научил товарищ из Люксофта, программист/альпинист.

Итак вы раз в месяц добрались до турника - как эффективно позаниматься?

Делайте так:

Сначала 10 подходов по X подтягиваний. X выбираете для себя так чтобы сделать 10 подходов.
Важно: интервал между подходами должен быть одна минута.
Если кончились силы, подтягивайтесь хотя бы по разу, но 10 подходов сделайте.
Сделали? Отлично. Цель этих 10 подходов была - получить бонусы :)
С минутным интервалом делайте два бонуса. Бонус - это подтянуться, провисеть 5 секунд, опуститься до положения локтей 90%, провисеть еще 5 секунд, почти разогнуть руки - и еще пять секунд висим.

Если правильно все сделать - то и на клавиатуру нажимать после этого будет непросто :)

люблю continious deployment в appengine

2010-01-19T13:23:00.006+02:00

Версии в appengine супер-удобны для частого, безопасного обновления сайта. Я думаю, такой подход стоит реализовать (если это уже не сделано) и на других платформах/фреймворках. Смысл в том что после внесения изменений вы сначала тестируете локально, потом деплоите на продакшин сервер, но как специальную, тестовую версию. Она работает с продакшин данными но доступна по тестовому урлу. Например:

http://recc.info - основная, рабочая версия моего сайта
http://dev.latest.recsea.appspot.com - тестовая (но на _продакшин_ данных и в продакшин environment)

Как показывает опыт - тестирование приложения на реальных данных намного надежнее чем на похожих-на-реальные.

Как только проверили что тестовая версия работает как надо, можно деплоить на рабочую версию.

контекстная реклама в приложениях с google логином

2010-01-17T00:39:00.002+02:00

Такая вот логическая цепочка рассуждений:

Контекстная реклама приносит тем больше дохода чем больше пользователи на нее кликают
Пользователи тем больше на нее кликают, чем лучше известны их предпочтения (т.е. показана правильная реклама)
Обычно выбор контекстной рекламы зависит от содержимого страницы а не от предпочтений пользователя, ибо они неизвестны
В приложениях с login-with-google-account и google adsence можно показывать рекламу основанную на сочетании содержимого страницы и интересов пользователя, ибо google знает о нем все!
Тогда контекстная реклама в приложениях с гугл-логином должна быть супер эффективной.

Интересно, так ли оно на самом деле? Реализован ли пункт 4 на практике?

делать ли этот проект на appengine? чеклист

2010-01-15T19:42:00.008+02:00

Допустим у вас есть домен и идея которую вы хотите реализовать.

Вы хотите делать это на google appengine.

Так вот, пройдитесь сначала по этим пунктам:

Поддерживает ли ваш доменный регистратор редирект на naked domain? Например с http://recc.info на http://www.recc.info. Если нет, придется или менять домен или домен регистратора или мучаться с кривыми воркэраундами. Read more.
Нужен ли вам полнотекстовый поиск? Типа "SELECT FROM PEOPLE WHERE NAME LIKE '%ann%'". Тут он не поддерживается и в ближайшем roadmap его нет.
Нужен ли вашему приложению постоянный (статический IP)? тут его не будет. (У меня это вылезло при работе с Twitter API)

Из важного пока вроде все, по ходу буду сюда дописывать.

appengine datastore: Text вместо ListProperty

2009-11-30T23:14:00.009+02:00

обратил внимание что запись списка поглощает очень много ресурсов,

немного потестил, результаты такие:

для класса:

class PerfTest(db.Model):

list = db.ListProperty(int)

text = db.TextProperty()

запись 10 объектов (batch put) с массивами по 100 чисел, занимает, в 27-28 раз больше времени чем конвертация массива в строку и запись его в db.TextProperty

типа: [1,2,3,4] -> "1,2,3,4"

я так понимаю это связано с построением индекса, по ListProperty ведь можно искать а по Text - нет. Но если поиск по списку делать не планируется, можно хранить данные текстом.

Test results: ms cpu_ms api_cpu_ms

INSERT LIST 273 17574 17438

INSERT TEXT 176 650 605

LOAD LIST 130 321 225

LOAD TEXT 118 201 146

python и java вместе, в одном appengine app

2009-11-18T00:48:00.007+02:00

Можно ли шарить один datastore между несколькими appengine приложениями? Нельзя.

Можно ли в одном приложении использовать разные языки, скажем java и python? Тоже нельзя, но если схитрить то можно.

Фактически можно задеплоить разные версии приложения, которые не имеют ничего общего. Например бекофис на java и сайт на python.

И они будут одновременно доступны как:

myapp.appspot.com
admin.latest.myapp.appspot.com

Причем, что приятно, их можно независимо апдейтить, и логи у них идут одельно

Додумался до такой штуки прочитав ихний блог с намеком

Достижение целей с Google Analytics

2009-11-15T11:32:00.007+02:00

Начал потихоньку разбираться что же такого "аналитического" в гугловой аналитике.

Итак первая полезная штука - Цели (Goals).

Целями в понятиях GA может быть заход пользователя на определенную страницу (типа /checkout, /downloads), длительное пребывание на сайте или количество посещений.

Если вы определите подобные цели для своего сайта то получите статистику типа:

30% пользователей пришедших по запросу "XYZ" скачали ваш продукт
60% пользователей пришедших по ссылке "ZYX" долго исследовали ваш сайт

И так по всем TrafficSources, т.е. внешним ссылкам и поисковым запросам которые приводят к вам людей.

Т.е. GA позволяет анализировать и корректировать ваши действия по раскрутке сайта, делая упор на том что приводит к вам клиентов.

Javascript shell в Chrome

2009-10-30T19:50:00.000+02:00

А в Chrome оказывается есть встроенная консолька, типа Firebug, но без дебаггера.

Но что касается скорости и юзабилити выполнения javascript, исследования DOM структуры документа - ИМХО ни один Firefox addon не сравнится.

И еще есть автоподстановка, ввел "d", уже предлагает "document" :)

Запускать: Ctrl+Shift+J

Вот скриншот:

Добавление python/appengine сайта в Яндекс

2009-10-29T17:44:00.001+02:00

При добавлении сайта, использующего webapp framework, в индекс Яндекса
у Вас скорее всего будет вылетать такая ошибка:

Сервер недоступен, либо возвращает код статуса http,
отличный от 200.

Дело в том что Яндекс использует HEAD запросы при проверке сайта, а webapp.RequestHandler реализует его вот так:

def head(self, *args):

"""Handler method for HEAD requests."""

self.error(405)

Это можно по-быстрому исправить так:

def head(self, *args):

return self.get(*args)

(Неправильно, но для Яндекса сгодится)

А с вашими гугл-документами все в порядке?

2009-10-23T21:09:00.000+03:00

Сегодня обнаружил что у меня несколько гугл документов почему-то расшарены для всех, хоть я этого и не делал.

Оказалось что при создании гугл документа по шаблону, права доступа по умолчанию ставятся:

*edit for owner

*view for all

Даже не знаю чем можно обьяснить такое решение разработчиков GoogleDocs.

UPDATE

эксперименты показали что это зависит от шаблона,

по одним документы создаются как надо, по другим - открытыми для всех

Польза от google codesearch

2009-10-22T18:20:00.000+03:00

Вчерашняя ситуация. Пишу продукт, который работает с гугл-документами через Google Docs API.

Примерно на каждом 30-м обращении вылетает urlfetch.DownloadError.

Что делать? Делаю поиск по тематическим гугл-группам, ясного ответа нет.

Пришла идея - поискать решение в коде опен-сорс проектов.

Итого два запроса в http://www.google.com/codesearch решают проблему.

1. Как обрабатывается DownloadError во всех опен-сорс проектах на питоне?

except + DownloadError + lang:python

2. Как эта ошибка обрабатывается именно при работе со spreadsheets?

DownloadError + except + SpreadsheetsService + lang:python

scite ruteam-edition - отличный легкий редактор

2009-10-21T10:16:00.000+03:00

Давно уже использовал scite для F4/Editor в totalcommander и не знал что есть такая замечательная русская сборка.

Есть табы, подсветка кода для всех языков, автокомплишин, фолдинг, запуск скриптов, большие возможности кастомизации. Документация очень качественная. Можно настроить много шорткатов.

Я уже прицепил любимые eclipse style hot keys:

user.shortcuts.add=\

Ctrl+Alt+Down|2469|\ #скопировать строку вниз

Ctrl+D|2338|\ #удалить строку

ИМХО лучший инструмент в своей нише

Наследование в javascript

2009-10-20T14:07:00.001+03:00

Краткий обзор наследования в javascript.
Написано для тех кто работает с другими языками.
Мне, после java и python, это показалось интересным.

Итак, наследование в js реализовано по другому чем скажем в java или python.
Здесь нету ключевого слова class. И классов как таковых нет, но для простоты принято считать что они есть.

Механизм тут примерно такой:

1. Каждая функция может быть конструктором
2. Для этого нужно вызвать ее с ключевым словом new


 function x() {}  
 x = new x()  
 print x  
 >[object Object]

3. Каждому обьекту может быть привоен прототип (любой другой обьект)
4. Обьект наследует от прототипа все свойства и методы
5. Если в рантайм что-то добавить в прототип - оно сразу же добавится и в обьект

В javascript также можно эмулировать классическое ООП наследование.
Это сложно и громоздко. Вот пример такого наследования:


//Определение класса прямоугольника
function Rectangle(w, h){
this.width = w;
this.height = h;
}
Rectangle.prototype.area = function() {return this.width * this.height}

//Определение подкласса
function PositionedRectangle(x, y, w, h) {
//Вызываем конструктор парента
Rectangle.call(this, w, h);

this.x = x;
this.y = y;
}

//Явно создаем прототип
PositionedRectangle.prototype = new Rectangle();

//Удаляем свойства Rectangle
//которые не нужны в прототипе PositionedRectangle
delete PositionedRectangle.prototype.width
delete PositionedRectangle.prototype.height

//Заменяем старое значение свойства конструктор (Rectangle)
//на конструктор нового типа
PositionedRectangle.prototype.constructor = PositionedRectangle

//Теперь можно приступать к добавлению методов
//в новый класс
PositionedRectangle.prototype.contains = function(x, y) {...}

После такого примера, как то не хочется связываться с наследованием вообще.
Но на практике это обычно абстрагируется в более простые операции.
Как например в ExtJs:


Ext.BoxComponent = Ext.extend(Ext.Component, {...})

canvas, javascript: рисование в браузере

2009-10-18T21:10:00.000+03:00

Интересная штука для тех кто отстал от развития html.

В браузере оказывается можно рисовать :)

Тег canvas и немного javascript в действии - всего ~40 строк js кода

Или вот, более качественное и сложное demo

javascript: private fields emulation

2009-10-16T15:39:00.000+03:00

В javascript тоже можно обезопасить поля класса от прямого доступа.
Примерно вот так:

function Rectangle(w, h) {
this.getWidth = function() {return w}
this.getHeight = function() {return h}
}

Детальнее тут:
http://crockford.com/javascript/private.html

javascript: функции с памятью

2009-10-15T18:55:00.000+03:00

Итак, функция в джаваскрипте это объект.

Значит у нее могут быть свои поля (или, по терминологии js, свойства)

И она в этих свойствах может сберегать информацию между вызовами.

Примерно так:

f = function() { f.counter++ }

f.counter = 0

f()

f.counter

> 3

интересная фича языка :)