Northwestern University и Университет Иллинойса запустили проект MONK.
MONK состоит из базы данных и программ, обнаруживающих повторяющиеся паттерны в текстах.
Программа отслеживает связки между отдельными словами и предложениями, частями речи и лексемами. Она также учитывает разнообразие диалектов.

( Читать дальше )

смотрим здесь

замечательная статья появилась на хабре
рекомендую к прочтению :)
основная идея:

Как правильно составить текст для сайта? Что поставить вперед, а что приберечь на потом? Когда я впервые задался этим вопросом, мой отец, в прошлом журналист ТАСС, рассказал о правиле пирамиды. Его, в свое время, научили коллеги из BBC.

Само правило:

В начало статьи помещайте самую короткую основную информацию о том, что где и когда. Ее надо изложить максимально коротко и четко.

Чем дальше к концу текста, тем информация становится более подробной, более описательной. Если существуют субъективные мнения – их тоже надо оставить на потом.

Итак, при движении от начала к концу текста изменяется характер информации:
– от объективного к субъективному,
– от краткого к подробному,
– от четкого к разнообразному.