Progress-servis55.ru

Новости из мира ПК
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Относительная ошибка прогноза

Классификация методов прогнозирования. Оценка точности прогноза, построенного методом экстраполяции

Метод прогнозирования — это способ исследования объекта прогнозирования, направленный на разработку прогноза. В настоящее время существует около 150 методов прогнозирования, но практически используются около 20-30 основных методов.

Методика прогнозирования — это совокупность специальных приемов и правил разработки конкретных прогнозов. Прием прогнозирования — это математическая или логическая операция, направленная на получение конкретных результатов в процессе разработки прогнозов.

Классификация методов прогнозирования осуществляется по трем основным признакам:

  • по степени формализации методов;
  • по общему принципу действия;
  • по способу получения прогнозной информации.

По степени формализации методы прогнозирования делятся на формализованные и интуитивные.

Формализованные методы используются в том случае, когда информация об объекте прогнозирования носит в основном количественный характер, а влияние различных факторов можно описать с помощью математических формул.

Интуитивные методы применяются тогда, когда информация количественного характера об объекте прогнозирования отсутствует или носит в основном качественный характер и влияние факторов невозможно описать математически.

В свою очередь эти две группы можно разделить по общему принципу деятельности и способу получения прогнозной информации. Формализованные методы подразделяются на методы экстраполяции и методы моделирования.

Экстраполяция — это метод научного исследования, который основан на распространении прошлых и настоящих тенденций, закономерностей, связей на будущее развитие объекта прогнозирования.

К методам экстраполяции относятся метод скользящей средней, метод экспоненциального сглаживания, метод наименьших квадратов. Цель методов экстраполяции – показать, к какому состоянию в будущем может прийти объект, если его развитие будет осуществляться с той же скоростью или ускорением, что и в прошлом.

Методы экстраполяции достаточно широко применяются на практике, так как они просты, дешевы, и не требуют для расчетов большой статистической базы. Использование методов экстраполяции предполагает два допущения, которые в большинстве случаев характерны для экономических процессов:

  • основные факторы, тенденции прошлого сохранят свое проявление в будущем;
  • исследуемое явление развивается по плавной траектории, которую можно выразить, описать математически.

К методам моделирования относятся: методы информационного моделирования (патентный и публикационный), статистического моделирования, логического моделирования (прогнозной аналогии, «дерево целей»).

Методы информационного моделирования (или опережающего прогнозирования) были разработаны и впервые использованы для построения прогнозов, связанных с научно-техническим прогрессом (НТП). Они основаны на свойстве научно-технической информации предварять внедрение достижений НТП в практическую деятельность. В настоящее время эти методы применяются и при прогнозировании экономических процессов.

Методы прогнозирования по аналогии приемлемы в том случае, когда появление одного события сопровождается появлением другого и эта взаимосвязь носит устойчивый характер — характер закономерности. К таким методам относятся методы математической аналогии и исторической аналогии.

Метод «дерево целей» используется для прогнозирования сложных экономических процессов, систем, в которых возможно выделение многих структурных или иерархических уровней. Процедура построения «дерева целей» представляет собой формулировку генеральной цели прогноза с последующим разбиением ее на ряд подцелей 1-го уровня, который является результатом реализации подцелей 2-го уровня, и т.д. При этом разбиение генеральной цели происходит как бы из будущего в настоящее с установлением промежуточных событий и фиксацией причинно-следственных связей между ними.

«Дерево целей» формируется с помощью экспертов, причем при переходе от уровня к уровню состав экспертов меняется. При приближении к более высокому уровню остаются более крупные эксперты в конкретных областях.

Интуитивные методы прогнозирования применяются для тех процессов, которые невозможно описать математическими формулами. Использование данных методов дает возможность получить прогнозную оценку состояния развития объекта в будущем независимо от информационной обеспеченности. Сущность интуитивных методов заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки полученных результатов. Решение проблемы в этом случае базируется на обобщенном мнении экспертов.

Интуитивные методы прогнозирования делятся на индивидуальные и коллективные экспертные оценки. Индивидуальные экспертные оценки основаны на обобщении мнений отдельных экспертов, выраженных независимо друг от друга. К ним относятся: метод интервью, метод анкетного опроса, аналитический метод, метод написания сценария. Коллективные экспертные оценки базируются на получении объединенной оценки от всей группы специалистов-экспертов, выработанной при непосредственном контакте. К таким методам относятся метод Дельфи, метод «мозговой атаки», метод экспертных комиссий.

Оценка точности прогноза, построенного методом экстраполяции

Всякий прогноз должен иметь высокую точность, которая является важнейшей его характеристикой. Существует несколько способов оценки точности прогноза:

1. Cредняя абсолютная оценка:

где Yф – фактическое значение исследуемого явления, Yр – расчетное значение исследуемого явления, n – число уровней временного ряда;

2. Cредняя квадратическая оценка:

Чем ближе к нулю первый и второй показатели, тем выше точность прогноза.

3. Cредняя относительная ошибка:

Интерпретация значений средней относительной ошибки для оценки точности прогноза представлена в следующей таблице:

Таблица — Интерпретация значений средней относительной ошибки

Средняя относительная ошибка (ε), %Интерпретация
50Точность неудовлетворительная

Другие статьи по данной теме:

  • назад:Прогнозирование — понятие, задачи, функции и принципы. Классификация прогнозов
  • далее:Разработка прогноза с помощью метода скользящей средней. Пример решения задачи

Список использованных источников

  1. Научно-методические рекомендации по вопросам диагностики социальных рисков и прогнозирования вызовов, угроз и социальных последствий. Российский государственный социальный университет. Москва. 2010;
  2. Владимирова Л.П. Прогнозирование и планирование в условиях рынка: Учеб. пособие. М.: Издательский Дом «Дашков и Ко», 2001;
  3. Новикова Н.В., Поздеева О.Г. Прогнозирование национальной экономики: Учебно-методическое пособие. Екатеринбург: Изд-во Урал. гос. экон. ун-та, 2007;
  4. Слуцкин Л.Н. Курс МБА по прогнозированию в бизнесе. М.: Альпина Бизнес Букс, 2006.

2012 © Лана Забродская. При копировании материалов сайта ссылка на источник обязательна

Оценка точности и надежности прогнозов

Важным этапом прогнозирования социально-экономических явлений является оценка точности и надежности прогнозов.

Эмпирической мерой точности прогноза, служит величина его ошибки, которая определяется как разность между прогнозными ( ) и фактическими (уt) значениями исследуемого показателя. Данный подход возможен только в двух случаях:

а) период упреждения известен, уже закончился, и исследователь располагает необходимыми фактическими значениями прогнозируемого показателя;

б) строится ретроспективный прогноз, то есть рассчитываются прогнозные значения показателя для периода времени, за который уже имеются фактические значения. Это делается с целью проверки разработанной методики прогнозирования.

В данном случае вся имеющаяся информация делится на две части в соотношении 2/3 к 1/3. Одна часть информации (первые 2/3 от исходного временного ряда) служит для оценивания параметров модели прогноза. Вторая часть информации (последняя 1/3 части исходного ряда) служит для реализации оценок прогноза.

Полученные таким образом ретроспективно ошибки прогноза в некоторой степени характеризуют точность предлагаемой и реализуемой методики прогнозирования. Однако величина ошибки ретроспективного прогноза не может в полной мере и окончательно характеризовать используемый метод прогнозирования, так как она рассчитана только для 2/3 имеющихся данных, а не по всему временному ряду.

В случае если, ретроспективное прогнозирование осуществляется по связным и многомерным динамическим рядам, то точность прогноза, соответственно, будет зависеть от точности определения значений факторных признаков, включенных в многофакторную динамическую модель, на всем периоде упреждения. При этом, возможны следующие подходы к прогнозированию по связным временным рядам: можно использовать как фактические, так и прогнозные значения признаков.

Все показатели оценки точности статистических прогнозов условно можно разделить на три группы:

Аналитические показатели точности прогнозапозволяют количественно определить величину ошибки прогноза. К ним относятся:

Абсолютная ошибка прогноза (D * ) определяется как разность между эмпирическими и прогнозными значениями признака и вычисляется по формуле:

, (3.54)

уt–фактическое значение признака;

–прогнозное значение признака.

Относительная ошибка прогноза (d * отн) может быть определена как отношение абсолютной ошибки прогноза (D * ):

(3.55)

— к прогнозному значению признака ( )

(3.56)

Абсолютная и относительная ошибки прогноза являются оценкой проверки точности единичного прогноза, что снижает их значимость в оценке точности всей прогнозной модели, так как изучаемое социально-экономическое явление подвержено влиянию различных факторов внешнего и внутреннего свойства. Единично удовлетворительный прогноз может быть получен и на базе реализации слабо обусловленной и недостаточно адекватной прогнозной модели и наоборот – можно получить большую ошибку прогноза по достаточно хорошо аппроксимирующей модели.

Поэтому на практике иногда определяют не ошибку прогноза, а некоторый коэффициент качества прогноза (Кк), который показывает соотношение между числом совпавших (с) и общим числом совпавших (с) и несовпавших (н) прогнозов и определяется по формуле:

. (3.57)

Значение Кк = 1 означает, что имеет место полное совпадение значений прогнозных и фактических значений и модель на 100% описывает изучаемое явление. Данный показатель оценивает удовлетворительный вес совпавших прогнозных значений в целом по временному ряду и изменяется в пределах от 0 до 1.

Следовательно, оценку точности получаемых прогнозных моделей целесообразно проводить по совокупности сопоставлений прогнозных и фактических значений изучаемых признаков.

Средним показателем точности прогнозаявляется средняя абсолютная ошибка прогноза ( ), которая определяется как средняя арифметическая простая из абсолютных ошибок прогноза по формуле вида:

, (3.58)

n–длина временного ряда.

Средняя абсолютная ошибка прогноза показывает обобщенную характеристику степени отклонения фактических и прогнозных значений признака и имеет ту же размерность, что и размерность изучаемого признака.

Для оценки точности прогноза используется средняя квадратическая ошибка прогноза, определяемая по формуле:

. (3.59)

Размерность средней квадратической ошибки прогноза также соответствует размерности изучаемого признака. Между средней абсолютной и средней квадратической ошибками прогноза существует следующее примерное соотношение:

. (3.60)

Недостатками средней абсолютной и средней квадратической ошибок прогноза является их существенная зависимость от масштаба измерения уровней изучаемых социально-экономических явлений.

Поэтому на практике в качестве характеристики точности прогноза определяют среднюю ошибку аппроксимации, которая выражается в процентах относительно фактических значений признака, и определяется по формуле вида:

. (3.61)

Данный показатель является относительным показателем точности прогноза и не отражает размерность изучаемых признаков, выражается в процентах и на практике используется для сравнения точности прогнозов полученных как по различным моделям, так и по различным объектам. Интерпретация оценки точности прогноза на основе данного показателя представлена в следующей таблице:

,%Интерпретация точности
50Высокая Хорошая Удовлетворительная Не удовлетворительная

В качествесравнительного показателя точности прогнозаиспользуетсякоэффициент корреляции между прогнозными и фактическими значениями признака, который определяется по формуле:

, (3.62)

– средний уровень ряда динамики прогнозных оценок.

Используя данный коэффициент в оценке точности прогноза следует помнить, что коэффициент парной корреляции в силу своей сущности отражает линейное соотношение коррелируемых величин и характеризует лишь взаимосвязь между временным рядом фактических значений и рядом прогнозных значений признаков. И даже если коэффициент корреляции R = 1, то это еще не предполагает полного совпадения фактических и прогнозных оценок, а свидетельствует лишь о наличии линейной зависимости между временными рядами прогнозных и фактических значений признака.

Одним из показателей оценки точности статистических прогнозов является коэффициент несоответствия (КН), который был предложен Г. Тейлом и может рассчитываться в различных модификациях:

1. Коэффициент несоответствия (КН1), определяемый как отношение средней квадратической ошибки к квадрату фактических значений признака:

. (3.63)

КН = 0, если , то есть полное совпадение фактических и прогнозных значений признака.

КН = 1, если при прогнозировании получают среднюю квадратическую ошибку адекватную по величине ошибке, полученной одним из простейших методов экстраполяции неизменности абсолютных цепных приростов.

КН > 1, когда прогноз дает худшие результаты, чем предположение о неизменности исследуемого явления. Верхней границы коэффициент несоответствия не имеет.

2.Коэффициент несоответствия (КН2), определяется как отношение средней квадратической ошибки прогноза к сумме квадратов отклонений фактических значений признака от среднего уровня исходного временного ряда за весь рассматриваемый период:

, (3.64)

–средний уровень исходного ряда динамики.

3.Коэффициент несоответствия (КН3), определяемый как отношение средней квадратической ошибки прогноза к сумме квадратов отклонений фактических значений признака от теоретических, выравненных по уравнению тренда:

, (3.65)

–теоретические уровни временного ряда, полученные по модели тренда.

Контрольные вопросы к разделу III

1. Охарактеризуйте статистическое прогнозирование как составную часть общей теории прогностики.

2. Сформулируйте задачи статистического прогнозирования.

3. Дайте понятие объекта прогнозирования.

4. Перечислите основные понятия и термины, употребляемые в экономической прогностике.

5. Охарактеризуйте модели по сложности, масштабности и степени информационного обеспечения.

6. Раскройте содержание основных показателей точности прогнозов.

7. Раскройте сущность точечного и интервального прогнозов.

8. Как осуществляется предварительный анализ рядов динамики?

9. Раскройте содержание понятия объективизации прогнозов.

10. Перечислите простейшие методы прогнозирования динамики. Раскройте их сущность.

11. Охарактеризуйте метод прогнозирования на основе экстраполяции трендов.

12. Охарактеризуйте методы прогнозирования на основе кривых роста.

13. Охарактеризуйте метод простого экспоненциального сглаживания.

14. Охарактеризуйте метод гармонических весов.

15. Как достигается точность и надежность прогнозов на основе рядов динамики?

Не нашли то, что искали? Воспользуйтесь поиском:

Лучшие изречения: Увлечёшься девушкой-вырастут хвосты, займёшься учебой-вырастут рога 10348 — | 8002 — или читать все.

Методы оценки качества прогноза

Часто при составлении любого прогноза — забывают про способы оценки его результатов. Потому как часто бывает, прогноз есть, а сравнение его с фактом отсутствует. Еще больше ошибок случается, когда существуют две (или больше) модели и не всегда очевидно — какая из них лучше, точнее. Как правило одной цифрой (R 2 ) сложно обойтись. Как если бы вам сказали — этот парень ходит в синей футболке. И вам сразу все стало про него ясно )

В статьях о методах прогнозирования при оценке полученной модели я постоянно использовал такие аббревиатуры или обозначения.

  • R 2
  • MSE
  • MAPE
  • MAD
  • Bias

Попробую объяснить, что я имел в виду.

Остатки

Суровые MSE и R 2

Когда нам требуется подогнать кривую под наши данные, то точность этой подгонки будет оцениваться программой по среднеквадратической ошибке (mean squared error, MSE). Рассчитывается по незамысловатой формуле

где n-количество наблюдений.

Соотвественно, программа, рассчитывая кривую подгонки, стремится минимизировать этот коэффициент. Квадраты остатков в числителе взяты именно по той причине, чтобы плюсы и минусы не взаимоуничтожились. Физического смысла MSE не имеет, но чем ближе к нулю, тем модель лучше.

Вторая абстрактная величина это R 2 — коэффициент детерминации. Характеризует степень сходства исходных данных и предсказанных. В отличии от MSE не зависит от единиц измерения данных, поэтому поддается сравнению. Рассчитывается коэффициент по следующей формуле:

где Var(Y) — дисперсия исходных данных.

Безусловно коэффициент детерминации — важный критерий выбора модели. И если модель плохо коррелирует с исходными данными, она вряд ли будет иметь высокую предсказательную силу.

MAPE и MAD для сравнения моделей

Статистические методы оценки моделей вроде MSE и R 2 , к сожалению, трудно интерпретировать, поэтому светлые головы придумали облегченные, но удобные для сравнения коэффициенты.

Среднее абсолютное отклонение (mean absolute deviation, MAD) определяется как частное от суммы остатков по модулю к числу наблюдений. То есть, средний остаток по модулю. Удобно? Вроде да, а вроде и не очень. В моем примере MAD=43. Выраженный в абсолютных единицах MAD показывает насколько единиц в среднем будет ошибаться прогноз.

MAPE призван придать модели еще более наглядный смысл. Расшифровывается выражение как средняя абсолютная ошибка в процентах (mean percentage absolute error, MAPE).

где Y — значение исходного ряда.

Выражается MAPE в процентах, и в моем случае означает, что в модель может ошибаться в среднем на 16%. Что, согласитесь, вполне допустимо.

Наконец, последняя абсолютно синтетическая величина — это Bias, или просто смещение. Дело в том, что в реальном мире отклонения в одну сторону зачастую гораздо болезненнее, чем в другую. К примеру, при условно неограниченных складских помещениях, важнее учитывать скачки реального спроса вверх от спрогнозированных значений. Поэтому случаи, где остатки положительные относятся к общему числу наблюдений. В моем случае 44% спрогнозированных значений оказались ниже исходных. И можно пожертвовать другими критериями оценки, чтобы минимизировать этот Bias.

Можете попробовать это сами в Excel и Numbers

Интересно узнать — какие методы оценки качества прогнозирования вы используете в своей работе?

Относительная ошибка прогноза

После проведения прогнозных расчетов, необходима верификация прогнозов. Помимо абсолютной верификации (эмпирическое подтверждение данных прогноза) существует относительная. Абсолютная верификация возможна только после перехода периода упреждения из будущего в прошлое. Но задолго до этого можно проводить параллельное или повторное исследование по этой методике (например, провести опрос экспертов). Если результаты совпадают, то есть основание считать степень достоверности прогноза высокой. Если нет, то есть время для поиска и устранения ошибок в методике разработки прогноза. Следовательно, необходимо различать достоверность (обоснованность) и истинность (точность) прогноза. Обоснованность характеризует уровень состояния знаний и качества научных исследований. Истинность проверяется практикой. Важнейшая характеристика прогнозов – точность.

О ней принято судить по величине погрешности (ошибки) прогноза – разности между прогнозируемым и фактическим значением исследуемой переменной. Такого рода оценки можно получить, когда период упреждения уже окончился и известны фактические значения переменной (это апостериорные оценки качества прогнозов). К ним относятся абсолютные и относительные показатели, позволяющие количественно определить величину ошибки прогноза в единицах измерения прогнозируемого объекта или в процентах.

а) абсолютная ошибка


t-момент времени при котором определен показатель

б) средняя абсолютная ошибка

в) среднеквадратическая ошибка

Недостатком этих показателей является то, что их значение существенно зависит от масштаба исследуемых явлений, поэтому прибегают к расчету ошибок в относительном выражении.

г) относительная ошибка прогноза

д) средняя относительная ошибка

Данные показатели, как правило, используются при сравнении точности прогнозов различных объектов прогнозирования, т.к. они характеризуют относительную точность прогноза.

Высокая точность прогноза определяется процентом не больше 5. До 10% прогноз считается допустимым. Т.е. точность прогноза тем выше, чем ниже величина ошибки позволяющая сравнивать прогнозные и фактические значения исследуемой величины.

Следует отметить, что точность единичного прогноза мало что может сказать исследователю, т.к. на формирование исследуемого явления влияет множество разнообразных факторов, следовательно, полное совпадение или значительное расхождение прогноза и его реализации может быть следствием особо благоприятных или неблагоприятных обстоятельств. Единичный «хороший» прогноз может быть получен и по «плохой модели» и наоборот, следовательно, о качестве прогнозов применяемых моделей можно судить лишь о совокупности сопоставления прогнозов с их реализацией.

Наиболее простой мерой качества прогнозов при условии, что имеются данные об их реализации, может быть относительное число случаев, когда фактическая реализация охватывалась интервальным прогнозом к общему числу прогнозов, т.е.

p – число прогнозов, подтвержденных фактическими данным;
q – число прогнозов, не подтвержденных фактическими данными.

Когда все прогнозы подтверждаются:
q=1 и

Если же все прогнозы не подтверждаются, то
p=0 и

Так как ширина доверительного интервала в значительной мере зависит от принятой доверительной вероятности (чем меньше вероятность, тем уже интервал), то сопоставление коэффициентов для разных моделей и инструментов прогноза имеет смысл при условии, что доверительные вероятности приняты одинаковыми. Расчеты прогнозов по различным методикам для повышения достоверности полученных результатов должны быть проверены на непротиворечивость (согласованность). Если они признаны согласованными, то возможно объединение прогнозных результатов, т.е. синтез прогнозных оценок в целом построения комбинированного прогноза.

Для оценки согласованности прогнозов рассматривают варианты возможного расположения доверительных интервалов. Например, для двух прогнозов экстраполяционного и экспертного возможно следующее взаимное расположение доверительных интервалов.

Основное правило непротиворечивости прогноза: результаты их являются согласованными, если значение принадлежит общей области. На рисунке А доверительный интервал одного прогноза охватывает доверительный интервал другого. На рисунке Б имеет место пересечение интервалов. На рисунке В полное противоречие результатов.

Рассмотренные выше апостериорные оценки точности прогнозов основаны на том, что получены фактические значения величин, которые были оценены при разработке прогноза. Однако в практике проблему точности надо решать, когда период упреждения еще не пришел и истинные значения прогнозируемой переменной неизвестны. Эта проблема решается на основе получения оптимальных оценок, которые на самом деле являются оценками достоверности используемых моделей.

Априорную точность прогноза связывают с размером доверительного интервала. Модель, дающая более узкий доверительный интервал при одной и той же доверительной вероятности является более точной. Для точной оценки прогнозов используют такие характеристики как:

  • Средняя и относительная ошибка.
  • Средне линейное отклонение.
  • Оценка стандартной ошибки.
  • Корреляционные отношения.
  • Критерий Фишера.

Наряду с указанными статистическими характеристиками для анализа достоверности полученной модели проводят оценку значимости параметров (проверка нулевых гипотез) и строят доверительные интервалы.
Эти и другие возможные характеристики показывают степень приближения модели к реальным наблюдениям за процессом, а чем адекватнее модель, тем выше вероятность получения с ее помощью более точного прогноза.
Проверка модели (методики прогнозирования) может осуществляться на основе так называемого ретроспективного прогноза, т.е. когда прогнозирование осуществляется для некоторого момента времени в прошлом, для которого уже имеются фактические данные.

При этом существующая информация делится на две части:

1. охватывающая более ранние периоды, служит для оценивания параметров прогностической модели;

2. более поздние данные рассматриваются как реализация соответствующих прогностических оценок.

Полученные ретроспективно ошибки прогноза в определенной мере характеризуют точность применяемой методики прогнозирования и могут оказаться полезными при сопоставлении нескольких методов, однако однозначные выводы о качестве прогнозов по данной методике сделать сложно, учитывая, что оценка качества прогнозов получена при использовании лишь части имеющихся данных.

Для оценки качества прогнозов имеется характеристика надежности прогноза, определяется вероятностью наступления прогнозируемого события, т.е. реализации соответствующей прогностической оценки. Чем она выше, тем выше надежность. Оценка прогноза может проводиться субъективно (экспертное прогнозирование), либо связывается с доверительными интервалами прогноза, если последний, основан на статистической модели.

Рассмотренные понятия априорной точности прогнозов могут использоваться практике, при условии содержательного обоснования используемой модели. В противном случае полученные оценки лишь создают иллюзию точности. Неточность прогнозов несмотря на ограничения налагаемые использованием аппарата математической статистики в значительной степени влияет адекватность применяемой модели, т.е. ее соответствие изучаемому явлению.

На процесс выбора модели влияет весь комплекс условий, в которых получены фактические и расчетные значения показателей:

  • стабильность социально-экономических факторов, влияющих на изучаемый объект;
  • информативность факторных признаков по отношению к результативному показателю;
  • достоверность информации;
  • репрезентативность выборки;
  • адекватность способа построения модели.

На повышение адекватности модели может повлиять ее корректировка при появлении новой информации. В этом случае корректировка является адаптацией модели изменившимися условиями ее функционирования.

2. Синтез прогнозов

Условия непротиворечивости прогнозных результатов выполнены в случае возможности реализации процедуры синтеза, сущность которой состоит в том, что определяется средневзвешенный результат прогноза, полученного различными методами с учетом их достоверности. Чем менее достоверен результат, тем меньше его вес, т. е. вклад в окончательный прогноз. Далее строится синтезирующая оценка прогноза, которой является линейная комбинация:

У = fi * yi ,

где
yi — значение частного i – го прогноза;
fi – вес i-го прогноза.

Таким образом, получают комбинированный прогноз, который предполагает синтез прогнозов.

Читать еще:  Как написать приложение на javascript
Ссылка на основную публикацию
Adblock
detector