Classes/12/Mystem & JSON.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Mystem\n",
    "\n",
    "На прошлом семинаре мы начале говорить о морфологическом анализе с помощью Mystem и научились **лемматизировать** (приводить к начальной форме) слова с его помощью. Вот как это было:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<class 'list'>\n",
      "на бледно-голубой эмаль,\n",
      "какой мыслимый в апрель,\n",
      "береза ветвь подымать\n",
      "и незаметно вечерель\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# не забудьте сначала установить библиотеку pymystem3\n",
    "\n",
    "from pymystem3 import Mystem\n",
    "\n",
    "text = \"\"\"На бледно-голубой эмали,\n",
    "Какая мыслима в апреле,\n",
    "Березы ветви поднимали\n",
    "И незаметно вечерели\"\"\"\n",
    "\n",
    "m = Mystem()\n",
    "lemmas = m.lemmatize(text)\n",
    "\n",
    "print(type(lemmas)) # функция возвращает список\n",
    "print(''.join(lemmas))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### POS-tagging\n",
    "\n",
    "Вторая важнейшая составляющая морфологического анализа -- получение грамматической информации о слове, т.е. к какой части речи оно принадлежит и в какой форме употреблено в тексте. Например, в предыдущем предложении *морфологического* -- полное прилагательное в мр.р, ед.ч., Р.п. В компьютерной лингвистике это называется **частеречная разметка**, или **POS-tagging** (part of speech tagging).\n",
    "\n",
    "В `pymystem3` за полный морфологический разбор, который включает в себя как лемму, так и грамматические теги, отвечает функция `analyze`. Она выдает список (list) слов, полученных на вход, внутри которого лежит словарь (dict) со следующими ключами:\n",
    "\n",
    "* analysis -- собственно анализ\n",
    "* text -- слово, полученное на вход\n",
    "\n",
    "Значением ключа `analysis` является список, в который входят два словаря:\n",
    "\n",
    "* gr -- грамматическая информация\n",
    "* lex -- лемма"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'analysis': [{'gr': 'A=(вин,ед,полн,муж,од|род,ед,полн,муж|род,ед,полн,сред)',\n",
       "    'lex': 'морфологический'}],\n",
       "  'text': 'морфологического'},\n",
       " {'text': '\\n'}]"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "m.analyze('морфологического')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Используя знания о структуре выдачи, попробуем достать только грамматику."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "A=(вин,ед,полн,муж,од|род,ед,полн,муж|род,ед,полн,сред)\n"
     ]
    }
   ],
   "source": [
    "res = m.analyze('морфологического')\n",
    "grammar = res[0]['analysis'][0]['gr']\n",
    "print(grammar)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Дизамбигуация\n",
    "\n",
    "Можно заметить, что майстем предлагает целых три возможных разбора (не сомневаясь в части речи):\n",
    "\n",
    "* вин,ед,полн,муж,од\n",
    "* род,ед,полн,муж\n",
    "* род,ед,полн,сред\n",
    "\n",
    "Они омонимичны, т.е. пишутся и звучат одинаково, поэтому без контекста выбрать нужный разбор не сможет даже человек. Выбор одного варианта разбора при наличии омонимии форм называется **снятием омонимии**, или **дизамбигуацией**. Для того, чтобы снять омонимию, и человеку, и машине нужен контекст: очевидно, что если прилагательное стоит рядом с существительным мужского рода, то оно в форме мужского рода, а не в форме среднего. Несмотря на то, что в последней версии майстема есть функция дизамбигуации, она справляется только с омонимией частей речи, а вот внутри парадигмы омонимию разрешать не умеет."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'analysis': [{'lex': 'белок', 'gr': 'S,муж,неод=род,ед'}], 'text': 'белка'}\n",
      "{'analysis': [{'lex': 'белка', 'gr': 'S,жен,од=им,ед'}], 'text': 'белка'}\n",
      "{'analysis': [{'lex': 'рабочий', 'gr': 'S,муж,од=им,ед'}], 'text': 'рабочий'}\n",
      "{'analysis': [{'lex': 'рабочий', 'gr': 'A=(вин,мн,полн,неод|им,мн,полн)'}], 'text': 'рабочие'}\n"
     ]
    }
   ],
   "source": [
    "# справятся и человек, и майстем\n",
    "\n",
    "print(m.analyze(\"синтез нового белка\")[4], m.analyze(\"рыжая белка\")[2], sep='\\n', end='\\n')\n",
    "print(m.analyze(\"рабочий сказал\")[0], m.analyze(\"рабочие руки\")[0], sep='\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'analysis': [{'gr': 'PART=', 'lex': 'нет'}], 'text': 'нет'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'A=(вин,ед,полн,муж,од|род,ед,полн,муж|род,ед,полн,сред)',\n",
       "    'lex': 'морфологический'}],\n",
       "  'text': 'морфологического'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'S,муж,неод=род,ед', 'lex': 'анализ'}],\n",
       "  'text': 'анализа'},\n",
       " {'text': '\\n'}]"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# человек справится, майстем -- нет\n",
    "\n",
    "m.analyze('составляющие морфологического анализа')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Глокая куздра\n",
    "\n",
    "Уже 90 лет без этого зверя, придуманного академиком Л.В. Щербой, не обходится ни один разговор о морфологии. Фраза *\"Гло́кая ку́здра ште́ко будлану́ла бо́кра и курдя́чит бокрёнка\"* иллюстрирует то, что мы можем проанализировать слово с грамматической точки зрения, ничего не зная о его смысле: например, очевидно, что \"кудрячит\" -- это глагол в 3 л. ед.ч. наст.вр. Для майстема (да и для машины в целом) любой текст, который мы ему подаем, -- это глокая куздра. Он определяет форму слова не по смыслу, а по формальным показателям в конце слова."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'глокая куздра штеко будланул бокра и кудрячить бокренок\\n'"
      ]
     },
     "execution_count": 40,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# вы бы проанализировали эту фразу так же, как майстем, или нет?\n",
    "''.join(m.lemmatize(\"глокая куздра штеко будланула бокра и кудрячит бокренка\")) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'analysis': [{'gr': 'S,ед,жен,неод=им', 'lex': 'глокая', 'qual': 'bastard'}],\n",
       "  'text': 'глокая'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'S,ед,жен,неод=им', 'lex': 'куздра', 'qual': 'bastard'}],\n",
       "  'text': 'куздра'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'ADV=', 'lex': 'штеко', 'qual': 'bastard'}],\n",
       "  'text': 'штеко'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'S,муж,од=(вин,ед|род,ед)',\n",
       "    'lex': 'будланул',\n",
       "    'qual': 'bastard'}],\n",
       "  'text': 'будланула'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'S,ед,жен,неод=им', 'lex': 'бокра', 'qual': 'bastard'}],\n",
       "  'text': 'бокра'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'CONJ=', 'lex': 'и'}], 'text': 'и'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'V,несов,пе=непрош,ед,изъяв,3-л',\n",
       "    'lex': 'кудрячить',\n",
       "    'qual': 'bastard'}],\n",
       "  'text': 'кудрячит'},\n",
       " {'text': ' '},\n",
       " {'analysis': [{'gr': 'S,муж,неод=род,ед',\n",
       "    'lex': 'бокренок',\n",
       "    'qual': 'bastard'}],\n",
       "  'text': 'бокренка'},\n",
       " {'text': '\\n'}]"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "m.analyze(\"глокая куздра штеко будланула бокра и кудрячит бокренка\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Граммемы\n",
    "\n",
    "**Граммемами** называются обозначения частей речи и других морфологических категорий в разборе. Последовательность граммем -- это и есть **грамматический тег слова**. Например, тег `V,несов,пе=непрош,ед,изъяв,3-л` состоит из следующих граммем:\n",
    "\n",
    "* V\n",
    "* несов\n",
    "* пе\n",
    "* непрош\n",
    "* ед\n",
    "* изъяв\n",
    "* 3-л\n",
    "\n",
    "Самое непритное в том, что существует много наборов граммем, или **тегсетов**, для обозначения одного и того же. У одного только майстема их [два](https://tech.yandex.ru/mystem/doc/grammemes-values-docpage/): русский и английский. Своя система морфологической разметки и в [НКРЯ](http://www.ruscorpora.ru/corpora-morph.html). А уж если обратиться к другим языкам... К счастью, в рамках проекта *Universal Dependencies* предпринята попытка создания универсальной разметки для всех языков(вот [части речи](http://universaldependencies.org/u/pos/) и [все остальные граммемы](http://universaldependencies.org/u/feat/index.html), но увы, пока далеко не все ей пользуются. В общем, конвертирование тегов из одной системы в другую -- типичная головная боль компьютерного лингвиста. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Mystem vs НКРЯ\n",
    "\n",
    "<img style=\"float: left;\" src=\"mystem.png\" width=\"400\">\n",
    "\n",
    "<img style=\"float: left;\" src=\"ruscorpora.png\" width=\"550\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### JSON\n",
    "\n",
    "Размеченные тексты нужно как-то хранить. Для этого идеально подходит формат **JSON**, что расшифровывается как *JavaScript Object Notation*. Это текстовый формат, при этом его \"предложения\" легко преобразовать в питоновские (и не только питоновские) структуры данных, потому что они похожи на словари и массивы. JSON легко читается и человеком, и компьютером. Мы не будем углубляться в особенности этого формата (но если вам хочется, то загляните [вот в этот семинар](https://github.com/ancatmara/learnpython2017/blob/master/%D0%A1%D0%B5%D0%BC%D0%B8%D0%BD%D0%B0%D1%80%D1%8B/5.%20JSON.ipynb)), а лишь научимся записывать в json-файл готовый разбор и, наоборот, считывать разобранный текст из файла. \n",
    "\n",
    "#### Модуль json\n",
    "\n",
    "В питоне есть стандартный модуль json. В основном из этого модуля используют такие функции:\n",
    "\n",
    "* `loads` -- превратить строку в формате JSON в объект питона - словарь или массив. У этой функции один обязательный аргумент -- строка.\n",
    "* `dumps` -- превратить питоновский словарь или массив в строку JSON. У этой функции один обязательный аргумент - словарь или массив.\n",
    "* `load` -- прочитать файл и превратить JSON, который в нем находится, в объект питона. У этой функции два обязательных аргумента -- файл и объект питона.\n",
    "* `dump` -- превратить питоновский словарь или массив в строку JSON и записать ее в файл. У этой функции два обязательных аргумента - файл и объект питона.\n",
    "\n",
    "Теперь сделаем разбор и запишем его в файл."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json\n",
    "\n",
    "kuzdra = m.analyze(\"глокая куздра штеко будланула бокра и кудрячит бокренка\")\n",
    "\n",
    "with open('kuzdra.json', 'w', encoding='utf-8') as f:\n",
    "    json.dump(kuzdra, f, ensure_ascii=False)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "По указанному пути появился файл `kuzdra.json`. Его можно открыть в любом текстовом редакторе, например Notepad++, а можно загрузить его содержимое в программу"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open('kuzdra.json', 'r', encoding='utf-8') as f:\n",
    "    kuzdra = json.loads(f.read())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "list"
      ]
     },
     "execution_count": 58,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(kuzdra)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[{'analysis': [{'lex': 'глокая', 'qual': 'bastard', 'gr': 'S,ед,жен,неод=им'}], 'text': 'глокая'}, {'text': ' '}, {'analysis': [{'lex': 'куздра', 'qual': 'bastard', 'gr': 'S,ед,жен,неод=им'}], 'text': 'куздра'}, {'text': ' '}, {'analysis': [{'lex': 'штеко', 'qual': 'bastard', 'gr': 'ADV='}], 'text': 'штеко'}, {'text': ' '}, {'analysis': [{'lex': 'будланул', 'qual': 'bastard', 'gr': 'S,муж,од=(вин,ед|род,ед)'}], 'text': 'будланула'}, {'text': ' '}, {'analysis': [{'lex': 'бокра', 'qual': 'bastard', 'gr': 'S,ед,жен,неод=им'}], 'text': 'бокра'}, {'text': ' '}, {'analysis': [{'lex': 'и', 'gr': 'CONJ='}], 'text': 'и'}, {'text': ' '}, {'analysis': [{'lex': 'кудрячить', 'qual': 'bastard', 'gr': 'V,несов,пе=непрош,ед,изъяв,3-л'}], 'text': 'кудрячит'}, {'text': ' '}, {'analysis': [{'lex': 'бокренок', 'qual': 'bastard', 'gr': 'S,муж,неод=род,ед'}], 'text': 'бокренка'}, {'text': '\\n'}]\n"
     ]
    }
   ],
   "source": [
    "print(kuzdra)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Try - except\n",
    "\n",
    "Это специальная условная конструкция, которая помогает обрабатывать исключения. При наличии обработки исключений программа не падает, когда возникает какая-нибудь ошибка, а продолжает работу. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "S,ед,жен,неод=им\n"
     ]
    },
    {
     "ename": "KeyError",
     "evalue": "'analysis'",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mKeyError\u001b[0m                                  Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-6-8540c6b7ee37>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m      1\u001b[0m \u001b[1;32mfor\u001b[0m \u001b[0mword\u001b[0m \u001b[1;32min\u001b[0m \u001b[0mkuzdra\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 2\u001b[1;33m     \u001b[0mprint\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mword\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;34m'analysis'\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;36m0\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m[\u001b[0m\u001b[1;34m'gr'\u001b[0m\u001b[1;33m]\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[1;31mKeyError\u001b[0m: 'analysis'"
     ]
    }
   ],
   "source": [
    "for word in kuzdra:\n",
    "    print(word['analysis'][0]['gr'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ошибка возникла из-за того, что в списке с разборами `kuzdra` помимо слов майстем выдает и пробелы, переносы строки и прочие служебные символы, а у них нет грамматического разбора и, следвательно, ключа `analysis` в словаре. Ошибка `KeyError` как раз значит, что ключа с указанным именем в словаре нет. Чтобы программа не падала, дойдя до пробела, нужно написать обработку исключения, т.е. указать, что программа должна сделать в случае возникновения такой ошибки. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "S,ед,жен,неод=им\n",
      "S,ед,жен,неод=им\n",
      "ADV=\n",
      "S,муж,од=(вин,ед|род,ед)\n",
      "S,ед,жен,неод=им\n",
      "CONJ=\n",
      "V,несов,пе=непрош,ед,изъяв,3-л\n",
      "S,муж,неод=род,ед\n"
     ]
    }
   ],
   "source": [
    "for word in kuzdra:\n",
    "    try:\n",
    "        print(word['analysis'][0]['gr'])\n",
    "    except KeyError:  # тут название ошибки\n",
    "        pass          # тут то, что нужно сделать в случае ее возникновения"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Иногда нужно прописать одно исключение сразу для нескольких ошибок. Тогда синтаксис будет следующим:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "S,ед,жен,неод=им\n",
      "S,ед,жен,неод=им\n",
      "ADV=\n",
      "S,муж,од=(вин,ед|род,ед)\n",
      "S,ед,жен,неод=им\n",
      "CONJ=\n",
      "V,несов,пе=непрош,ед,изъяв,3-л\n",
      "S,муж,неод=род,ед\n"
     ]
    }
   ],
   "source": [
    "for word in kuzdra:\n",
    "    try:\n",
    "        print(word['analysis'][0]['gr'])\n",
    "    except (KeyError, IndexError) as e:  # тут название ошибок\n",
    "        pass                             # тут то, что нужно сделать в случае их возникновения"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Задание\n",
    "\n",
    "1. Взять какой-нибудь небольшой текст (например, рассказ или длинное стихотворение), сохранить его в txt-файл.\n",
    "2. Загрузив текст из этого файла, сделать полный грамматический разбор и записать результаты в файл json.\n",
    "3. Написать регулярное выражение, которое будет извлекать из тега только часть речи.\n",
    "4. Пройтись циклом по списку с разборами, который выдал pymystem3, извлекая из каждого разбора форму слова и его часть речи и записывая их в новый словарь (форма -- ключ, часть речи -- значение).\n",
    "5. Посчитать абсолютную частоту для всех частей речи, а зате относительнную частоту (абсолютная частота / длина текста)."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}