5 Text reuse.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Latin"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Load all of Cicero's De divinatione\n",
    "\n",
    "import os\n",
    "\n",
    "div1_fp = os.path.expanduser('~/cltk_data/latin/text/latin_text_latin_library/cicero/divinatione1.txt')\n",
    "div2_fp = os.path.expanduser('~/cltk_data/latin/text/latin_text_latin_library/cicero/divinatione2.txt')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(div1_fp) as fo:\n",
    "    div1 = fo.read()\n",
    "\n",
    "with open(div2_fp) as fo:\n",
    "    div2 = fo.read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'126 127 128 129 130 131 132 \\n \\n\\n \\n\\n\\n \\nI 1 Vetus opinio est iam usque ab heroicis ducta temporibus, eaque et populi Romani et omnium gentium firmata consensu, versari quandam inter homines divinationem, quam Graeci mantikh/n appellant, id est praesensionem et scientiam rerum futurarum. Magnifica quaedam res et salutaris, si modo est ulla, quaque proxime ad deorum vim natura mortalis possit accedere. Itaque ut alia nos melius multa quam Graeci, sic huic praestantissimae rei nomen nostri a divis, Graeci, ut Plato interpretatur, a furore duxerunt. 2 Gentem quidem nullam video neque tam humanam atque doctam neque tam immanem tamque barbaram, quae non significari futura et a quibusdam intellegi praedicique posse censeat. Principio Assyrii, ut ab ultimis auctoritatem repetam, propter planitiam magnitudinemque regionum quas incolebant, cum caelum ex omni parte patens atque apertum intuerentur, traiectiones motusque stellarum observitaverunt, quibus notati, quid cuique significaretur memoriae p'"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "div1[500:1500]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "# We will calculate the Levenstein distance\n",
    "# See http://docs.cltk.org/en/latest/multilingual.html#text-reuse\n",
    "\n",
    "from cltk.text_reuse.levenshtein import Levenshtein"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.44"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lev_dist = Levenshtein()\n",
    "lev_dist.ratio(div1, div2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "multa quoque et bello passus\n"
     ]
    }
   ],
   "source": [
    "# Find the longest common substring\n",
    "# This can take some time!\n",
    "\n",
    "from cltk.text_reuse.comparison import long_substring\n",
    "\n",
    "# Aen 1.1-6\n",
    "aen = \"\"\"arma virumque cano, Troiae qui primus ab oris\n",
    "Italiam, fato profugus, Laviniaque venit\n",
    "litora, multum ille et terris iactatus et alto\n",
    "vi superum saevae memorem Iunonis ob iram;\n",
    "multa quoque et bello passus, dum conderet urbem,               5\n",
    "inferretque deos Latio, genus unde Latinum,\n",
    "Albanique patres, atque altae moenia Romae.\"\"\"\n",
    "\n",
    "# Servius 1.1\n",
    "serv = \"\"\"arma multi varie disserunt cur ab armis Vergilius coeperit, omnes tamen inania sentire manifestum est, cum eum constet aliunde sumpsisse principium, sicut in praemissa eius vita monstratum est. per 'arma' autem bellum significat, et est tropus metonymia. nam arma quibus in bello utimur pro bello posuit, sicut toga qua in pace utimur pro pace ponitur, ut Cicero “cedant arma togae” , id est bellum paci. alii ideo 'arma' hoc loco proprie dicta accipiunt, primo quod fuerint victricia, secundo quod divina, tertio quod prope semper armis virum subiungit, ut “arma virumque ferens” et “arma acri facienda viro” . arma virumque figura usitata est ut non eo ordine respondeamus quo proposuimus; nam prius de erroribus Aeneae dicit, post de bello. hac autem figura etiam in prosa utimur. sic Cicero in Verrinis “nam sine ullo sumptu nostro coriis, tunicis frumentoque suppeditato maximos exercitus nostros vestivit, aluit, armavit” . non nulli autem hyperbaton putant, ut sit sensus talis 'arma virumque cano, genus unde Latinum Albanique patres atque altae moenia Romae', mox illa revoces 'Troiae qui primus ab oris'; sic enim causa operis declaratur, cur cogentibus fatis in Latium venerit. et est poeticum principium professivum 'arma virumque cano', invocativum 'Musa mihi causas memora', narrativum 'urbs antiqua fuit'. et professivum quattuor modis sumpsit: a duce 'arma virumque cano', ab itinere 'Troiae qui primus ab oris', a bello 'multa quoque et bello passus', a generis successu 'genus unde Latinum'. virum quem non dicit, sed circumstantiis ostendit Aeneam. et bene addidit post 'arma' 'virum', quia arma possunt et aliarum artium instrumenta dici, ut “Cerealiaque arma” . cano polysemus sermo est. tria enim significat: aliquando laudo, ut “regemque canebant” ; aliquando divino, ut “ipsa canas oro” ; aliquando canto, ut in hoc loco. nam proprie canto significat, quia cantanda sunt carmina. Troiae Troia regio est Asiae, Ilium civitas Troiae; plerumque tamen usurpant poetae et pro civitate vel regionem vel provinciam ponunt, ut Iuvenalis “et flammis Asiam ferroque cadentem” . Probus ait Troiam Graios et Aiax non debere per unam i scribi. qui primus quaerunt multi, cur Aeneam primum ad Italiam venisse dixerit, cum paulo post dicat Antenorem ante adventum Aeneae fundasse civitatem. constat quidem, sed habita temporum ratione peritissime Vergilius dixit. namque illo tempore, quo Aeneas ad Italiam venit, finis erat Italiae usque ad Rubiconem fluvium: cuius rei meminit Lucanus et Gallica certus limes ab Ausoniis disterminat arva colonis. unde apparet Antenorem non ad Italiam venisse, sed ad Galliam cisalpinam, in qua Venetia est. postea vero promotis usque ad Alpes Italiae finibus, novitas creavit errorem. plerique tamen quaestionem hanc volunt ex sequentibus solvi, ut videatur ob hoc addidisse Vergilius 'ad Lavina litora', ne significaret Antenorem. melior tamen est superior expositio. primus [ergo] non ante quem nemo, sed post quem nullus, <ut> “tuque o, cui prima furentem fundit equum magno tellus percussa tridenti et hic mihi responsum primus dedit” . vel laudative 'primus', ut “primam qui legibus urbem fundabit, Curibus parvis” . ab oris speciem pro genere; nam oras terras generaliter debemus accipere. sane praepositionem mutavit, nam 'ex oris' melius potuit dicere.\n",
    "\"\"\"\n",
    "\n",
    "print(long_substring(aen, serv))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.6717661057283699\n"
     ]
    }
   ],
   "source": [
    "from cltk.text_reuse.comparison import minhash\n",
    "\n",
    "print(minhash(div1,div2))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.4822404371584699\n"
     ]
    }
   ],
   "source": [
    "# Try with texts by different authors, adding Apuleius' Apologia\n",
    "\n",
    "ap_fp = os.path.expanduser('~/cltk_data/latin/text/latin_text_latin_library/apuleius/apuleius.apol.txt')\n",
    "\n",
    "with open(ap_fp) as fo:\n",
    "    ap = fo.read()\n",
    "\n",
    "print(minhash(ap, div1))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Greek"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "For Greek, we'll use the two books of Plutarch's De esu carnium."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'ΠΕΡΙ ΣΑΡΚΟΦΑΓΙΑΣ\\n\\t\\nΛΟΓΟΣ Α´\\n\\t\\n\\n\\n(993)\\n1\\n\\nἈλλὰ σὺ μὲν ἐρῶτᾷς τίνι λόγῳ Πυθαγόρας ἀπείχετο σαρκοφαγίας; ἐγὼ δὲ θαυμάζω καὶ τίνι πάθει καὶ ποίᾳ ψυχῇ ἢ λόγῳ Bὁ πρῶτος ἄνθρωπος ἥψατο φόνου στόματι καὶ τεθνηκότος ζῴου χείλεσι προσήψατο σαρκὸς καὶ νεκρῶν σωμάτων καὶ ἐώλων1 προθέμενος τραπέζας ὄψα καὶ τροφὰς2 προσεῖπεν3 τὰ μικρὸν ἔμπροσθεν βρυχώμενα μέρη καὶ φθεγγόμενα καὶ κινούμενα καὶ βλέποντα. πῶς ἡ ὄψις ὑπέμεινε τὸν φόνον σφαζομένων δερομένων διαμελιζομένων, πῶς ἡ ὄσφρησις ἤνεγκε τὴν ἀποφοράν, πῶς τὴν γεῦσιν οὐκ ἀπέτρεψεν ὁ μολυσμὸς ἑλκῶν ψαύουσαν ἀλλοτρίων καὶ τραυμάτων θανασίμων χυμοὺς καὶ ἰχῶρας ἀπολαμβάνουσαν;4\\n\\n\\n\\n\\nCεἷρπον μὲν ῥινοί, κρέα δ᾽ ἀμφ᾽ ὀβελοῖς ἐμεμύκει\\n\\t\\t\\t\\nὀπταλέα τε καὶ ὠμά, βοῶν δ᾽ ὡς γίγνετο φωνή·\\n\\t\\t\\n\\n\\n\\nτοῦτο μὲν5 πλάσμα καὶ μῦθός ἐστι, τὸ δέ γε δεῖπνον ἀληθῶς τερατῶδες, πεινῆν τινα τῶν μυκωμένων\\n\\n\\n\\np542ἔτι6 διδάσκοντα ὑφ᾽ ὧν δεῖ τρέφεσθαι ζώντων ἔτι καὶ λαλούντων καὶ7 διαταττόμενον ἀρτύσεις τινὰς καὶ ὀπτήσεις καὶ παραθέσεις· τούτων8 ἔδει ζητεῖν τὸν πρῶτον ἀρξάμενον οὐ τὸν ὀψὲ παυσάμενον.\\n\\n\\t\\n2\\n\\nἪ τοῖς μὲν πρώτοις ἐκείνοις ἐπιχειρήσασι σαρκοφαγεῖν τὴν αἰτίαν εἴποι'"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import os\n",
    "\n",
    "carn1_fp = os.path.expanduser('~/cltk_data/greek/text/greek_text_lacus_curtius/plain/Plutarch/De_esu_carnium/1.txt')\n",
    "carn2_fp = os.path.expanduser('~/cltk_data/greek/text/greek_text_lacus_curtius/plain/Plutarch/De_esu_carnium/2.txt')\n",
    "\n",
    "with open(carn1_fp) as fo:\n",
    "    carn1 = fo.read()\n",
    "\n",
    "with open(carn2_fp) as fo:\n",
    "    carn2 = fo.read()\n",
    "\n",
    "carn1[908:2001]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.46"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from cltk.text_reuse.levenshtein import Levenshtein\n",
    "lev_dist = Levenshtein()\n",
    "lev_dist.ratio(carn1, carn2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.43631915182819087\n"
     ]
    }
   ],
   "source": [
    "from cltk.text_reuse.comparison import minhash\n",
    "print(minhash(carn1,carn2))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.2874497799885211\n"
     ]
    }
   ],
   "source": [
    "# Compare with Book 1 of Oppian's Cynegetica\n",
    "# We're comparing prose with verse: the difference is clear\n",
    "\n",
    "cyn_fp = os.path.expanduser('~/cltk_data/greek/text/greek_text_lacus_curtius/plain/Oppian/Cynegetica/1*.txt')\n",
    "with open(cyn_fp) as fo:\n",
    "    cyn = fo.read()\n",
    "\n",
    "print(minhash(cyn, carn1))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}