{"id":2146,"date":"2012-03-12T00:12:59","date_gmt":"2012-03-11T22:12:59","guid":{"rendered":"http:\/\/yeti.albascout.ro\/blog\/?p=2146"},"modified":"2012-03-12T00:12:59","modified_gmt":"2012-03-11T22:12:59","slug":"google-spreadsheet-read-write-din-python","status":"publish","type":"post","link":"https:\/\/yeti.albascout.ro\/blog\/google-spreadsheet-read-write-din-python\/","title":{"rendered":"Google Spreadsheet read \/ write din python"},"content":{"rendered":"

Am primit de cur\u00e2nd o provocare interesant\u0103: Adi \u0218uhanea are un Google Spreadsheet (actualizat automat \/ manual de cineva) cu localit\u0103\u021bile \u0219i num\u0103rul de \u0219coli \u00eenscrise la cerceta\u0219i pentru \u0218coala Altfel<\/a>, \u0219i avea nevoie s\u0103 afi\u0219eze \u00eentr-o pagin\u0103 a site-ului (bazat pe Joomla) o hart\u0103 cu pe care s\u0103 fie distribuite \u0219colile, \u00een func\u021bie de localitate.<\/p>\n

Solu\u021bia ini\u021bial\u0103 era un scriptule\u021b care rezolva numele localit\u0103\u021bilor \u00een coordonate, \u0219i apoi afi\u0219a pe un Google Map – problema cu solu\u021bia asta este c\u0103, de c\u00e2nd Google Maps API a introdus obligativitatea unui API key, daca ai cateva zeci de hituri pe pagina respectiv\u0103 pe zi \u0219i c\u00e2teva zeci de localit\u0103\u021bi de afi\u0219at (\u0219i sunt<\/a>), ajungi foarte foarte repede la limita de request-uri pentru Geocoder-ul google.<\/p>\n

Pe scurt, cea mai bun\u0103 solu\u021bie \u00een cazul \u0103sta este s\u0103 salvezi undeva rezultatul geocod\u0103rii (long \u0219i lat), ca s\u0103 nu mai faci codarea \u0219i data viitoare c\u00e2nd \u00ee\u021bi este afi\u0219at\u0103 pagina – dar av\u00e2nd \u00een vedere c\u0103 localit\u0103\u021bile se salveaz\u0103 \u00een Google Spreadsheet, cea mai bun\u0103 solu\u021bie este s\u0103 p\u0103strezi rezultatele tot acolo. Dar cum?<\/p>\n

Enter Google Data API<\/a> (for python<\/a>, \u00een cazul nostru). API-ul este destul de complicat pentru utilizarea elementar\u0103 de care avem noi nevoie, dar am g\u0103sit modulul text_db<\/a> <\/em>din acela\u0219i API, care pune la dispozi\u021bie o interfa\u021b\u0103 mai simpl\u0103 pentru accesarea Spreadsheet-urilor.<\/p>\n

Sigur, pe l\u00e2ng\u0103 scrierea \u00een document, e nevoie \u0219i de traducerea efectiv\u0103 a adresei \u00een long \u0219i lat, lucru pentru care este nevoie de un Geocoder (\u0219i am folosit o interfa\u021b\u0103 python pentru Google Geocoder – geopy<\/a>)<\/p>\n

So here we go:<\/p>\n

from geopy import geocoders\r\nfrom gdata.spreadsheet import text_db\r\n\r\nusername = \"test@example.com\"\r\npassword = \"secret\"\r\ndocument_name = \"Numele documentului\"\r\n\r\n# se obtine interfata catre gdata-api\r\nclient = DatabaseClient(username, password)\r\n# se deschide documentul (care va fi tratat database-like)\r\ndatabase = client.GetDatabases(name = document_name)\r\n# si obtin toate sheet-urile (in contextul asta, tabele)\r\ntables = database[0].GetTables()\r\n\r\n# LookupFields initializeaza numele campurilor din coloane cu \r\n# textul din prima linie a fiecarei coloane\r\ntables[0].LookupFields()\r\n\r\n# obtinem o lista cu toate liniile ceva in coloane cu header-ul\r\n# localitate (povestea cu \\\" \\\" este necesara, am incercat si cu \r\n# single quote ('), si nu \"vrea\"\r\nlines = tables[0].FindRecords(\"localitate != \\\"\\\"\")\r\n\r\n# initializam geocoder-ul\r\n# din documentatie, se poate initializa cu domeniul tarii, unde\r\n# este disponibil, pentru a \"tuna\" rezultatele cautarii\r\ng = geocoders.Google(GMAP_API, domain = \"maps.google.ro\")\r\n\r\nfor record in lines:\r\n\u00a0\u00a0\u00a0 # datele sunt initializate in dictionarul contents\r\n\u00a0\u00a0\u00a0 # numele coloanelor, indiferent de cum sunt trecute in document\r\n\u00a0\u00a0\u00a0 # sunt normalizate - lowercased, fara spatii, si daca sunt doua cu acelasi nume\r\n\u00a0\u00a0\u00a0 # primesc nume gen nume1, nume2 ... (este o functie in text_db care detaliaza)\r\n\u00a0\u00a0\u00a0 if record.content.get(\"lat\") == None:\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 try:\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 # aici pot fi doua probleme - una, ca nu este niciun rezultat, si atunci va fi ridicata \r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 # o exceptie (prinsa mai jos), sau vor fi mai multe - de aceea o selectam doar pe prima\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 place, (lat, lng) = g.geocode(record.content.get(\"localitate\"), exactly_one = False)[0]\r\n\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 # documentul meu vrea ca despartitor decimal , nu ., desi reprezentarea default in python\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 # este cu . - este deci nevoie sa operam usor stringul.\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 lat = \"%f\" % record.content['lat']\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 lng = \"%f\" % record.content['long']\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 record.content['lat'] = \"%f\" % lat.replace(\".\", \",\")\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 record.content['long'] = \"%f\" % lng.replace(\".\", \",\")\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 record.content['place'] = place\r\n\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 # push trimite documentului datele\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 record.Push()\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 except Exception:\r\n\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 continue<\/pre>\n
Ok, that’s it – ori de c\u00e2te ori se adaug\u0103 \u00een document o localitate care NU are nimic trecut \u00een c\u00e2mpurile pentru long \u0219i lat, se va face o cerere c\u0103tre geocoder \u0219i se vor salva rezultatele primite \u00een acela\u0219i spreadsheet.<\/p>\n
Mai este un side effect fericit aici: dac\u0103 primul rezultat nu este cel mai bun, operatorul poate corecta manual, ad\u0103ug\u00e2nd mai multe informa\u021bii l\u00e2ng\u0103 localitate (spre exemplu, jude\u021bul), \u0219i \u0219terg\u00e2nd longitutidea \u0219i latitudinea.<\/p>\n
Pe backend, script-ul face treaba descris\u0103 mai sus o dat\u0103 la c\u00e2teva ore. Pentru afi\u0219are, am legat repede un mini-app Django cu un view, un model \u0219i un template, care afi\u0219eaz\u0103 harta.<\/p>\n
Ah, \u0219i \u00een procesul \u0103sta am inventat \u0219i un marker de hart\u0103 pentru Google Maps, pe care \u00eel pute\u021bi lua de mai jos, \u00een formate png (direct) sau svg (Inkscape), bazat pe .eps-ul de aici<\/a>.<\/p>\n
\"\"<\/a><\/p>\n
\n\tVarianta PNG\t(1015 downloads\t)\n<\/a>\n
\n\n\tVarianta SVG (Inkscape)\t(1646 downloads\t)\n<\/a>\n<\/p>\n
\u0218i rezultatul final, mai jos:<\/p>\n