TED Talk σχετικά με την διαφάνεια στο δημόσιο τομέα της Αγγλίας

Πολύ ωραία ομιλία από την Heather Brooke για τις προσπάθειες που έκανε να αποκτήσει πρόσβαση στα αρχεία του Βρετανικού Κοινοβουλίου.



http://www.ted.com/talks/heather_brooke_my_battle_to_expose_government_corruption.html Το γενικό συμπέρασμα που προκύπτει είναι: People have the right to know.

Προεπισκόπηση εγγράφων της Διαύγειας για ταχύτερη αναζήτηση

Δεν είναι λίγες οι περιπτώσεις που κάποιος χρήστης αναζητώντας πληροφορίες στην Διαύγεια χρειάζεται να κατεβάσει ένα ή περισσότερα μεγάλα αρχεία PDF για να διαπιστώσει τελικά ότι δεν ήταν αυτό που έψαχνε.

Η λύση σε αυτό το πρόβλημα δίνεται με την Προεπισκόπηση Εγγράφων που υλοποιήθηκε στην Υπερδιαύγεια.

Στα δεξιά των αποτελεσμάτων υπάρχουν μικρογραφίες της 1ης σελίδας των εγγράφων

Πατώντας στην μικρογραφία ενός εγγράφου, ο χρήστης βλέπει την πρώτη σελίδα του σε κανονικό μέγεθος

Στα δεξιά των αποτελεσμάτων αναζήτησης, ο χρήστης βλέπει μικρογραφίες της 1ης σελίδας όλων των εγγράφων που εμφανίζονται. Πατώντας σε μια μικρογραφία, ο χρήστης μπορεί να δει σε πλήρες μέγεθος την πρώτη σελίδα του εγγράφου και μετά να αποφασίσει αν θέλει να δει το έγγραφο στην Διαύγεια ή να το κλείσει.

Με την εφαρμογή της προεπισκόπησης, οι χρήστες γλυτώνουν πολύ χρόνο καθώς αποφεύγουν να κατεβάζουν μεγάλα αρχεία PDF που δεν χρειάζονται.


Τεχνικά, η προεπισκόπηση γίνεται με την βοήθεια του ghostscript

/usr/bin/gs -q -sDEVICE=pnggray -o "outputfile" -sPAPERSIZE=a4 -dFirstPage=1 -dLastPage=1 "inputfile"

Νέες λειτουργίες: Ομαδοποίηση ανά τύπο απόφασης και οργανισμό στην ΥπερΔιαύγεια

Η ΥπερΔιαύγεια ανανεώθηκε! Οι νέες λειτουργίες αφορούν α) την προσθήκη επιλογής φίλτρου αναζήτησης ανά τύπο απόφασης και β) την παρουσίαση στα αποτελέσματα μιας στήλης όπου μπορεί ο χρήστης να επιλέξει τα αποτελέσματα από έναν συγκεκριμένο οργανισμό ή έναν συγκεκριμένο τύπο απόφασης.

Με αυτές τις αλλαγές βελτιώνεται πολύ η ευχρηστία και η αποτελεσματικότητα της ΥπερΔιαύγειας! Stay tuned for more.

Φίλτρο αναζήτησης ανά τύπο απόφασης

Νέα φόρμα αναζήτησης της ΥπερΔιαύγειας με φίλτρο ανά φορέα και τύπο απόφασης

Ανάλυση των αποτελεσμάτων ανά τύπο απόφασης και οργανισμό

Στην δεξιά μπάρα εμφανίζονται πλέον φίλτρα επιλογής στα αποτελέσματα ανά τύπο απόφασης και οργανισμό

Διαύγεια OCR text extraction

Ένα από τα βασικά θέματα που με απασχόλησαν κατά την δημιουργία της ΥπερΔιαύγειας είναι το πως θα καταφέρω να εξάγω το κείμενο από τα PDFs που είναι δημοσιευμένα ώστε στην συνέχεια να προχωρήσω στη δημιουργία ευρετηρίων αναζήτησης. Αρχικά, χρησιμοποίησα τα poppler tools με πολύ καλά αποτελέσματα στα PDFs που περιείχαν κείμενο. Προσέξτε πολύ αυτό το σημείο: στα PDFs που είχαν κείμενο!

Κατά την υλοποίηση της ΥπερΔιαύγειας παρατήρησα ότι πολλά από τα έγγραφα που δημοσιεύονται στην Διαύγεια είναι PDFs που περιέχουν μόνο εικόνες. Πρόκειται δηλαδή για σκαναρισμένα έγγραφα που στην συνέχεια τα μετατρέπουν σε PDFs. Με αυτό τον τρόπο όμως, δεν υπάρχει οποιαδήποτε πληροφορία κειμένου, πράγμα που απαγορεύει την αναζήτηση, ακόμη και από την προσαρμοσμένη αναζήτηση του Google που χρησιμοποιείται πλέον στο επίσημο site της Διαύγειας.

Ένα τυχαίο παράδειγμα τέτοιων εγγράφων είναι αυτό: static.diavgeia.gov.gr/doc/ΒΟΝ1Γ-ΧΤΖ

Για να λύσω λοιπόν αυτό το ζήτημα προχώρησα στην υλοποίηση συστήματος OCR με βάση το λογισμικό ανοικτού κώδικα Tesseract. Το τελικό σύστημά μου δουλεύει ως εξής για κάθε έγγραφο που θέλω να επεξεργαστώ:

1. Κατεβάζω το αρχείο PDF
2. Επιχειρώ να εξάγω κείμενο με βάση το pdftotext (poppler tools)
3. Αξιολογώ τα αποτελέσματα. Αν είναι ικανοποιητικά αποθηκεύω το κείμενο, τερματίζω και προχωρώ στο επόμενο. Αν όχι συνεχίζω.
4. Επιχειρώ να εξάγω κείμενο με βάση το tesseract OCR.
5. Αξιολογώ τα αποτελέσματα. Αν είναι ικανοποιητικά αποθηκεύω το κείμενο και τερματίζω.
6. Διαφορετικά, δηλώνω σφάλμα και τερματίζω.

Παράδειγμα

Στην συνέχεια, παραθέτω ένα πρακτικό παράδειγμα εξαγωγής κειμένου από το έγγραφο static.diavgeia.gov.gr/doc/ΒΟΝ1Γ-ΧΤΖ

pdftotext output: κενό! Δεν επιστρέφει καμία πληροφορία για το κείμενο.

OCR output: 

AAA: BON1F-XTZ
AN APTHTEA ΣΤΟ AIAMKTYO


“p:
EAAHNIKH AHMOKPATIA Αθήνα 30 Δεκεμβρίου 2011
YFIOYPFEIO FIOAITIZMOY
KAI TOYPIZMOY
Ap. Πρωτ.: 8940
ι" ΕΦΟΡΕ|Α
BYZANTINQN APXAIOTHTQN
Ταχ. Διεύθυνση : Πανος 16
Ταχ. Κώδικας : 105 55
Πληροφορίες : F. Πίκουλης
Τηλέφωνο : 210-3315400
FAX : 210-3315644
e-mail: 1eba@culture.gr
ENTOAH ΠΛΗΡΩΜΗΣ
Έχοντας υποψιν:
Τον N. 1558/85 (ΦΕΚ 137/A/85) «Κυβέρνηση και Κυβερνητικα οργανα»
Το Π.Δ. 191/03 (ΦΕΚ 146/A/03) «Οργανισμος Υπουργείου Πολιτισμού»
To FLA. 186/09 (ΦΕΚ 213/A/O9) «Συγχώνευση των υπουργείων
Πολιτισμού και Τουριστικής Αναπτυξης»
4. Την Υ.Α. με αρ. Yl'll'lO/AOEYl'lY/TOl'lYNZ/1 5/3696/20012004 (ΦΕΚ
180/B/O4) «Μεταβίβαση αρμοδιοτήτων του Υπουργείου Πολιτισμού στις
Περιφερειακές και Ειδικές Περιφερειακές Υπηρεσίες αρμοδιοτητας της
Γενικής Διεύθυνσης Αρχαιοτήτων και Πολιτιστικής Κληρονομιας και
Γενικής Διεύθυνσης Αναστήλωσης Μουσείων και Τεχνικών 'Εργων του
Υπουργείου Πολιτισμού»
5. To Π.Δ. 99/92 (ΦΕΚ 46/A/92) «Μελέτη και Εκτέλεση Αρχαιολογικών εν
γένει έργων»
6. Tov N. 2362/95 (ΦΕΚ 247/A/95) «Περί Δημοσίου Λογιστικού. ελέγχου
των δαπανών του Κρατους και αλλες διαταξεις»
7. Tov N. 2286/95 (ΦΕΚ 19/A/95) «Προμήθειες του δημοσίου τομέα και
ρυθμίσεις συναφών θεματων»
8. To Π.Δ. 118 (ΦΕΚ 150/A/O7) «Κανονισμος Προμηθειών Δημοσίου»
9. To Π.Δ. 134/96 (FEK A/105) τροποποίησης και συμπλήρωσης μερικών
διαταξεων του Π.Δ. 186/92 «Κώδικας βιβλίων και στοιχείων», οπως
ισχυει
10.To Π.Δ. 113/10 (ΦΕΚ 194/A/10) ‹‹Αναληψη υποχρεώσεων απο τους
Διατακτες››
11.Tr]v Y.A. με αρ. 35130/739/10 (ΦΕΚ 1291/8/10) «Αύξηση των
χρηματικών ποσών του αρθρου 83 παρ. 1 του N. 2362/95 για την
σύναψη δημοσίων συμβασεων που αφορούν προμήθεια προιοντων,
παροχή υπηρεσιών ή εκτέλεση έργων»
12.Tov N. 3861/10 (ΦΕΚ 112/A/10) «Ενίσχυση της διαφανειας με την
υποχρεωτική αναρτηση νομων και πραξεων των κυβερνητικών,
P9P)?‘
AAA: BON1F-XTZ
διοικητικών και αυτοδιοικητικών οργανων στο διαδίκτυο «Προγραμμα
Διαύγεια›› και αλλες διαταξεις»

13.Tr]v TAFl/AIOIK/B/6954/39/22.07.2011, αποφαση έκδοσης Χρηματικού
Ενταλματος Προπληρωμής.
14.Tr]v υπ'αριθμ. 1" EBA/8745/21.12.2011 (AAA 45'~|»‘L|-'F-N41) Αναθεση
Προμήθειας Υλικών.
Εγκρίνουμε
Την πληρωμή ποσού τετρακοσίων είκοσι έξι ευρώ και είκοσι εξι λεπτών
(42626 €) με την επιταγή υπί αριθμ. 49394723-0, της Εμπορικής Τραπεζας
A.E., σε διαταγή ΠΕΡΜΕ FIEPIBAAAONTIKH METACDOPIKH A.E., για την
εξοφληση των τιμολογίων υπ' αριθμ. 2065/29.12.2011 και 2066/29.12.2011.
H δαπανη θα βαρύνει τις πιστώσεις του ΤΑΠΑ για δαπανες
διαμορφωσης αρχαιολογικών χώρων 2011.
H Προϊσταμένη
της της Εφορείας Βυζαντινών Αρχαιοτήτων
κ.α.α.
Βασιλική Παπαγεωργίου
Αρχαιολογος ΠΕ

Αν παρατηρήσετε, θα δείτε ότι το αποτέλεσμα δεν είναι τέλειο, σε πολλά σημεία υπάρχουν λάθος χαρακτήρες αλλά η γενική εικόνα του κειμένου είναι πολύ καλή με δεδομένο ότι πρόκειται για μια πλήρως αυτοματοποιημένη διαδικασία χωρίς ανθρώπινη παρέμβαση για training και error correction. 

Γενικά στατιστικά & συμπεράσματα

Εξετάζοντας το σύνολο των δεδομένων της ΥπερΔιαύγειας στις 10 Ιουνίου 2012 έχουμε τα εξής στοιχεία:

Τύπος εγγράφου	Πλήθος	Ποσοστό
Text PDF	4.566.445	96.9%
OCR PDF	133.568	2.8%
Σφάλμα	10.433	0.2%
Σύνολο	4.710.446

Συμπερασματικά, βλέπετε ότι με την μέθοδο του OCR καταφέραμε να πάρουμε επιπλέον πληροφορίες από 133.568 έγγραφα, περίπου 3% των συνολικών δεδομένων. Ο αριθμός αυτός δεν είναι καθόλου αμελητέος αν σκεφτούμε την ιδιαίτερη σημασία των δεδομένων αυτών.

Το επόμενο βήμα θα της έρευνάς μου θα είναι να αναλύσω τι είδους αποφάσεις είναι αυτές που καταχωρούνται στην Διαύγεια ως εικόνες και αν υπάρχει ιδιαίτερος λόγος που γίνεται αυτό.

Η ΥπερΔιαύγεια παρουσιάζεται σε εργαστήριο του Υπ. Διοικητικής Μεταρρύθμισης και Ηλεκτρονικής Διακυβέρνησης

Η ΥπερΔιαύγεια θα παρουσιαστεί την Τετάρτη 04 Απριλίου 2012 στο εργαστήριο: «Πρόγραμμα Δι@ύγεια: Παρόν και Μέλλον της Διαφάνειας στο Δημόσιο Βίο» που θα πραγματοποιηθεί στο Εθνικό Κέντρο Δημόσιας Διοίκησης (ΕΚΔΔΑ).ΥπερΔιαύγεια

View more presentations from Vangelis Banos

Yperdiavgeia infinite scrolling για ταχύτερα αποτελέσματα

Η τεχνική του infinite scrolling είναι μια μέθοδος που επιταχύνει κατά πολύ την αναζήτηση και την πλοήγηση σε μια ιστοσελίδα με πολύ περιεχόμενο. Η ΥπερΔιαύγεια υποστηρίζει από σήμερα infinite scrolling, βελτιώνοντας κατά πολύ την ευχρηστία της και την ταχύτητα εξυπηρέτησης των χρηστών της.

Με δύο λόγια, ο χρήστης κάνει μια αναζήτηση, βλέπει τα αποτελέσματα και μόλις πάει στο κάτω μέρος της σελίδας, αυτομάτως φορτώνονται τα επόμενα αποτελέσματα ως μια φυσική συνέχεια των προηγούμενων. Η διαδικασία αυτή συνεχίζεται όσο ο χρήστης φτάνει στο τέλος της σελίδας μέχρι να εξαντληθούν όλα τα αποτελέσματα.

Το infinite scrolling έχει πολλά πλεονεκτήματα σε σχέση με το παραδοσιακό pagination. Στην πρώτη περίπτωση ο χρήστης:

1. κάνει scroll down στην λίστα των αποτελεσμάτων,
2. φτάνει στο τέλος και ψάχνει με το ποντίκι να στοχεύσει το κουμπί για την επόμενη σελίδα,
3. πατάει το κουμπί,
4. περιμένει να φορτώσει η νέα σελίδα,
5. κάνει και πάλι scroll down στην λίστα των αποτελεσμάτων.

Αντίθετα, στην περίπτωση του infinite scrolling ο χρήστης κάνει απλώς scrolling!

Ο κώδικας javascript που απαιτείται για αυτή την λειτουργία είναι ο εξής:

$(window).scroll(function () { 
   if ($(window).scrollTop() >= $(document).height() - $(window).height() - 10) {
      //Add something at the end of the page
   }
});

Όσον αφορά τον server, αυτό εξαρτάται από την εκάστοτε τεχνολογία της ιστοσελίδας.

Επιπλέον πληροφορίες για το infinite scrolling:

• http://stackoverflow.com/questions/5059526/infinite-scroll-jquery-plugin
• http://www.codinghorror.com/blog/2012/03/the-end-of-pagination.html
• http://ux.stackexchange.com/questions/15982/regular-pagination-vs-infinite-scroll 
• http://www.infinite-scroll.com/

Περιγραφή περιστατικού διαφθοράς

Είναι χρέος όλων να προωθήσουμε το παρακάτω από τον κ. Σπινέλλη:

Σύμφωνα με δημοσιεύματα [1], ο Πρόεδρος της Πανελλήνιας Ομοσπονδίας Εργαζομένων στις Δημόσιες Οικονομικές Υπηρεσίες (ΠΟΕ ΔΟΥ) [2], δηλαδή των εφοριακών υπαλλήλων, κος Χαράλαμπος Νικολακόπουλος κατέθεσε στην Εισαγγελία Αθηνών μήνυση εναντίον μου σχετικά με την αναφορά μου σε εκδήλωση με θέμα «Φοροδιαφυγή και Κοινωνική Δικαιοσύνη» για την ύπαρξη διαφθοράς στον φοροεισπρακτικό μηχανισμό. Είναι κρίμα που η ΠΟΕ ΔΟΥ, αντί να υιοθετήσει και να εφαρμόσει έναν αυστηρό κώδικα δεοντολογίας και ηθικής που να δεσμεύει όλα τα μέλη της και να απομονώσει έτσι τους (εύχομαι λίγους) επίορκους υπαλλήλους, προχωρά σε μηνύσεις κατά αυτών που μίλησαν για ένα πρόβλημα που γνωρίζει όλη η ελληνική κοινωνία. 

Μέσω αυτής της φόρμας συλλέγω στοιχεία για περιστατικά διαφθοράς που σχετίζονται με το φοροεισπρακτικό μηχανισμό προκειμένου να μπορέσω να υπερασπιστώ τον εαυτό μου.

https://docs.google.com/spreadsheet/viewform?formkey=dDk5aUtUeFJ2ckxNbWxyS1dZSUhpLWc6MQ

Μπορείτε να καταχωρήσετε στοιχεία επώνυμα ή ανώνυμα, αλλά οι επώνυμες αναφορές είναι σίγουρα περισσότερο χρήσιμες. Ευχαριστώ προκαταβολικά για τη συμμετοχή σας. Διομήδης Σπινέλλης - http://www.spinellis.gr και https://twitter.com/#!/DSpinellis [1] http://m.capital.gr/News.aspx?id=1434092 [2] http://www.poedoy.gr/