Yperdiavgeia.gr in the news

Μια σειρά από πρόσφατα άρθρα έκαναν περισσότερο γνωστή την ΥπερΔιαύγεια στο ευρύ κοινό. Καταρχήν πρέπει να ευχαριστήσω το Κόμμα των Πειρατών Ελλάδας που φιλοξενεί ένα άρθρο στην κεντρική σελίδα του με τίτλο: Από την Δι@ύγεια στην ΥπερΔι@ύγεια.

Επιπλέον, τα άρθρα που δημοσιεύθηκαν είναι τα εξής:

• LiFO 8/1/2013: ΥπερΔιαύγεια: Μια έξυπνη μηχανή αναζήτησης για τις αποφάσεις του Κράτους.
• iefimerida.gr 7/1/2013: Η ΥπερΔιαύγεια ρίχνει περισσότερο φως στα δημόσια έγγραφα.
• parallaximag.gr 8/1/2013: Αναζήτηση στα άδυτα της Διαύγειας.
• metataxeis.gr 6/1/2013: Ενημέρωση για την εφαρμογή ΥπερΔιαύγεια

Θα ήθελα να ευχαριστήσω θερμά τους συντάκτες των μέσων που συμβάλλουν στην διάδοση της ΥπερΔιαύγειας και της ανοικτής πρόσβασης στα δημόσια δεδομένα.

ΥπερΔι@ύγεια: Τώρα και backup των αποφάσεων της Δι@ύγειας

Ένα από τα σημαντικότερα προβλήματα της Δι@ύγειας είναι ότι πολύ συχνά το site δεν είναι διαθέσιμο. Παραδείγματα υπάρχουν πολλά: http://www.inews.gr/63/epese-i-diavgeia.htm , http://news247.gr/eidiseis/sthles/paratypos/epese_h_diaugeia.2012444.html).

Τα προβλήματα αυτά όντως είναι αρκετά συχνά και εξηγούνται αν λάβουμε υπόψη τον μεγάλο αριθμό χρηστών, των μεγάλο όγκο των δεδομένων και την πολυπλοκότητα του συστήματος, καθώς επίσης και την δεδομένη αποδοτικότητα των ελληνικών δημοσίων υπηρεσιών που διαχειρίζονται την Δι@ύγεια :)

Τα προβλήματα αυτά επηρεάζουν πολλούς δημοσίους υπαλλήλους (και όχι μόνο) που χρησιμοποιούν την Δι@ύγεια καθώς δεν μπορούν να έχουν πρόσβαση στα έγγραφα για να κάνουν την δουλειά τους.

Η ΥπερΔι@ύγεια έρχεται να δώσει λύση σε αυτό το πρόβλημα κάνοντας backup των αποφάσεων της Δι@ύγειας.

Από σήμερα, η ΥπερΔι@ύγεια αποθηκεύει αντίγραφα των πιο πρόσφατων αποφάσεων της Δι@ύγειας και δίνει την δυνατότητα σε όλους να έχουν πρόσβαση όταν η Δι@ύγεια δεν λειτουργεί. Έτσι, στα αποτελέσματα μιας αναζήτησης στην ΥπερΔι@ύγεια θα δείτε πως σε πολλές εγγραφές θα υπάρχει ένα link με τίτλο "Αποθηκευμένο PDF" που δίνει πρόσβαση στο αποθηκευμένο αρχείο.

Το πρόβλημα για την ώρα είναι ότι λόγο του μεγάλου όγκου των δεδομένων, δεν είναι δυνατό να αποθηκευτούν όλα τα δεδομένα της Δι@ύγειας αλλά μόνο αυτά των τελευταίων μηνών κάθε φορά.

SuperCl@rity - Search in the depths of the Cl@rity Project (Greek Open Gov Documents)

The Cl@rity Program (diavgeia in greek) is a successful Greek State attempt to publish every Greek government decision on the web. Beginning October 1st 2010, all Ministries are obliged to upload their decisions on the Internet, through the «Cl@rity» program.

The problem with Cl@rity is that search facilities are simply not good enough, the latest version of the web app uses Google Custom Search Engine technology, and is offering this interface.

The aim of SuperCl@rity project http://yperdiavgeia.gr is to provide a full text search engine of all documents published through Cl@rity. To achieve this goal, SuperCl@rity is retrieving, analysing and indexing all published PDF documents through the excellent Cl@rity APIs. The result is a modern search engine which is able to provide fast and accurate results, enabling people to find what they need.

SuperCl@rity is implemented using state of the art tools and technologies such as:

• OCR scanning of image pdf documents using tesseract-ocr,
• full text search engine using inverted-indexes based on sphinx search,
• nginx
• php5
• jquery + jqueryui
• compass style
• debian linux

SuperCl@rity began in August 2011 as a personal research project by Vangelis Banos and is developed constantly ever since.

Η ΥπερΔιαύγεια στο OKFN Greece Blog

Αναδημοσίευση άρθρου για την ΥπερΔιαύγεια στο Open Knowledge Foundation Local: Greece

Η Δι@ύγεια αποτελεί μια επαναστατική εφαρμογή της Δημόσιας Διοίκησης για τα ελληνικά δεδομένα. Ο πολίτης έχει την δυνατότητα να αποκτήσει πρόσβαση από ένα και μόνο σημείο στο σύνολο των νόμων και των αποφάσεων που εκδίδουν τα κυβερνητικά όργανα, οι φορείς του στενού και του ευρύτερου δημόσιου τομέα και οι Ανεξάρτητες Αρχές.

Όμως, παρά την πολύ καλή προσπάθεια που έχει γίνει, υπάρχουν περιθώρια βελτίωσης και δημιουργίας υπηρεσιών προστιθέμενης αξίας και λειτουργικότητας βασισμένες στην Δι@ύγεια και στο πολύ καλό API Ανοιχτών Δεδομένων που διαθέτει. Μια από αυτές τις εφαρμογές είναι η ΥπερΔιαύγεια.

ΥπερΔιαύγεια

Η ΥπερΔιαύγεια δίνει την δυνατότητα αναζήτησης στο πλήρες κείμενο όλων των εγγράφων που αναρτώνται στην ιστοσελίδα του προγράμματος Δι@ύγεια. Με αυτό τον τρόπο, ο χρήστης μπορεί να πραγματοποιεί καλύτερες αναζητήσεις και να ανακαλύπτει περιεχόμενο που δεν ήταν δυνατό να βρεθεί διαφορετικά καθώς η Δι@ύγεια δεν υποστήριζε αυτήν τη δυνατότητα και περιοριζόταν στην αναζήτηση μόνο στα μεταδεδομένα των εγγράφων. Οι εξελιγμένες λειτουργίες της ΥπερΔιαύγειας περιλαμβάνουν μεταξύ άλλων:

• Ευρετήριο πλήρους κειμένου για το σύνολο των εγγράφων που περιλαμβάνονται στην Δι@ύγεια.
• Οπτική αναγνώριση χαρακτήρων (OCR): Πολλά από τα έγγραφα που δημοσιεύονται στην Διαύγεια είναι PDFs που περιέχουν μόνο εικόνες (π.χ. σκαναρισμένα Fax). Με αυτό τον τρόπο όμως, δεν υπάρχει οποιαδήποτε πληροφορία κειμένου, πράγμα που απαγορεύει την αναζήτηση στη Διαύγεια. Για να λυθεί αυτό το πρόβλημα χρειάστηκε να υλοποιηθεί OCR text extraction χρησιμοποιώντας το πολύ καλό Tesseract OCR open source software, το οποίο ενσωματώθηκε στην ΥπερΔιαύγεια. Για περισσότερες πληροφορίες, δείτε το σχετικό post στο blog της ΥπερΔιαύγειας.
• Προεπισκόπηση εγγράφων για ταχύτερη αναζήτηση. Ο χρήστης δεν χρειάζεται πλέον να κατεβάζει μεγάλα αρχεία PDF που μπορεί τελικά να μην τον ενδιαφέρουν, βλέποντας άμεσα την προεπισκόπηση της πρώτης σελίδας του κάθε εγγράφου, μπορεί να επιλέξει ταχύτερα αυτό που τον ενδιαφέρει. Περισσότερες τεχνικές πληροφορίες στο σχετικό blog post.
• Σύνθετα φίλτρα αναζήτησης: ανά οργανισμό, τύπο απόφασης, υπογράφοντα και χρόνο δημοσίευσης.
• APIs ανοικτής πρόσβασης στην ΥπερΔιαύγεια μέσω των πρωτοκόλλων OpenSearch και OAI-PMH: Ο καθένας μπορεί ελεύθερα να ανακτήσει περιεχόμενο από την ΥπερΔιαύγεια για οποιοδήποτε σκοπό.

Κλείνοντας, πρέπει να πούμε ότι το πρόγραμμα Δι@ύγεια αποτελεί μια πρόκληση για κάθε προγραμματιστή που είναι ενεργός πολίτης. Η απλή παράθεση των δημόσιων δεδομένων στην Δι@ύγεια δεν αποτελεί παρά μόνο την αρχική προϋπόθεση για την εκμετάλλευσή τους με σκοπό την προώθηση της καινοτομίας και τηςδιαφάνειας στο ελληνικό δημόσιο. Υπάρχουν ήδη καλές προσπάθειες όπως η δημιουργία Link Data  http://thedatahub.org/dataset/diavgeia και η οπτικοποίηση των δαπανών http://www.greekspending.com/ αλλά σίγουρα μπορούν να γίνουν πολλά περισσότερα.

Για περισσότερες πληροφορίες σχετικά με την ΥπερΔιαύγεια, δείτε μια σύντομη παρουσίαση στο SlideShare.

TED Talk σχετικά με την διαφάνεια στο δημόσιο τομέα της Αγγλίας

Πολύ ωραία ομιλία από την Heather Brooke για τις προσπάθειες που έκανε να αποκτήσει πρόσβαση στα αρχεία του Βρετανικού Κοινοβουλίου.



http://www.ted.com/talks/heather_brooke_my_battle_to_expose_government_corruption.html Το γενικό συμπέρασμα που προκύπτει είναι: People have the right to know.

Προεπισκόπηση εγγράφων της Διαύγειας για ταχύτερη αναζήτηση

Δεν είναι λίγες οι περιπτώσεις που κάποιος χρήστης αναζητώντας πληροφορίες στην Διαύγεια χρειάζεται να κατεβάσει ένα ή περισσότερα μεγάλα αρχεία PDF για να διαπιστώσει τελικά ότι δεν ήταν αυτό που έψαχνε.

Η λύση σε αυτό το πρόβλημα δίνεται με την Προεπισκόπηση Εγγράφων που υλοποιήθηκε στην Υπερδιαύγεια.

Στα δεξιά των αποτελεσμάτων υπάρχουν μικρογραφίες της 1ης σελίδας των εγγράφων

Πατώντας στην μικρογραφία ενός εγγράφου, ο χρήστης βλέπει την πρώτη σελίδα του σε κανονικό μέγεθος

Στα δεξιά των αποτελεσμάτων αναζήτησης, ο χρήστης βλέπει μικρογραφίες της 1ης σελίδας όλων των εγγράφων που εμφανίζονται. Πατώντας σε μια μικρογραφία, ο χρήστης μπορεί να δει σε πλήρες μέγεθος την πρώτη σελίδα του εγγράφου και μετά να αποφασίσει αν θέλει να δει το έγγραφο στην Διαύγεια ή να το κλείσει.

Με την εφαρμογή της προεπισκόπησης, οι χρήστες γλυτώνουν πολύ χρόνο καθώς αποφεύγουν να κατεβάζουν μεγάλα αρχεία PDF που δεν χρειάζονται.


Τεχνικά, η προεπισκόπηση γίνεται με την βοήθεια του ghostscript

/usr/bin/gs -q -sDEVICE=pnggray -o "outputfile" -sPAPERSIZE=a4 -dFirstPage=1 -dLastPage=1 "inputfile"

Νέες λειτουργίες: Ομαδοποίηση ανά τύπο απόφασης και οργανισμό στην ΥπερΔιαύγεια

Η ΥπερΔιαύγεια ανανεώθηκε! Οι νέες λειτουργίες αφορούν α) την προσθήκη επιλογής φίλτρου αναζήτησης ανά τύπο απόφασης και β) την παρουσίαση στα αποτελέσματα μιας στήλης όπου μπορεί ο χρήστης να επιλέξει τα αποτελέσματα από έναν συγκεκριμένο οργανισμό ή έναν συγκεκριμένο τύπο απόφασης.

Με αυτές τις αλλαγές βελτιώνεται πολύ η ευχρηστία και η αποτελεσματικότητα της ΥπερΔιαύγειας! Stay tuned for more.

Φίλτρο αναζήτησης ανά τύπο απόφασης

Νέα φόρμα αναζήτησης της ΥπερΔιαύγειας με φίλτρο ανά φορέα και τύπο απόφασης

Ανάλυση των αποτελεσμάτων ανά τύπο απόφασης και οργανισμό

Στην δεξιά μπάρα εμφανίζονται πλέον φίλτρα επιλογής στα αποτελέσματα ανά τύπο απόφασης και οργανισμό