Saturday, November 10, 2012

SuperCl@rity - Search in the depths of the Cl@rity Project (Greek Open Gov Documents)

The Cl@rity Program (diavgeia in greek) is a successful Greek State attempt to publish every Greek government decision on the web. Beginning October 1st 2010, all Ministries are obliged to upload their decisions on the Internet, through the «Cl@rity» program.

The problem with Cl@rity is that search facilities are simply not good enough, the latest version of the web app uses Google Custom Search Engine technology, and is offering this interface.

The aim of SuperCl@rity project http://yperdiavgeia.gr is to provide a full text search engine of all documents published through Cl@rity. To achieve this goal, SuperCl@rity is retrieving, analysing and indexing all published PDF documents through the excellent Cl@rity APIs. The result is a modern search engine which is able to provide fast and accurate results, enabling people to find what they need.

SuperCl@rity is implemented using state of the art tools and technologies such as:

SuperCl@rity began in August 2011 as a personal research project by Vangelis Banos and is developed constantly ever since.

Η ΥπερΔιαύγεια στο OKFN Greece Blog

Αναδημοσίευση άρθρου για την ΥπερΔιαύγεια στο Open Knowledge Foundation Local: Greece


Η Δι@ύγεια αποτελεί μια επαναστατική εφαρμογή της Δημόσιας Διοίκησης για τα ελληνικά δεδομένα. Ο πολίτης έχει την δυνατότητα να αποκτήσει πρόσβαση από ένα και μόνο σημείο στο σύνολο των νόμων και των αποφάσεων που εκδίδουν τα κυβερνητικά όργανα, οι φορείς του στενού και του ευρύτερου δημόσιου τομέα και οι Ανεξάρτητες Αρχές.
Όμως, παρά την πολύ καλή προσπάθεια που έχει γίνει, υπάρχουν περιθώρια βελτίωσης και δημιουργίας υπηρεσιών προστιθέμενης αξίας και λειτουργικότητας βασισμένες στην Δι@ύγεια και στο πολύ καλό API Ανοιχτών Δεδομένων που διαθέτει. Μια από αυτές τις εφαρμογές είναι η ΥπερΔιαύγεια.

ΥπερΔιαύγεια

Η ΥπερΔιαύγεια δίνει την δυνατότητα αναζήτησης στο πλήρες κείμενο όλων των εγγράφων που αναρτώνται στην ιστοσελίδα του προγράμματος Δι@ύγεια. Με αυτό τον τρόπο, ο χρήστης μπορεί να πραγματοποιεί καλύτερες αναζητήσεις και να ανακαλύπτει περιεχόμενο που δεν ήταν δυνατό να βρεθεί διαφορετικά καθώς η Δι@ύγεια δεν υποστήριζε αυτήν τη δυνατότητα και περιοριζόταν στην αναζήτηση μόνο στα μεταδεδομένα των εγγράφων. Οι εξελιγμένες λειτουργίες της ΥπερΔιαύγειας περιλαμβάνουν μεταξύ άλλων:
  • Ευρετήριο πλήρους κειμένου για το σύνολο των εγγράφων που περιλαμβάνονται στην Δι@ύγεια.
  • Οπτική αναγνώριση χαρακτήρων (OCR): Πολλά από τα έγγραφα που δημοσιεύονται στην Διαύγεια είναι PDFs που περιέχουν μόνο εικόνες (π.χ. σκαναρισμένα Fax). Με αυτό τον τρόπο όμως, δεν υπάρχει οποιαδήποτε πληροφορία κειμένου, πράγμα που απαγορεύει την αναζήτηση στη Διαύγεια. Για να λυθεί αυτό το πρόβλημα χρειάστηκε να υλοποιηθεί OCR text extraction χρησιμοποιώντας το πολύ καλό Tesseract OCR open source software, το οποίο ενσωματώθηκε στην ΥπερΔιαύγεια. Για περισσότερες πληροφορίες, δείτε το σχετικό post στο blog της ΥπερΔιαύγειας.
  • Προεπισκόπηση εγγράφων για ταχύτερη αναζήτηση. Ο χρήστης δεν χρειάζεται πλέον να κατεβάζει μεγάλα αρχεία PDF που μπορεί τελικά να μην τον ενδιαφέρουν, βλέποντας άμεσα την προεπισκόπηση της πρώτης σελίδας του κάθε εγγράφου, μπορεί να επιλέξει ταχύτερα αυτό που τον ενδιαφέρει. Περισσότερες τεχνικές πληροφορίες στο σχετικό blog post.
  • Σύνθετα φίλτρα αναζήτησης: ανά οργανισμό, τύπο απόφασης, υπογράφοντα και χρόνο δημοσίευσης.
  • APIs ανοικτής πρόσβασης στην ΥπερΔιαύγεια μέσω των πρωτοκόλλων OpenSearch και OAI-PMH: Ο καθένας μπορεί ελεύθερα να ανακτήσει περιεχόμενο από την ΥπερΔιαύγεια για οποιοδήποτε σκοπό.
Κλείνοντας, πρέπει να πούμε ότι το πρόγραμμα Δι@ύγεια αποτελεί μια πρόκληση για κάθε προγραμματιστή που είναι ενεργός πολίτης. Η απλή παράθεση των δημόσιων δεδομένων στην Δι@ύγεια δεν αποτελεί παρά μόνο την αρχική προϋπόθεση για την εκμετάλλευσή τους με σκοπό την προώθηση της καινοτομίας και τηςδιαφάνειας στο ελληνικό δημόσιο. Υπάρχουν ήδη καλές προσπάθειες όπως η δημιουργία Link Data  http://thedatahub.org/dataset/diavgeia και η οπτικοποίηση των δαπανών http://www.greekspending.com/ αλλά σίγουρα μπορούν να γίνουν πολλά περισσότερα.
Για περισσότερες πληροφορίες σχετικά με την ΥπερΔιαύγεια, δείτε μια σύντομη παρουσίαση στο SlideShare.