El Racó de Xavi

Softvalencià

Avuí ha vist la llum Softvalencià. Per tal explicar de què es tracta d’una manera ràpida i senzilla, podríem dir que es tracta d’una campanya (acompanyada d’un lloc web) per potenciar l’ús de la llengua en l’àmbit de les noves tecnologies al País Valencià.

La iniciativa naix d’un grup de membres valencians de Softcatalà (entre els que destaquen, per la tasca que han fet, sense oblidar a tots els altres, Pau Iranzo i Robert Escolano) i la col·laboració d’Escola Valenciana, per tal de resoldre el greu dèficit que existeix en l’ús del valencià a l’ordinador: són molt pocs els ordinadors que, ací al País Valencià, estan configurats en valencià (com a exemple, no arriba a l’1,5% de visites a Infobenissa des d’un Windows+InternetExplorer amb el navegador configurat en valencià).

Tot i que el percentatge augmenta quan comencem a utilitzar programari lliure (32% en el cas de Windows-Firefox, o percentatges majors en el cas de Linux), cal una tasca important de promoció per arribar a nivells que, almenys, no facen vergonya. I aquesta tasca s’ha de fer, sense complexos, enfocada per als valencians.

Quan dic sense complexos vull dir sense renunciar als avantatges que tenim per tindre una llengua mitjanament potent (encara que minoritzada) amb 10 milions de parlants potencials, coneguda a la majoria dels llocs com a català, però sense renunciar tampoc a les particularitats que els valencians li aportem (entre elles, el nom que li solem donar a la criatura: valencià).

La pàgina web inclou diverses coses, entre les que es troben tutorials per tal d’ajudar-nos a configurar el nostre equip i un recull de programari en valencià (disponible també al Rebost de Softcatalà, com el navegador Firefox, el gestor de correu Thunderbird, els pedaços per al Windows i l’Office, etc).

Però personalment destacaria les eines lingüístiques que contempla: corrector i traductor (com els existents a Softcatalà) però amb suport per a les versions valencianes: doble accentuació i lèxic autòcton al corrector, i la generació de formes valencianes per al parell castellà ↔ valencià del traductor. Aquesta instal·lació del traductor servirà, a més, com a plataforma per a provar Apertium de cara a implantar-lo de manera definitiva a Softcatalà. Una vegada estabilitzat el sistema, vull veure si aprofite i el pose també a Infobenissa, per tal d’oferir un nou servei útil per a la gent del poble.

En definitiva, del que es tracta és d’augmentar l’ús de la nostra llengua en les noves tecnologies. Espere que tinguem èxit amb la iniciativa!

No fa molt vaig descobrir la substitució de paràmetres en bash, i la veritat és que és una eina increïble que evita usos de sed, awk, o cut quan realment no fa falta.

A continuació reproduïsc una llista que he trobat a “BASH Cures Cancer“, un blog que pretén explicar les bondats del BASH per als Linuxers.

1. Les variables es poden especificar de dues formes: $var o ${var}.
   $ var='a.ads,fssd2342%asd234#@.,&%,sdfgsdfgas4352'
$ echo ${var}
a.ads,fssd2342%asd234#@.,&%,sdfgsdfgas4352

2. ${#var} és la llargària de la variable.
   $ echo ${#var}
42
3. ${var:pos} genera una subcadena començant en la posició pos.
   $ echo ${var:10}
2342%asd234#@.,&%,sdfgsdfgas4352
4. ${var:pos:len} genera una subcadena començant a en la posició pos d’una llargària len.
   $ echo ${var:10:5}
2342%
5. ${var#pattern} esborra el patró pattern començant pel principi de la variable. Aquesta versió para només troba l’expressió regular. ${var##pattern} és la versió extesa.
   $ echo ${var#*,}
fssd2342%asd234#@.,&%,sdfgsdfgas4352
$ echo ${var##*,}
sdfgsdfgas4352
6. ${var%pattern} elimina el patró pattern començant pel final de la variable. Aquesta versió para només troba l’expressió regular. ${var%%pattern} és la versió extesa.
   $ echo ${var%,*}
a.ads,fssd2342%asd234#@.,&%
$ echo ${var%%,*}
a.ads
7. ${var/pattern/replacement} substitueix l’expressió regular pattern amb replacement una vegada.
   $ echo ${var/a/A}
A.ads,fssd2342%asd234#@.,&%,sdfgsdfgas4352
8. ${var//pattern/replacement} substitueix l’expressió regular pattern amb replacement de manera global.
   $ echo ${var//a/A}
A.Ads,fssd2342%Asd234#@.,&%,sdfgsdfgAs4352
9. ${var/#pattern/replacement} si l’inici de la variable és com el patró pattern, es substitueix per replacement.
   $ echo ${var/#a./llll}
llllads,fssd2342%asd234#@.,&%,sdfgsdfgas4352
10. ${var/%pattern/replacement} si el final de la variable és com el patró pattern, es substitueix per replacement.
    $ echo ${var/%352/llll}
a.ads,fssd2342%asd234#@.,&%,sdfgsdfgas4llll

Segur que aquells que utilitzeu el shell habitualment i no coneixieu açò, li podeu traure molt de profit.

Ja fa molts anys que vaig començar a gastar el Thunderbird com a gestor de correu. Si no recorde malament, va ser mes o menys per maig de 2004, amb alguna beta de la versió 0.6, quan  vaig començar a gastar-lo. Al principi en Windows, després amb una instalació amb el perfil compartit entre Windows i Linux, i després ja només en Linux.

He vist com el projecte creixia fins arribar a la versió 1.0, amb les característiques que tots esperavem d’ell, i com millorava amb coses com el corrector ortogràfic, o xicotetes millores en la interfície gràfica amb la versió 1.5. També tots els canvis que es van produïr amb la versió 2.0, la última versió publicada (d’ací a no res ixirà la 3.0).

Tot açò acompanyat d’extensions, com “quote colors”, “signature switch”, “enigmail”, “messagefaces”, “nested quote remover”, “display mail user agent”, “lightning” (nou nom del “calendar” de tota la vida) i un grapat més que ara no recorde.

Però des que em vaig posar a treballar a la universitat, el fet de gastar diversos ordinadors va anar jugant en contra. Tenia diverses opcions: no tindre en compte el correu a la feina, o bé accedir per IMAP i després a casa descarregar-lo amb POP3 al Thunderbird com venia fent abans. Però clar, si no el mirava malament, i si el consultava per IMAP pijor (ja que després, amb POP3, l’havia de tornar a veure, i em tocava llegir alguns correus dues vegades). A més, no m’acaba d’agradar el funcionament d’IMAP.

Degut al viatge a Holanda de l’estiu passat, vaig centralitzar tots els comptes de correu al meu compte de GMail (els webmails dels altres comptes són Squirrelmail, i GMail els guanya per golejada), per a poder accedir a ell mentre estiguera de viatge, i eixe simple fet ha acabat determinant la migració total a GMail. Al cap i a la fi, cada vegada que volia veure un correu i no estava al meu ordinador de casa, el podia veure al GMail. Cada vegada tenia menys sentit gestionar el correu amb el Thunderbird, si al cap i a la fi tot estava al GMail, d’una manera més accessible.

Queda el gust d’haver utilitzat durant més de 5 anys un gestor de correu que he recomanat a tothom, i he instalat a tots els ordinadors que han passat per davant de les meues mans. I un filtre anti-spam que funcionava de categoria.

Ja fa mooooolt de temps que Joanba i jo anunciem una renovació total a Infobenissa. A l’entrevista que ens van fer al Levante allà pel 2006, quan “la idea“  complia 5 anys, i Infobenissa en sí 3, ja ho donàvem per fet. I des d’aleshores ha plogut molt. Però ara ja podem dir, per fi, que la renovació està en marxa.

Al principi volíem fer un canvi total de la web, i arrancar la versió 2 amb moltíssimes novetats, característiques trencadores, molt 2.0 tot. Però ara, més realistes, hem optat per fer el canvi més gros, la part visual, i poc a poc anar incorporant les novetats. Perquè aquesta serà l’única manera en que l’esperada Infobenissa 2.0 arribe.

El disseny base ja està fet, i ara ja estem adaptant-lo i programant les funcionalitats (notícies, la cambra, calendari…) que volem.

A tots aquells que insistentment ens heu preguntat com anava la nova versió, o per a quan (bàsicament, Òscar ), dir-vos que li falta ben poc. No sé si atrevir-me a donar dates, però quasi asseguraria que abans de l’aniversari  (el 9 d’octubre) estarà tot llest. La meua idea és tindre-ho tot a punt a principis de setembre, i durant uns quants dies anar fent proves i acabant de polir detalls que no ens agraden.

I ara és quan vos demane ajuda: quines coses noves afegiríeu a Infobenissa? Nosaltres en tenim ja algunes planificades (algunes de les quals ja programades i tot), però els suggeriments mai sobren.

PD: No proposeu el fòrum, que prou maldecaps ens ha portat ja, jejeje.

Ahir per la vesprada pujar a l’SVN d’Apertium els últims canvis de la versió 0.9 de WP-Apertium, l’extensió per a WordPress de què ja he parlat altres vegades.

Aquesta versió porta algunes novetats respecte a la versió anterior. La més significativa és que ha canviat la manera de recuperar les traduccions. Amb la 0.8, totes les traduccions s’escrivien al document, però ara amb la 0.9 es recuperen amb AJAX, de manera que no hi ha textos en diversos idiomes al codi font de la pàgina. A més, també soluciona un problema que hi havia de multiplicitat d’ID (si algun element HTML del contingut de l’entrada tenia ID, aquest es repetia tantes vegades com traduccions hi havia).

Respecte als anuncis AdSense que hi poguera haver dins del contingut de l’entrada, no he pogut resoldre les incompatibilitats. Si amb la versió 0.8 el que passava és que apareixia moltes vegades (i, per tant, era possible que no es veiera pel màxim de blocs d’anuncis que marca Google) amb la 0.9 directament es queda la pàgina en blanc quan es demana una traducció. Així que, si voleu utilitzar WP-Apertium, no poseu AdSense dins de les entrades (a la resta de la pàgina no hi ha problema).

Finalment, he implementat també un xicotet detall per a aquells que no tinguen habilitat el Javascript, i que apropa el plugin a aquells que permeten llocs multilingües: es pot accedir directament a traduccions de les entrades. Per exemple, des d’aquest enllaç podreu accedir a la versió en castellà de l’apunt, i des d’aquest altre a la versió en occità. Amb una bona interfície de post-edició, i amb re-escritura de les URLs, WP-Apertium passaria per davant a plugins com ZdMultilang.

Queden alguns xicotets detalls per resoldre, com què fer quan a l’entrada hi ha un <!–more–>, però això serà per a la propera versió.

Una altra decissió que he pres ha sigut el tema dels números de versions. Quan vaig publicar la primera versió la vaig anomenar 0.8. La meva idea original era resoldre uns pocs detalls en una futura 0.9 i passar a una versió estable 1.0. Com que venia del treball previ d’Enrique, i el plugin funcionava bé, no era massa destrellatat. Però els problemes que vaig detectar (en la indexació des dels cercadors, amb el tema dels IDs…) van fer que la 0.9 fóra més complexa del que esperava.

A partir d’ara, la numeració de les versions serà un poc diferent. El primer canvi és que no passaré a la versió 1.x fins que no hi haja una API estàndar d’Apertium, de manera que es puguen obtenir les traduccions des de la pàgina d’Apertium d’una manera normal mitjançant peticions REST – JSON o XML – definides i documentades per part del projecte Apertium (i no tal i com es fa ara, enviant una petició POST al formulari de traducció de documents). Eixa és una de les coses que s’espera aconseguir amb el GSOC d’enguany. Així, les properes versions seran totes 0.x, amb noves funcionalitats a cada versió.

El proper repte és resoldre l’assumpte del <!–more–> i fer un panell d’administració per a l’extensió, de manera que no s’haja d’editar a ma un fitxer per a configurar coses com l’idioma per defecte, les traduccions a generar, etc.

I, com no, demanar ajuda a tots aquells usuaris que utilitzeu l’extensió (que sé que no seran molts, però més val pocs i bons…). Feu comentaris, suggeriments, avisos d’errades, i tot el que vos vinga al cap. S’agrairà

A partir del comentari de Xavier Caballé a l’entrada sobre el Google Analytics i els errors 404, he fet una xicoteta anàlisi de les pàgines que li tornen un error 404 al Googlebot, segons les Google Webmaster Tools.

I, a part d’alguns enllaços que encara estaven apuntant a les URL de quan el blog funcionava amb Pivot, he trobat un parell d’errors que seguien un patró. Apuntaven a diverses pàgines del meu blog, i tenien com a característica que acabaven amb ‘ rel=’external nofollow. Què passava? Doncs que des d’algun lloc s’estava enllaçant cap a aquestes pàgines amb alguna cosa com

<a href="http://xavi.infobenissa.com/algo' rel='external nofollow">enllaç</a>

en lloc de

<a href="http://xavi.infobenissa.com/algo" rel="external nofollow">enllaç</a>

Pareu atenció amb les cometes simples en el primer cas, i dobles en el segon.

A més, tots els enllaços eren del blog d’Òscar, o siga que el problema era seu

Com que no sabia exactament d’on podia recaure el problema, però era evident que no era ni a l’enviar jo els pingbacks, ni del tema que gasta Òscar al blog (ho he comprovat), he pensat que el problema venia amb la funció comment_author_link() del WordPress.

Així que m’he posat mans a l’obra, i en un momentet tenia un “mini-plugin” per a resoldre-ho: l’he anomenat Comment-author-link Repair, i ací està el codi, per si a algú li interessa.

<?php
 
/* Plugin Name: wp-calr - Comment-author-link Repair
Plugin URI: http://xavi.infobenissa.com/utilitats/comment-author-link-repair/
Description: This plugin will repair single quote problem on some pingbacks
Version: 1.0
Author: Xavi Ivars
Author URI: http://xavi.infobenissa.com
*/
 
function comment_author_link_repair($link)
{
	$link = preg_replace("/' rel='external/","\" rel=\"external", $link);
	return $link;
}
 
add_filter('get_comment_author_link', 'comment_author_link_repair');
 
?>

L’altre dia vaig estar pensant en les coses que em faltava per implementar en aquest blog, i que m’agradaria tindre “controlades” en certa manera. I em van vindre al cap els errors 404 (els famosos de que no s’ha trobat la pàgina).

Tot i que mostrava l’avís de que la pàgina no s’havia trobat, i a més l’avis estava “integrat” al tema, després jo no podia saber quines pàgines havien presentat problemes als lectors del blog. Així que, en un primer moment, em vaig posar a fer el que fem tots els usuaris de WordPress: tirar de plugins per afegir funcionalitats.

I en vaig trobar un que era quasi el que volia: 404 notifier. Aquest plugin detecta els errors 404 que s’han produït al blog, informant de quines pàgines

Però aquest plugin té una cosa que el feia terrible per a les meues necessitats: els avisos de pàgines 404 els envia al correu electrònic. I no reb ja prou coses per correu electrònic (estic subscrit a una infinitat de llistes de correu a les que, poc a poc, vaig demanant la baixa)!

Perquè no intentar que les coses siguen com un vol? Jo, en aquest cas, volia “poder saber quins són els errors 404 del blog”, i no “saber quins són els errors 404 del blog”. La diferència eixa entre “poder saber” i “saber” és importantíssima, sobretot en aquesta “era de la informació”, on ens trobem saturats per dades que, la majoria de vegades, ni necessitem.

Així que em vaig posar “manos a la obra”. Vaig començar a buscar per internet i vaig trobar una bona entrada en un blog on contaven com utilitzar el Google Analytics per a analitzar els missatges d’error produïts al WordPress. Si bé és cert que d’aquesta manera només es podran gestionar les visites fetes per lectors amb el javascript activat (com la resta d’estadístiques de l’Analytics) ens pot servir prou com a base per a veure per on se’ns estan escapant els lectors.

I la questió va resultar ben senzilla: només calia modificar la URL que registra l’analytics quan entra a una pàgina del blog que no existeix per una altra que siga senzilla de controlar després. Despreś de pegar-li algunes voltes, vaig optar per reescriure les URLs que donen error per “/404/url-original/”, de manera que una petició a la pàgina http://xavi.infobenissa.com/aquesta-no-existeix/ es queda registrada al Google Analytics com a http://xavi.infobenissa.com/404/aquesta-no-existeix/.

Per a implementar-ho, només cal modificar a la pàgina 404.php del nostre tema.

<script type="text/javascript">
	var pageTracker = _gat._getTracker("UA-XXXXX-X");
	pageTracker._initData();
	pageTracker._trackPageview();
</script>

per

<script type="text/javascript">
	var pageTracker = _gat._getTracker("UA-XXXXX-X");
	pageTracker._initData();
	var xvurl = '/404' + document.location.pathname;
	if(document.location.search!='') {
		xvurl +=  document.location.search;
	}
	pageTracker._trackPageview(xvurl);
</script>

En el meu cas, com que no tinc pàgina 404.php, i tot es troba a l’index.php, havia de fer la substitució només en el cas de que es tractara d’un error 404. A fer això ens ajuda la funció de WordPress is_404()

<script type="text/javascript">
	var pageTracker = _gat._getTracker("UA-XXXXX-X");
	pageTracker._initData();
<?php if(!is_404()) { ?>
	pageTracker._trackPageview();
<?php } else { ?>
	var xvurl = '/404' + document.location.pathname;
	if(document.location.search!='') {
		xvurl +=  document.location.search;
	}
	pageTracker._trackPageview(xvurl);
<?php } ?>
</script>

Avui estava intentat fer unes xicotetes transformacions a un XML que representava un model d’una llengua representat en n-grames, per tal d’eliminar algunes de de les entrades, i obtenir el resultat ordenat per la quantitat d’aparicions del n-grama en qüestió.

Ací va un exemple de l’XML:


<?xml version="1.0" encoding="UTF-8"?>
<ngrams>
<entry length="0" string="" count="278402143"></entry>
<entry length="3" string="##a" count="3725333"></entry>
<entry length="2" string="ab" count="656482"></entry>
<entry length="3" string="aab" count="3561903"></entry>
<entry length="1" string="d" count="6075086"></entry>
<entry length="3" string="#ex" count="5940835"></entry>
<entry length="3" string="ai$" count="1035105"></entry>
<ngrams>

En concret, volia eliminar els n-grames de longitud 0 (que, per cert, no haurien d’estar al model original, però això és un altre tema) i tots aquells que contenen # o $ (indicadors d’inici i final de paraula respectivament). Després, el resultat volia mostrar-lo ordenat per nombre d’aparicions (paràmetre count).

Amb aquesta fulla d’estils he aconseguit el resultat que volia.
<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
<xsl:template match="/">
<ngrams>
<xsl:for-each select="ngrams/entry">
<xsl:sort select="@count" data-type="number" order="descending"/>
<xsl:if test="@length != '0'">
<xsl:if test="not(contains(@string,'#')) and not(contains(@string,'$'))">
<xsl:copy-of select="."/>
</xsl:if>
</xsl:if>
</xsl:for-each>
</ngrams>
</xsl:template>
</xsl:stylesheet>

A més, com que no me’n recordava massa de XSLT (tenia falta ja de fer memòria), he buscat alguna cosa per internet, i m’he trobat una xulla (cheatsheet en anglés) a la pàgina de Mulberry Technologies molt útil per a l’ocasió. També l’he afegida a la secció de manuals d’aquesta web.