De wereldwijde machtsverschuiving ... geleidelijk en onzichtbaar
https://d66.nl/wp-content/uploads/2020/08/D66_pamflet_Digitale_Revolutie.pdf
Een politiek antwoord op de datamacht van techreuzen en controlestaten
Kees
These are the days of
miracle and wonder This is the long distance call The way the camera follows us
in slo-mo The way we look to us all, oh yeah Boy in the bubble - Paul Simon
Authors: Kees Verhoeven Marijn van Vliet Janne Gerritsen 1 How the digital
dream turns out to be a power shift The great promise of the internet In 1986
Paul Simon could not have imagined that with the development of the internet
and digital technologies we would of wonders and wonder would arrive. The
possibilities of these technologies are almost endless. It brings friends and
family closer, helps detect and cure diseases such as cancer or dementia and
gives everyone access to all the information humanity has ever collected. We
have access to an unprecedented wealth of music, film and other art. We can
find our way around the world with Google Maps, book trips more easily with
Booking.com and pay anywhere in the world with Apple Pay. And the future
technological possibilities extend even further. Much further. But digitization
would fundamentally change society in another way as well. In the early days of
the Internet, there was a firm promise that it would open up the world, connect
humanity, distribute wealth more evenly, strengthen democracies, and set
individuals freer. People could freely share information, exchange ideas and
discover themselves. A superhighway, a marketplace of ideas where everyone
would be equal, free from government interference and powerful intermediaries.
This beckoning perspective, techno-optimism or even techno-utopianism, has been
the shining gold, the sacred faith of Silicon Valley, since the 1990s. Every
entrepreneur, startup and tech giant would “change the world” with disruptive
technologies. Where one had only to assume that they would change the world for
the better; that new and modern would actually be better in practice. The words
of Facebook CEO Mark Zuckerberg when his company went public spoke volumes:
“Facebook was not originally created to be a company. It was built to
accomplish a social mission — to make the world more open and connected.”1 The
data power of tech giants and governments If we take off those utopian glasses
and look critically at the consequences of digitization, there is much more
going on than the visible side of shiny gadgets, beautiful platforms and useful
apps. The hidden nature of the internet, the elusiveness of many technologies
and the creeping figure of digitization2 conceal the fact that (private)
revenue models and (public) control systems have thwarted the original promise
of freedom. The digital dream has not come true. In fact, the digital dream is
slowly turning into a power shift nightmare. Due to the growing power of tech
giants and governments, the internet makes us less free. The technology that
was supposed to bring us closer together pushes us further apart. The
technology that was supposed to disseminate information freely has become an
engine of power concentration and disinformation. 2 This social change is
fundamental but also largely invisible. In addition, we do not realize how much
of our lives has been digitized. Our daily routine is determined and captured
in data by digital technology. The moment we are awakened by our smartphone,
the water that comes out of the shower, the car or train that takes us to work,
contact with friends and family, paying for groceries and heating at home;
everything is connected via the digital highway. All these aspects of our daily
lives are recorded and stored. A permanent file that states what information we
are looking for, who we are in contact with, our orientation, our political
preference, our GPS-determined location. Everything from our favorite cat
videos to the most intimate details of our lives has been digitized and stored
by corporations and governments. The collection of all that personal data has
led to a gradual but major shift of power. With people as losers and big
companies and governments as winners. American tech giants such as Facebook,
Amazon, Apple, Google and their Chinese counterparts Tencent, Alibaba, Huawei
and Baidu3 have a mega power in our society. They know everything about us
(data power); they determine what we see (media power) and they dominate the
market (market power). This constitutes a social position of power that is
often abused to influence people, filter information, suppress small makers,
neglect staff, fend off competitors and evade taxes. In addition, the platforms
of these companies are misused by third parties to manipulate elections or to
spread fear and doubt about vaccinations or climate change. Thus a power has
arisen that is used against man and society. Meanwhile, governments also see
the world through the lens of techno-utopianism. Governments are collecting, linking
and analyzing more and more data. All kinds of government databases containing
ID data, housing data and tax data are digitized, linked and analyzed for fraud
or criminal activities. That may sound nice and efficient, but it has a major
effect on our society.4 One of our fundamental rights is that the government
has nothing to do with our private lives, unless we are suspected of something.
This fundamental right is reversed with all these data analyses: we are suspect
in advance, unless the computer acquits us. We seem to forget that this
fundamental right is essential to our free, democratic constitutional state and
that it protects us against arbitrariness, discrimination and oppression. The
political necessity to intervene Initially, the idea was that the charm of the
Internet was also that the government had little say in it. What's more, the
guiding thought, uttered by Bill Clinton and Al Gore at the turn of this
millennium, was that regulating the Internet was much like nailing a pudding to
the wall. If you wanted to, you wouldn't be able to do it.5 That this is not
correct has been proven by countries such as Russia, Turkey and China that
extensively regulate and monitor internet use. Later on, politics, even in
liberal democracies, did intervene in the internet debate, albeit with
difficulty. A lack of priority, a digital knowledge deficit, limited control
over the often private infrastructure of cables, servers and routers and
fragmentation across different ministries and administrative layers often
formed obstacles to an active role of politicians. 3 Unlike ten years ago, many
digital issues are now on the political agenda. The digitization of government
raises questions about the accessibility of services and the costs of ICT
projects. The construction of the fifth generation of new internet (5G), the
rapid growth of devices with an internet connection (IoT) and hacking by the
government via unknown software vulnerabilities (0days) have consequences for
the security of our vital infrastructure and therefore the stability of our
society. Emerging technologies offer great opportunities to improve healthcare,
education, industry and agriculture. Nevertheless, the lack of innovation in
the Netherlands and the European Union poses a major risk to our economic and
geopolitical position vis-Ă -vis China and the United States. All of these are
important themes that affect people and society. But today's main theme, the
growing power of tech giants and governments over people, has been neglected
for too long. In recent years, the political debate has mainly revolved around
outdated copyright, escalating IT projects, privacy violations, data breaches,
security risks, online fraud and the pressure on our global competitive
position. But it should also be about safeguarding our freedom, our democracy
and our rule of law in the digital age, protecting human values from the
power of tech giants and control states. Technology is often described as a
power factor in geopolitical terms of changing power relations between China,
the US and Europe. That is right, but we do not see data and digital technology
sufficiently in political terms of changing power relations in our society;
between people, governments and companies. That has to change. Before it is too
late. It's now or never Looking back over the past ten years, you can see the
immense changes that have taken place in less than a decade. In 2011, Hyves was
even bigger than Facebook. Security forces were criticized for too many
wiretaps. And the House of Representatives debated a download ban. We are now
on the eve of a new technological revolution. Systems are becoming smarter,
technologies are increasingly forming a coherent whole and society is becoming
increasingly datafied.6 Far-reaching progress has been made in quantum
computing, nanotechnology, robotics and sensor technology. But especially
artificial intelligence (machine learning, deep learning) will take off. Where
the applications are still relatively narrow (specific), they will soon become
more comprehensive (generic) and the step towards general artificial
intelligence (superhuman) cannot be ruled out in the longer term. Today, the
interplay of the exponentially growing Internet of Things (wareables, health
apps) and enormous storage capacity (cloud technology) provides big data that
is processed with enormous computing power and machine learning. This sounds
technical and abstract, but it is in fact very simple and concrete. In the
future it will be even easier to collect, link and analyze even more data. For
example, by applying facial recognition to camera images. There will be more
and more far-reaching applications, such as deepfake7 technology, which will
make it harder to distinguish between fact and fiction. Tech giants and
governments will be able to go deeper and deeper into our lives. If we are not
careful, it will happen without our control. 4 Without having a free choice or
participation. Without us being able to claim justice. That is why we must
intervene now; we can not wait. This pamphlet was written to pull off the veil
of techno-utopianism. The digital silent killer must be unmasked; to warn
people about the gradual and almost invisible, but fundamental change of our
society as a result of digitization. For the time being, the influence of
digitization on our society is positive. But if we don't slow down, adjust and
limit it enough, that balance will go in the wrong direction. Nothing less than
our free, democratic constitutional state is at stake. It's time for a digital
revolution. We must prevent times of miracles and amazement from turning into
times of catastrophe and alienation. 5 How Unlimited Possibilities Made the
Internet a Great Promise Techno-utopianism In 1993, the world was introduced to
the first web browser, Mosaic. The portal to the Internet. A new virtual world
opened up: the online world. It enabled people to connect with people all over
the world through computer. Before that, that large cupboard in the corner of
the room was mainly used for typing texts, filling spreadsheets or playing
games. Entrepreneurs, companies and investors jumped on it. Google, MSN, EBay
and Yahoo are all from that time. An unprecedented high that ended in the
'dot-com crisis' of 2000, but which did not stop, at most interrupted and
slowed down the progress in digital technologies and the internet. After all,
digitization has brought us a lot of progress. The ease with which we connect
with friends and family around the world. Access to unprecedented amounts of
information via Google, music on Spotify and movies and series on Netflix. No
more endless queues at the bank and safer money transport thanks to internet
banking. Self-driving cars, drones and satellites. GPS, or the European
Galileo, which we use every day to get from A to B. Digitization is completely
intertwined with our daily lives. There is therefore no question of a
separation between cyberspace and our physical environment, which some suggest.
Digitization has also meant a lot for scientific research. Unprecedented
amounts of data can be analyzed by supercomputers to find answers to questions
about the origin of our universe or to discover cures for cancer. Not to
mention the enormous economic opportunities for the Netherlands; the digital
hub AMS-IX, automation in the port of Rotterdam, the success of ASML, young
companies such as Adyen, Elastic, Hackerone, The Next Web and Booking.com.
These are the days of miracle and wonder, This is the long distance call. Boy
in the bubble - Paul Simon 6 But the optimism in the early days of the internet
wasn't just about making money or improving our physical well-being.
"Don't be evil" has long been Google's motto. Internet entrepreneurs
firmly believed in the value of connecting the world. The internet as a
sanctuary for ideas, independent of government interference or control. The
thought is perhaps best described by Mark Zuckerberg when Facebook went public:
“Facebook was not originally created to be a company. It was built to
accomplish a social mission — to make the world more open and connected. At
Facebook […] we often talk about inventions like the printing press and the
television — by simply making communication more efficient, they led to a
complete transformation of many important parts of society. They gave more
people a voice. They encouraged progress. They changed the way society was
organized. They brought us closer together.”8 Simply connecting people should
be enough to drive progress; to transform societies. It would give people a
voice, a way to express their opinions outside the gatekeepers of information.
For example, these techno-utopians would improve the world by bringing people
closer together. The world would be connected and equal. The economy would grow
forever. Heaven would be on earth. 7 How the flip side of the digital coin
slowly became visible Privacy issues, economic dilemmas and security risks As
always, the sacred faith did not bring the predicted relief. As so often with
great promises, things turned out differently in reality. The dreamed scenario
of freedom and connection turned out to be an unruly practice. Slowly but
surely, cracks appeared in the Internet's polished image. Silicon Valley turned
out to offer solutions for non-existent problems in order to profit the most
from them. A year after the introduction of the first web browser, the cookie
was invented and introduced - invisible to the general public - via the
Netscape (1994) and Internet Explorer (1995) browsers. Initially, this was
mainly a solution to make it easier to shop online; products were still in your
online shopping cart the next day. But it was mainly the first step towards
following people's internet behavior, the current revenue model of Google and
Facebook. It wasn't until two years after the cookie's introduction that its
use became known, which led to a lot of controversy about its impact on
people's privacy. The invention of the cookie also marks the beginning of an
era of major privacy scandals. From the 1996 Financial Times article that
publicized the existence of cookies to the many Facebook scandals of recent
years (culminating in the manipulation of data of hundreds of thousands of
Facebook users by British-American company Cambridge Analytica ) and from the
Snowden revelations to the Yahoo data breach of 3 billion accounts.9 With the
rise of the Internet, economic dilemmas also surfaced. In 1999 the famous
Napster was born. This allowed people to exchange files, such as music and
movies. This was the start of years of discussions about illegal downloading
and piracy, Pirate Bay DNS blockages, the rise of Digital Rights Management and
Bittorrent. In recent years, for example, there have been numerous debates
about the economic consequences of digitization. The debate on net neutrality
focused on the impact of free chat traffic on telecom companies that made their
money from text messages. The spatial and social consequences of the digital
economy also demanded attention. The way we look to a distant constellation
That's dying in a corner of the sky. Boy in the bubble - Paul Simon 8 Vacancy
as a result of online shopping and working from home. But also changing
employment because letter post and cameras were replaced by e-mail and
smartphones. In addition to privacy problems and economic dilemmas, we have
also seen the downside of digitization in the field of security in recent
years. On October 10, 2012, Canadian teen Amanda Todd took her own life. She
was digitally blackmailed with nude photos captured by the Dutch Aydin C by
posing as a teenager.10 In 2008, a 22-year-old man from Culemborg was convicted
of having hacked webcams of young girls for years and blackmailed them with the
nude images11 . These are very painful examples of the downsides of ubiquitous
digital devices like webcams and their inherent insecurity. In June 2016, the
cranes of APM Terminals in the port of Rotterdam suddenly stopped working. A
ransomware attack called Notpetya had shut down the company's digital systems,
leaving trucks and ships unable to unload their cargo for days, causing
millions of euros in damage. In total, cybercrime costs the Netherlands about
10 billion a year.12 But according to investigations by the Court of Audit,
institutes such as the Scientific Council for Government Policy (WRR) and the
Rathenau Institute, the Cyber Security Assessment and the annual reports of
intelligence service AIVD, the lack of digital security in the Netherlands can
lead to social disruption. A Power Shift Away From People None of the Silicon
Valley Internet entrepreneurs had any idea of the enormous impact and negative
impact their inventions have on our society. The effects on privacy, economy
and security were not seen, despite comparable industrial revolutions and
technological developments (steam engines, electricity) that led to major
social issues. The decentralized set-up, the relative invisibility and the
complex structure of the internet played an important role in this. Yes, the
internet has indeed succeeded in giving people access to virtually all
knowledge ever amassed by mankind. And that is a huge achievement. At the same
time, the promise of increasing freedom has been broken by a parallel
development that has been overlooked and unpredictable. Namely, the gradual
shift of power as a result of data and technologies becoming increasingly
intrusive, intimate and intimidating; a power shift away from people, towards
governments and corporations. With consequences for our freedom, our democracy
and our rule of law. In other words: the foundations of our society. The
aforementioned drawbacks of digitization in the areas of privacy, the economy
and security are serious enough and every reason for political debate. But this
is about the fundamental downside of digitization. A development that touches
on core political issues such as the balance of power, freedom, democracy and
justice. In order to properly grasp this development, it is essential to first
go back to the basic principles that form the basis of our society. 9 Why
digitization is a pressing political theme Power, counter-power and the
separation of powers The separation of powers, or the trias politica, is one of
the basic principles of our constitutional state. The French philosopher
Charles Baron de Montesquieu saw that persons or organizations with a lot of
power often abuse that power and violate the freedom of others. Montesquieu
said: “If the legislative and executive authorities are one institution, there
will be no freedom. There won't be freedom anyway if the judiciary body is not
separated from the legislative and executive authorities.” Without separation
of powers, no freedom. There is no freedom without control of power. There is
no freedom without resistance. Over the years, more powers have been added to
Montesquieu's three powers (legislative, executive, and judicial). These additional
powers are also referred to as the 'fourth power'. Renowned political theorist
Max Weber has written extensively about the civil service as a source of power.
Others have argued for the power of lobbyists and consultancies. But
internationally, much is written about the media as the fourth power. The term
has been attributed to Edmund Burke who used it during a parliamentary debate:
“There were Three Estates in Parliament; but, in the Reporters' Gallery yonder,
there sat a Fourth Estate more important far than they all.” After all, the
media largely shape the communication between politics and people. The
traditional three powers have direct power. In the case of media, it is mainly
about indirect power and the influence on people's beliefs. Previously, it was
the large media companies that took this role. Today, technology companies such
as Google, Twitter and Facebook (with their news platforms, search engines and
chat services) play a similar role in the dissemination of information. They
have increasingly taken over the media power. It's a turn-around jump shot It's
everybody jump start It's every generation throws a hero up the pop charts. Boy
in the bubble - Paul Simon 10 Power shifts gradually and invisibly Power is a
theme that is crucial to freedom, democracy and justice. Shifting media power
and market power and thus changing social power as a result of digitization
therefore poses a much more serious risk than the incidents we have seen so far
in the areas of economy, privacy and security. Shifting power can pose a
fundamental threat to our freedom, our rule of law and our democracy. But what
is power? What makes a person or entity powerful? How is power exercised? And
what role do digital technologies play in this? In his well-thought-out book 'Future
Politics' (2018), Jamie Susskind examines the relationship between technology
and power. In short, he describes how digital technology affects information
and communication and thus systems of cooperation, coordination and control.
This has consequences for the exercise of power by both tech companies and
governments. Because data, software and algorithms make it possible to force,
investigate and direct people. This shift in power means that technology
affects freedom, democracy and social justice in our society and is therefore
an important political theme.13 Susskind uses the following definition of
power: “A person or entity is powerful to the extent that it has a stable and
wide-ranging capacity to get others to do things of significance that they would
not otherwise do, or not to do things they might otherwise have done.” Power,
then, is the ability to make others do things they would not otherwise do, or
not to do things that they might otherwise have done. But how? "Knowledge
is power." - Francis Bacon The relationship between knowledge and power
has been written for hundreds of years; from Francis Bacon to Michel Foucault.
Foucault concluded that power is based on knowledge and makes use of knowledge.
But also that power can shape knowledge. In the digital world, data is power.
That data is mostly knowledge about people: who we are, what we do and where we
are. Data is a form of power that is used to influence people's knowledge.
Think of Google's algorithms that determine what kind of information we see.
The promise of digital technology was that it would increase people's freedom
by making access to information easier for everyone. That it would increase
people's knowledge and thus their power. But what digitization has mainly
achieved is increasing the knowledge of companies and governments about people.
In short, power is an important topic in a society. Certainly in a free,
democratic constitutional state that depends on the separation of powers, on
the balance of power and on countervailing power. After all, uncontrolled power
leads to lack of freedom and injustice. It is also important to look at sources
of power. Perhaps more than ever in the digital domain, knowledge is power and
that knowledge is contained in data. How do companies and governments increase
their knowledge about people? How does this increase their power and how do
they use that power? 11 How tech companies with their commercial interests are
becoming increasingly powerful Data power The amount of data that companies
such as Facebook, Amazon and Google14 have about people is unprecedented. Never
before have so many aspects of the lives of so many people been recorded as
now. Via searches on Google, likes on Facebook and tweets on Twitter. But
companies also collect a veritable treasure of knowledge by linking all kinds
of data files. About what we think and like, about fears and wishes. Who we
interact with. Sexual orientation, political preferences and origin. Home
address, name and place of residence. Our heart rate, location and medical
records. We're giving it all away to companies. And we give them knowledge
about the most intimate parts of our lives. All that data creates a very
detailed picture of us. As a result, these companies actually know us better
than our friends and family. According to research by Cambridge and Stanford,
after 10 likes, Facebook knows us better than colleagues, after 70 likes better
than our friends and after 150 likes better than our family. Just having and
collecting this data itself is a form of power (we call it data power here15)
that makes people less free. Michel Foucault wrote much about the relationship
between knowledge and power and especially about "disciplinary
power"16, which is exercised not through coercion or threat, but through
disciplinary "devices". He concluded the following about this type of
power: “[it] reaches into the very grain of individuals, touches their bodies
and inserts itself into their actions and attitudes, their discourses, learning
processes and everyday lives”. Where Foucault mainly talked about schools,
prisons and clinics in this context, you could say that tech giants also have
such a role. Staccato signals of constant information A loose affiliation of
millionaires And billionaires and baby Boy in the bubble - Paul Simon 12
Knowing that we are being followed, or that others know a lot about us, makes
us behave differently. It makes us less likely to do things that society sees
as “bad” or shameful. For example, this kind of data power ensures that people
censor themselves and are therefore less free to be themselves. Can you still
develop freely if a power, which is itself invisible, is constantly looking
over your shoulder? Why do companies actually collect so much information about
us? The revenue model of these companies is the biggest culprit (but not the
only factor). Google earns 85% of its revenue from advertising, Facebook even
99%. It works like this: data helps to get more clicks on advertisements.
Because the more you know about someone, the more likely that the chosen ad
matches his or her interests, and with that the chance that someone will click
on this ad17. And more data helps to ensure that people spend as much time as
possible on your website or app. People see content they want to see. Messages
that make it tempting to spend more time on the website or app. Because the
longer people are on Facebook, the more ads can be shown and the more money
Zuckerberg can earn. Taking back the power and thus the freedom of the
individual will strongly depend on the approach to this revenue model.
Public-private relations in the United States, China and the European Union In
addition to the conscious commercial interests of the tech companies, there are
two other mechanisms at play that Amy Webb insistently points out in her book
“The Big Nine”. The first is the fact that tech companies in the United States
are often small, homogeneous groups of people ("tribes") that arise
in university buildings and on corporate campuses. These are often not very
diverse groups of engineers with a high level of so-called hard skills
(computer science, programming). They give direction to the future with their
software and technical inventions, often with good intentions but largely
isolated and uncontrolled and at a great distance from ordinary people18.
Because of their similarity, they are prone to bias, ambiguity and closeness.
In this way, the emergence of biases, bubbles and black boxes is given ample
scope, with adverse consequences for everyone. Second, Silicon Valley is in a
split position between Wall Street and Capitol Hill, i.e. the stock market and
American politics. This leads to great pressure on quick and tangible results,
resulting in gross errors of judgment and scandals such as Microsoft's failed
chatbot Tay on Twitter19 or the Maven project in which Google is working
closely with the Pentagon against the wishes of many employees20. The pressure
to please politicians and shareholders amplifies the already existing tech
culture of “Built first, apologize later” with errors and damage as a result.
Webb therefore emphasizes that the internet and artificial intelligence should
be treated much more as a public good. This is the case in China, but certainly
not with more favorable consequences for people's freedom. There, the People's
Party of China, led by President of the People's Republic Xi Jinping, sits on
top of tech companies such as Baidu, Alibaba and Tencent. These are an integral
part of China's long-term strategy to become world power number 1 through technology21.
The extensive control13 and surveillance that goes with it, such as the social
credit system22, oppresses millions of Chinese. But if the anticipated
technological dominance of China becomes a reality, this will also increasingly
affect the Western world. While the government in the US gives tech companies a
lot of space and the Chinese government has a firm finger in the pie, the
European Union is more focused on the citizen, which is reflected in
regulations such as the European privacy law AVG. Partly this is historically
and culturally determined, partly this is pragmatism because Europe has no tech
giants and only a few relevant platforms (Booking.com, Spotify, Zalando) within
its borders23. There are those who argue that Europe can lead the way in
safeguarding values and setting rules. But our marginal role in the platform
economy and our lag in the technology race stands in the way. That is why
Europe needs to invest in the development of a European tech industry in the
coming years.24 Media power It is not only the possession of all this knowledge
about people that is a form of power, but the way in which it is used is also a
form of power. The personal data of people who own these companies is used to
determine what kind of content they see. Smart algorithms analyze the data to
determine what kind of information or news someone would like to see at what
time. Although "want" isn't quite the right word here. Companies know
so much about people that they know what kind of information people are most
sensitive to.25 Controlling what people see, what information they are
presented with, and what news they read is a huge source of power. It directs
the knowledge and the image that people get of the world. And it limits people
in their actions because they don't know what they don't know. At the same
time, big tech giants are trying to deny this power. Hand in hand with the
techno utopianism we discussed in Chapter 1 went a deceptive kind of neutrality
thinking. Companies like Facebook or Google, as well as lesser-known platforms
like Reddit, 4chan and 8chan, would only give people the opportunity to express
themselves. They wouldn't interfere with the content. These companies are just
a neutral platform on which people can express themselves without
responsibility for the consequences.26 “People having the power to express
themselves at scale is a new kind of force in the world — a Fifth Estate
alongside the other power structures of society. People no longer have to rely
on traditional gatekeepers in politics or media to make their voices heard, and
that has important consequences.” Social media is a "fifth power"
according to Facebook CEO Mark Zuckerberg. He is referring to a term from the
1960s that refers to alternative media and with which Facebook tries to evade
any form of responsibility.27 Despite the fact that tech giants deny their
power and wallow in a cloak of neutrality and denial of responsibility, these
companies do exercise power. Facebook's algorithms that determine what people
see are full of conscious and unconscious choices by companies that have a
major impact on our society. It is Google's choice to determine which videos
people are recommended about climate change denial. It is a choice of Facebook
14 to let politicians spread fake news through advertisements and to circulate
large amounts of fake news about vaccinations. It is a choice of 8chan to
provide space for right-wing extremist violence glorification. Of course, these
are difficult and complex choices that affect freedom of expression. But they
are not new questions. The inventors of the printing press had similar ideas
about their role in society. They, too, saw themselves as a neutral platform
that was not responsible for what writers wrote. Even if they had reservations
about some of the texts in the books they printed. Without the printing press,
Martin Luther could never have reached so many people and started a revolution.
But that same printing press enabled that same Luther to distribute books with
such titles as "On the Jews and Their Lies" and "A Warning
Against the Jews." Over the years, the role of publishers, newspapers and
radio and television media in society has changed and that sector is also
defined by what it does not want to publish and what it does not want to
publish. Independent editorial boards and statutes ensure transparency and
accountability. This responsibility and transparency is now lacking among major
players in the digital world. As a result, the World Health Organization warns
that vaccination rates in Europe are declining, serious childhood illnesses
when measles are back, that foreign actors with fake news and trolls are
influencing democratic processes. We now live in a “post truth” world in which
lies are indistinguishable from the truth and in which journalism has to fight
to survive. Journalism is indispensable in a democracy. Freedom cannot exist
without a free press. Yet the free press is increasingly affected by declining
revenues. This is partly due to the changing way in which people absorb news,
but also because of the choices Facebook and Google make in their algorithms. A
minor tweak to Facebook's algorithm led to the dismissal of 1,000 journalists
from Buzzfeed and HuffPost. This also means that 1000x fewer human
considerations are taken into account. Facebook avoids responsibility for all
the abuse by proclaiming itself the fifth power and then demolishes the fourth
power (media) which is essential to resist misinformation and manipulation. But
this is not the only way the power of tech giants is felt in democracy. In
2013, two researchers from the University of Cambridge published a study saying
they could predict people's personalities based on Facebook likes. The
consequences were huge. Aleksander Kogan built an app that collected the
personal data of millions of Americans without permission. The same data was
later used by Cambridge Analytica to persuade voters to vote for Donald Trump
in the 2016 presidential election with personalized ads and to persuade other
voters - often minorities - not to vote. Whistleblower Christopher Wylie called
it a "psychological warfare tool." 15 The huge amounts of data that
Facebook holds about us were misused to inappropriately influence people to
vote for a political candidate. A greater influence on democracy and a clearer
example of the enormous social power of tech giants is almost impossible to
imagine. Market power But aren't we focusing too much on a few companies? Is
there competition? Before Facebook there was Myspace and soon there will be a
successor to Facebook. Competition is fierce, say these tech giants and their
advocates, lobbyists and lawyers. This would be nice, because it would mean
that the shift of power from people to tech companies is only a temporary
phase. Unfortunately, we see more and more clearly that this is a new illusion.
In addition, the past has shown that breaking or partially breaking down an
industrial or technological power (such as Standard Oil and Microsoft) always
requires government intervention. So leaning back is not an option. Every power
needs counter-power and every market needs a strict market master. A market
master who thoroughly understands the economic game of the market. A market
master who enforces the rules of the game to prevent the law of the strongest
from dominating. There is hardly any such market master in the digital economy.
As a result, the big tech giants have free rein. The business models through
which major tech giants make profits are fundamentally different than before.
In the analog economy, businesses and consumers pay with money. A coffee shop
buys beans, hires a barista and sells you a fresh cup of coffee for a few
euros. To make more profit, the owner must increase the price of the coffee or
sell more products. There is no such thing as free coffee unless you pay for it
in some other way. Free coffee seems to exist in the digital economy. Google
does not charge for the use of the search engine, G-mail, Maps, Android, Chrome
and Drive. Although they do incur costs. They only ask you to keep your data.
What you search for, at what time of day you do it, from which location and
more. They use the data to show advertisements. The free coffee does Google no
harm. Google's parent company accounts for 85% of all revenues from advertising:
$95.4 billion. The digital economy is completely different from the traditional
economy in a number of ways. The data power of the tech giants puts them at a
huge head start. Every byte of information makes the algorithm smarter. That's
why you hang around endlessly on Facebook and Spotify and Netflix know exactly
what you want to hear and see. Challengers, startups and small competitors that
don't have enough data can never make such effective algorithms. For example,
data power excludes countervailing power by challengers. In 2011, Hyves was
even more popular than Facebook in the Netherlands. It went under a few years
later. That is an example of another difference: the network effect. 28 The
more users there are on a platform, the more data is left behind, the more
valuable the platform is. Nobody is waiting for a second Facebook, second
Twitter or second LinkedIn app. Due to the network effect that ensures
optimization based on data power, the tech giants are no longer challenged. 16
It's eat or be eaten in the digital economy. To maintain and increase power,
the companies compete not only in markets but also for markets. Offering more
services means more data and less competition. The economic rules of the game,
such as the prohibition of cartels or the prohibition of abuse of economically
dominant positions, should provide a counterbalance. The regulations are just
not yet up-to-date for the current digital economy.29 The fact that the law of
the strongest tech giants triumphs is clearly evident in all the excesses.
Employees and small makers are exploited and tax liability is avoided. The
greed for advertising revenue is so high that it would rather make money from
disinformation than enforce proper business. For example, the data power has
made the tech giants Google, Amazon, Facebook and Apple the great
industrialists of our time. And in separate more specific sub-markets, specific
platforms such as Netflix, Spotify, Uber and Airbnb can be very powerful. Many
of these companies abuse their market power to maintain their dominant
position. Innovative startups are bought up and rendered harmless. If there is
a serious challenger, it is often taken over, as Google took over the YouTube
platform and Facebook took over services such as WhatsApp and Instagram. And if
a challenger manages to escape the dance, it will be copied just like
Facebook/Instagram copied the Snapchat app. In this way the monopolist
survives. This is bad for innovation, bad for competition and therefore bad for
all of us. The core of the shift of power from people to companies lies with
data and its ever-increasing processing. The revenue model of the tech giants
revolves around collecting as much data as possible. More data means more
personalized ads. More data means people can stay longer on the website or app
and therefore more advertisements. More ads and more personalized ads mean more
money. More data therefore means free services for users, but above all more
money for the tech giants. Changing that revenue model will help, but it is not
enough. The hunger for data runs deeper than that. A more fundamental approach
is needed. An approach that also takes into account the media power and market
power of companies. 17 How governments are becoming increasingly powerful with
their lust for control A digital dual role: control state and market controller
If companies are too powerful and the citizen suffers as a result, then the
government is the right party to protect the citizen against this. This is not
easy because of the cross-border and complex nature of digital technologies and
data flows, as well as the private ownership of the digital infrastructure. But
beyond that, there is a more fundamental problem. Namely that, for control
reasons, the government itself is also a major data user and even makes use of
the business community. The government therefore plays a dubious double role as
a control state and market controller. The government's thirst for data The
digitization of our daily lives and the way in which more and more parts of our
daily lives are captured in data also has consequences for the balance of power
between governments and people. Governments are collecting, linking and
analyzing more and more data. Existing databases of information about people
have been digitized in recent decades. Identity data, tax data, name and
address data, address data, employment data, education data, police databases,
Chamber of Commerce data, passenger data of flights, and so on. In total, the
government has more than 5000 databases with personal data and the average
Dutch person is in dozens of such databases.30 At the same time, the police are
also increasingly using private databases. Think of databases of telephone and
internet companies that keep track of who you are in contact with, or of
location data and data obtained via social media. In addition, we see that in
addition to digitizing existing databases and tapping into private databases,
the government collects even more data about people by means of devices
connected to the internet and other new technologies. Think of ANPR cameras
above highways, sound sensors, cameras in city centers, scan cars for parking
checks, and bodycams. The proliferation of smart city initiatives – projects in
which entire cities are covered with sensors – are also used here. Even
satellites are used for this purpose.31 The way the camera follows us in slo-mo
Boy in the bubble - Paul Simon 18 This gives governments a more complete
overview of our lives than any government in the history of mankind, including
the authoritarian regimes of the 20th century. And with that, the balance of
power between people and government is shifting towards government. But the
government is not only collecting more data, it is also linking and analyzing
more and more data. A database only gives a small picture of someone's life.
Two or three linked databases already provide a more complete picture, let
alone if dozens of databases are linked. In this way, the government can get an
idea of where you are, who you have contact with and what you spend your
money on. You can hardly imagine a more complete picture of someone's life. The
surveillance state: from SyRI and smart cities to the Social credit system An
example of how this is being used now is SyRI, or System Risk Indication. This
is a system of the national government that links different databases with
personal data to detect fraud. The data from more than ten different databases
is linked. A computer is shown examples of known fraudsters and on the basis of
that data tries to recognize connections in the data of innocent people. There
is currently no concrete suspicion. The data of innocent people is collected,
linked and analyzed to see if they have done something wrong. Where does this
lead? The connections between known fraudsters and the data of innocent people
must be made by human-made algorithms. The problem is that no one is allowed to
see those algorithms, as well as the data with which the algorithms have been
trained. In short, we are dealing with a classic black box. In a manner of
speaking, it could be that the algorithm is trained with data from only
fraudsters who live on an odd street number, so that the algorithm concludes
that people on an odd street number are more likely to be fraudsters. Bias,
which can be both data-based (old data, one-sided data, statistically invalid
data) and rule-based (algorithms based on incorrect assumptions), lead to
discrimination and arbitrariness. The right to privacy and the presumption of
innocence are two of the most fundamental core values of our society. The
right to privacy means that a government is not allowed to just poke around in
your private life and the presumption of innocence means that you are innocent
until proven otherwise. Together, these two basic principles of our rule of law
protect people from discrimination, arbitrariness and oppression. They protect
against an overly powerful state that restricts people's freedom. Article 8(2)
of the European Convention on Human Rights clearly states: “No interference by
any public authority is permitted in the exercise of this right, except to the
extent provided for by law and necessary in a democratic society to importance
of the national security, public safety or economic well-being of the country,
the prevention of disorder and crime, the protection of health or morals or the
protection of the rights and freedoms of others.” 19 In short, a careful
balance is needed between the right to privacy, public safety and the economic
well-being of the country. SyRI's example marks a point in an erroneous trend
that is tipping the balance. In doing so, we are taking a road that erodes our
rule of law and ultimately leads to a dead end. This technology is anything but
standing still. Storage and computing power of computers are getting bigger and
faster, sensors and cameras are getting better and artificial intelligence is
getting more advanced. This in turn leads to new applications, such as facial
recognition, that can be used to identify people in real time. What could all this
lead to? China is setting the dark example. The Chinese government is busy
implementing a system that gives people a “social credit score”. Data from
companies and governments are linked to get a picture of people and to what
extent they are good subjects. Bad behavior – paying fines too late, driving
through a red light, being friends with people with a low score, playing too
long – results in minus points. Good behavior – paying your bills neatly,
having children, having friends with a good score – provides advantages. Face
recognition cameras provide enforcement by identifying people in real life and
recognizing wrong behavior such as driving a red light. Everything you do is
constantly monitored, analyzed and assessed. This is the uncanny impact of digitization
and datafication in full. But surveillance can also fail in democratic
constitutional states that value freedom. Take the revelations of whistleblower
Snowden. The US intelligence and security services have used digital
technologies to collect data on hundreds of millions of innocent people in
order to keep an eye on them. Phone conversations were stored, internet traffic
was tapped worldwide and consumer devices were hacked. But in the Netherlands
we also see that our streets, neighborhoods and cities are covered with cameras
and sensors, that our lives are captured in data and that that data is
collected, linked and analysed. The police have a database of 1.3 million
photos.32 Parking-monitoring scan cars are used for alternative purposes.33 The
police use crime-predicting software to direct the deployment of officers34 and
misuse cameras mounted for other purposes.35 Intelligence and security services
and investigative services are also being given more and more powers to collect
data, hack into devices and analyze data.36 All over the world there are always
politicians who want to weaken encryption, so that people and companies can no
longer be safe and private. communicate and policy makers who want to link and
analyze data from innocent people even more easily. 20 After 'I have nothing to
hide' and 'If you want to be safe, you must give up some privacy', 'Privacy is
the shield of criminals' is the new motto of the government's techno-utopians.
That approach is not that different from the techno-utopians of the tech
giants, accurately summarized in the novel The Circle as 'sharing is caring and
privacy is theft'. They view the world exclusively from a safety perspective.
They are hammers and all they see is a nail. "Privacy is the shield of criminals"
is a totalitarian statement, no nuance is possible. People have to share all
their data with the government otherwise they help criminals. It leads to a
society without freedom and is completely in conflict with the free, democratic
constitutional state that is the Netherlands. What is needed is a government
that stands up to the data power of tech giants to protect its citizens by
adjusting where possible and limiting where necessary. But almost the opposite
happens. Slowly but surely, Dutch society cannot escape the practice of
predominant surveillance by the government. A feeling where supervision
prevails: everything you do is recorded and watched. A feeling of lack of
freedom that hinders people to be themselves, to develop themselves and to actually
be free. It is slowly but surely going in the wrong direction. But it's not too
late to turn the tide. But we must start now. 21 How we bring power back to
people. Time for a digital revolution Beyond amazement The times of wonders and
amazement that Paul Simon sang about in 1986 have long since arrived. It is
unbelievable what is possible with digital technology. Self-driving cars that
take us from A to B, 3D printers that print food, the creative and lifelike
games that bring us a lot of fun, flip-jumping robots and the ability to
literally and figuratively reduce distances between people. The Netherlands
benefits from and contributes fully to these developments with companies such
as Adyen, The Next Web, Booking.com, Hackerone, Elastic, ASML and Phillips.
Digitization potentially offers a huge opportunity to increase people's
freedom, to bring people closer together, to lift people out of poverty, to
make people safer. It gives people the opportunity to tap into new sources of
information, to find new passions and fellow sufferers. It has the potential to
increase equality of opportunity by making information and knowledge accessible
to everyone. Free initiatives like CodeAcademy make it possible for everyone to
learn to code, find a job and work their way up the social ladder. This is the
promise of digitization that we have lost sight of. We thought that development
would come naturally. We have forgotten that technology does not automatically
advance our values. We've forgotten that people make technology and that people
need to shape technology in a way that safeguards rather than erodes the values
we cherish. We have forgotten that we have to fight for our freedom, our
democracy and our rule of law. These are the days of miracle and wonder, This is
the long distance call. Boy in the bubble - Paul Simon 22 We were blind to the
insidious mechanism that would make companies and governments more powerful and
people more dependent. The result: less freedom, damage to our democracy and
erosion of our fundamental rights. This has happened gradually and is therefore
only observable in retrospect.37 It is time for us humans to take back that
power. It's time for a digital revolution. Time for a new separation of powers
in the digital age. It's not too late. Provided we take concrete steps to
regain that power. Crucial preconditions, principles and principles for the
digital age The above has shown that digital technologies are a many-headed
monster that is attacking various foundations of our society. This requires a
broad and coherent approach at different levels. Before we discuss a number of
concrete proposals and measures aimed at both companies and governments, we
outline a number of central principles that a sustainable digital approach must
meet. First of all, people must be central. Human values, ethical principles
and civil rights should always be leading in the development and application of
digital technologies.38 This includes transparency, accountability,
explainability, diversity, fairness and equality. Secondly, there must be a
global and European approach. Given the cross-border nature of digitization,
national solutions rarely make sense. International and intergovernmental
cooperation is necessary. Third, the solution must start at the source (data)
and at the design (by design). So think in advance. There must be independent
oversight afterwards to rectify undesirable and unfair outcomes. Fourth,
companies and governments must continuously invest in education and research. A
high level of knowledge and sufficient innovative power are indispensable for a
viable digital society. Companies that respect human values: less data power,
media power & market power It is high time to limit the data power that
companies have over us by reducing the amount of data available. The new
European privacy law (GDPR) is an important part of this. Although personal
data is not formally owned by the user under this law, this law does give
people control over data that companies have about them. People are allowed to
view, change and delete their personal data. Some companies are already taking
responsibility for this. Such as Google, which gives people the opportunity to
disable the collection of data and the display of personalized advertisements
via privacy settings. But more is needed. The GDPR also ensures that people
have to give permission for the sharing of their data. In concrete terms, this
means that websites, apps and browsers may not deny access to people who do not
want to give up their data. In addition, the cookie walls and the app and
browser settings must be set to not collect data by default. In practice, this
is almost never the case anywhere, all those websites, apps and browsers are in
violation of the privacy law. The supervisory authority, the Dutch Data
Protection Authority, must therefore carry out strict supervision and have
sufficient resources to do its work properly. Currently, the supervisor has too
few resources and manpower. 39 Limiting the media power of companies is more
complicated. Companies like Facebook, Twitter and Google have always maintained
that they are just neutral conduit points of information. They do not see
themselves as 'gatekeepers' of information, but in fact they are. Algorithms
actively make choices to show people certain information and news. They are
gatekeepers, but they don't take the responsibility that traditional media
does. It is time for these companies to do so to combat the worst excesses of
disinformation and manipulation. That will not be an easy task, because it is
about freedom of expression. Just like privacy, this fundamental right is not
absolute and nothing stands in the way of transparent and well-founded
interventions by social media companies. In addition, there is a model that
these companies can follow, which is that of traditional media organizations.
These often have an editorial team (and often even an ombudsman) who determines
what people see independently of advertisers. At Facebook, what people see is
determined 1 on 1 by what makes the most money. So there must also be an
independent editorial team at tech giants that determines which choices are
made in the algorithm that determines what people see. In addition, media
organizations have statutes in which the journalistic principles are written
down in a transparent manner. Such transparency about the principles underlying
the design of the algorithms of Facebook, Google and Twitter is essential. In
addition, agreements must be made with companies such as Facebook, Google and
Twitter, which largely determine the number of visitors, and thus the income,
of news media. The decline of national and regional journalism is a worrying
development in our democracy. Journalism needs to be heard when companies like
Facebook make changes to algorithms that have a major impact on journalism.
how? Companies like Google and Facebook that have a major influence on
journalism and the way people absorb news should be given a special designation
as 'vital social company'. This consideration should compel companies to take
concrete measures to include the importance of journalism in important
decisions that affect journalism. For example, by starting a dialogue with
media representatives to discuss algorithmic choices and to communicate openly
about them. This way we can force big tech giants to take responsibility and
give back the media power of companies to people. The market power of the great
industrialists of the 20th century has been broken with the invention of
competition law and competition authorities. We now have to translate those
rules to the digital world in order to stop the abuse of economic power by
major tech giants. First, the option must exist to split tech giants. Facebook,
Google and Apple offer a wide variety of services. Such a combination is
dangerous for the economy and democracy. Different services of a single company
can exchange data effortlessly. And as gatekeepers, they determine who has
access at what price. In Germany, for example, Facebook is already banned from
combining data of German citizens from Facebook, WhatsApp and Instagram. 24 At
the European level, Member States can collectively take a strong stand against
these kinds of practices. Billions of people use WhatsApp and Facebook paid
$21.8 billion for the acquisition. The regulators could not even start an
investigation, because WhatsApp is free and therefore hardly makes any
turnover. An old-fashioned rule, from which you as a consumer experience the
disadvantages. Supervisors should not focus on turnover. They must keep their
eyes open for the acquisition value, the combination of data and network
effects. The independent competition authorities, in the Netherlands the
Authority for Consumers & Markets (ACM), must be able to form a healthy countervailing
power. This can be done by examining mergers more closely, by attaching
conditions to them or by prohibiting them. In addition, emerging tech companies
should be given a fair chance. Their market power gives tech giants an edge
that cannot be overtaken by other companies. By requiring tech giants to share
some data, new companies can make their own algorithms just as smart. It should
also be easy as a customer to switch from tech company to tech company. If
you've had enough of Amazon, your personal information should be able to be
transferred to a Disney+ subscription. In addition to this data portability,
two other conditions are needed, namely interoperability and
non-discrimination. This means that technical barriers are removed so that all
providers can break into the dominant players with their services. And that the
services of competitors on their own platform are not disadvantaged. If you can
take your friends from Facebook to another network or if companies can put
their own app store on the iPhone, then more competition and less market power
becomes possible. In addition to the GDPR's obligation to set default settings
of apps and websites to not share data (opt-in), these are the most important
measures to counter the data hunger of tech giants. If more data no longer
means more money and if more data no longer provides a dominant market
position, we can really bring about a fundamental change and prevent negative
consequences. Governments that guard and respect civil rights In addition to curbing
the data power of companies, we need to take back the digital power that
governments have drawn to themselves. That power is the result of increasingly
collecting, linking and analyzing data. That starts with providing insight into
the shifting of that balance of power. We need to know exactly how many
databases with personal data the government has set up, which databases are
linked by which government organizations and in what way and for what purpose
analyzes are performed. In addition, clear legal principles must be formulated
that align digital surveillance practice with existing fundamental rights. Just
linking and analyzing databases with personal information of innocent people,
as SyRI does, is not possible on a large scale. This is only possible if it is
based on a clear and important purpose, as set out in Article 8 of the European
Convention on Human Rights (ECHR). And provided that it is done with (in
advance) well-considered and (in retrospect) verifiable methods, which affect
the privacy of innocent people as little as possible. In all other cases there
must be a concrete suspicion of an individual if the government wants to
consult those databases. A clear guideline must be developed for this. All
applications of algorithms that dig through databases of innocent people's
data, such as SyRI, must be legally framed and limited so that the House of
Representatives can maintain control. As long as these clear frameworks are not
yet in place, experiments and applications must be shut down. This also means
that ANPR cameras cannot simply store information about all cars that pass by,
but only about license plates that are part of research.40 And that new
technologies, such as facial recognition cameras, cannot simply be applied
without broad social debate, clear guidelines and legal guarantee. So is the
use of such cameras to identify non-criminal matters such as
"confused" behavior or the gathering of a group of people or to store
information about everyone who walks by. Here too the following applies: first
clear frameworks that limit the technology, only then use in practice. Can you
detect more crimes with all that digital control and surveillance? Probably.
But that doesn't mean we have to do it. If the price of applying that
technology is giving up constitutional rights and undermining the rule of law,
then that price is too high. Technology must be in balance with all our core
values. There is also a need to gain more control in order to reduce the
proliferation of algorithms and digital technology in government. Every
municipality, every ministry and every government organization, such as the
police or the Public Prosecution Service, is engaged in smart city experiments
or pilots with artificial intelligence. Often this happens with little or no
regard for the negative consequences. It is also important that the national
government monitors the general situation. That is why governments are obliged
to report the application of sensor technology, such as facial recognition
cameras, to the Minister for Legal Protection. Bringing back the power of the
government in the digital field is not a black and white issue where everything
is solved with a few measures. It is a question of constantly considering to
what extent all these digital technologies together lead to a situation in
which there is too much practice of surveillance. The Minister for Legal
Protection must be given a supervisory role in this, including the perseverance
to stop some experiments or practical applications of technology. In addition,
there must be an algorithm authority that can check the use of algorithms for
discrimination or exclusion and can reverse them. There must also be a
reporting obligation for the use of far-reaching algorithms, both with the
regulator and with the minister. Finally, the government should lead by
example, for example by means of a thorough consideration process to report
unknown software vulnerabilities to the producer instead of secretly keeping
them for its own use and by ensuring encryption and not building in back doors
to can hack. 26 Time for a Digital Revolution In recent decades, our society
has been extensively digitized. That has brought us a lot, but it has also done
damage. To our democracy and to the position of power, freedom and the legal
position of citizens. The real price of cheap fossil energy in the last century
is now reflected in the climate crisis. In the same way, we will also have to
bear the real price of the free services of tech giants in the future in the
form of the erosion of our free, democratic constitutional state. Unless we
intervene now. The analysis on the major risks of digitization and data hunger
of tech giants is widely shared among tech experts. What was missing for a long
time, however, was a political translation of that analysis into concrete
proposals for change. That is about to change globally, with US Senator (and
Democratic presidential candidate) Elizabeth Warren and European Commission
Vice-President Margrethe Vestager (with the portfolio digitization and
competition) as prominent examples. This pamphlet is a first step for the
debate in the Netherlands. Unfortunately, there are no simple solutions to this
problem. A society-wide vision is necessary. With the measures we propose in
this pamphlet, power is returned to people, and the power of companies and
governments is limited. This is essential to face the risks of digitization,
but above all to make the most of the unprecedented opportunities. With these
measures, the promise of digital technology to increase people's freedom can
become a reality. Anyone who believes in the positive power of digitization
wants to tackle the risks. With these measures, we can shape the digital
revolution, protect our values in the digital age and give people more freedom.
In this way we avoid a techno-dystopia and a humane digital age comes within
reach. 27 Appendix: Key Actions in Brief Limiting Government Power: • Create a
legal framework for using digital decision-making systems such as SyRI (which
links and analyzes databases of innocent people's data). Establish that it
should only be done for serious purposes and with sufficient, thoughtful
guarantees to protect the civil rights of innocent people. • Create a central
overview of the number of databases and the degree of linking. • Set up an
Algorithm Authority and a notification requirement for algorithm use. Create a
central overview for far-reaching algorithms and automatic decision-making. In
this way, the House of Representatives and supervisors can perform their audit
task better. • Ban facial recognition and intrusive algorithms until
legislation and supervision is in place. • Set up a coordinating minister for
legal protection against excessive data surveillance from the government.
Limiting corporate power: • Raise awareness about digitization and datafication
among people and small businesses. • Ensure data ownership and data control.
Therefore, take steps towards real data portability. • The European GDPR
privacy law must be optimally utilized and enforced. Cookie walls are therefore
prohibited and web settings must be set to no data sharing by default. •
Supervisors such as the Dutch Data Protection Authority (AP), the Media
Authority and the Netherlands Authority for Consumers and Markets (ACM) must be
given more resources to perfect their work. • Companies such as Google and
Facebook must take their social responsibility. This means setting up
independent editorial boards and drafting public statutes that set out how and
why their algorithms make choices. • Companies such as Google and Facebook are
considered a 'vital social company' and must take measures to involve
journalists' interests in choices about their algorithms. Disinformation and
deepfake must be contained without causing censorship. • Further measures
against abuse of economic power: breaking up tech giants; ban mergers; provide
insight into algorithms; make data sharing mandatory and enforce
interoperability. 28 Endnotes 1 https://www.theguardian.com/technology/2012/feb/01/facebook-letter-mark-zuckerberg-text.
2 The physical
infrastructure of the Internet consisting of cables, nodes, data centers and
servers is largely out of sight of people. The underlying data flows, computing
power and algorithms are a blind spot for most people. This complexity of
digital technology, for example, also makes it difficult to communicate about
it in understandable language. The result: we always only see afterwards how
far-reaching the consequences are. 3 In her book “The Big Nine” (2019), Amy Webb writes
about the American and Chinese tech giants and their thinking machines. She
speaks of “G-MAFIA” (Google, Microsoft, Amazon, Facebook, IBM and Apple) and
“BAT” (Baidu, Alibaba and Tencent). 4 Journalist Huib Modderkolk describes in his book “It
is war but no one sees it” (2019) how we have lost control over our data: to be
of service. And what applies to the secret service also applies to companies
and government agencies.” 5 https://foreignpolicy.com/2016/06/29/the-man-who-nailed-jello-to-the-wall-lu-wei-china-internet-czar-learns-how-to-tame-the
-web/. 6 Susskind (2019):
“Future Politics”. 7 For a good explanation of deepfake and the social risks, see the recent
report by Jarno Duursma: “Deepfake Technology. The Infocalypse” (2019).
https://www.jarnoduursma.nl/wp-content/uploads/2019/09/Jarno-Duursma-_-Deepfake-Technologie-The-Infocalypse.pdf.
8 https://www.theguardian.com/technology/2012/feb/01/facebook-letter-mark-zuckerberg-text.
9 This also marked
the start of regulations to limit the risks. From the first European privacy
directive from 1995 to the cookie law and ultimately the General Data
Protection Regulation. 10 https://www.ad.nl/binnenland/webcamafperser-stopt-tegen-in-nederland-en-wil-naar-canada-voor-zelfmoord-amanda~a7b67fb3/.
11 https://www.nrc.nl/nieuws/2008/07/25/man-ververeerd-voor-gluren-met-webcam-11578707-a267367
12 https://www.nu.nl/internet/4936847/cybercrime
-kost-nederlandse-economie-jaarlijks-10-billion.html 13 Susskind describes
extensively in his book how technology restricts our freedom by governments
that monitor and predict behavior and by tech companies that filter information
and algorithms that influence our choices; how technology is harming our
democracy through disinformation and deepfake, fragmentation in filter bubbles and
echochambers plus hate speech by bots and trolls; how technology interferes
with social justice through unauthorized data exploitation, unfair revenue
models and market concentration, as well as mistreatment and disadvantage of
minorities through apparent neutrality, statistical errors or bias (in both
data and algorithms). It is therefore no exaggeration to say that every
contemporary politician should have read his book. 14 Due to their sheer size and power, tech
giants are often seen as a market and even a state in its own right. The
comparison with a market is understandable, but we prefer to speak of monopoly
or monopsomy. The comparison with a state is less obvious because tech giants
do not offer people a say, are commercial and also uncontrollable. Nor are
their services utility functions that can be nationalized. Susskind's
suggestion to speak of economic players with political power is useful. 15 With this we are building on the
Techvisie 2.0 that D66 launched at the beginning of 2019: https://d66.nl/techvisie-2-0-een-politice-agenda-voor-de-digitale-toekomst/.
16 Nowadays also
often referred to as the “chilling effect”. 17 Welcome to the crazy world of the online
advertising industry that revolves around personalized advertising. You may know
this world from terms such as profiling and targeting, but otherwise you
probably have no idea of the influence this has on your behavior. 18 Also because the American government –
unlike the Chinese People's Party – is at a great distance from the tech
giants, gives them ample scope and is even dependent on them in parts. 19 https://guce.techcrunch.com/copyConsent?sessionId=3_cc-session_442f8f6b-089a-4513-810b-1a5341fbc213&inline=false&lang=nl-NL.
20 https://www.vrt.be/vrtnws/nl/2018/05/16/google-werkt-samen-met-pentagon--en-niet-iedereen-is-daar-blij-m/.
21 China has a
number of state programs for this purpose, such as One Belt, One Road (the new
Silk Road) and Made in China 2025. 22 https://nos.nl/nieuwsuur/
artikel/2227440-big-brother-2-0-in-china
-determine-your-social-score-your-life.html 23 In the US, data is considered the
property of companies, in China as property of the state and in Europe as
property of the individual. You could speak of surveillance capitalism,
surveillance socialism and surveillance liberalism respectively. Shoshana
Zuboff has written the book “The Age of Surveillance Capitalism” about the
immense impact of surveillance. 24 https://d66.nl/europese-techvisie/ 25 The writer Yuval Harari even states in
his book Homo Deus that people themselves are also algorithms and therefore
very easy to control and manipulate. 26 In addition, data, code and algorithms are not neutral
either. Or to be more precise: they may be neutral, but that makes them unfair.
This is because they confirm and reinforce existing –human- assumptions, biases
and disadvantages. As Susskind says, neutral always favors the powerful, never
the minorities and oppressed. 27 https://www.newyorker.com/news/our-columnists/mark-zuckerberg-doesnt-know-what-the-first-amendment-is-for
28 Economists also
speak of the first-mover advantage and the winner- takes-all principle. It
always comes down to the fact that the dominant party with data power can
develop the best algorithms and thus the most optimal service. This gives a
self-reinforcing effect that virtually puts competitors offside. In the D66
initiative memorandum “Competition in the digital economy” (2019) we discuss
these principles in more detail:
https://www.tweedekamer.nl/kamerstukken/detail?id=2019Z02054&-
did=2019D04620. 29 In her book The Big Nine, Amy Webb also outlines how power concentration
and consolidation can lead to social consequences such as segregation and
polarization. If the tech giants manage to expand their dominant position into
more and more markets, so-called Google, Apple and Amazon families could arise,
who buy everything in their smart home from a single provider. 30 https://sargasso.nl/meer-dan-5000-databases-met-informatie-bij-overheid/
31 https://www.security.nl/posting/486380/Overheid+verkent+use+satellites+voor+
monitoring 32 https://www.security.nl/posting/617777/Police+has+database+with+photo%27s+van+1%2C3+million+people
33 https://nos.nl/nieuwsuur/
artikel/ 2302813-investigation-services-discover-new-weapon-the-scanauto.html
34 https://nos.nl/
artikel/2286848-overheid-used-on-large-scale-predicting-algorithms-risk-of-discrimination.html
35 https://www.rtlnieuws.nl/tech/artikel/4886461/politie-kon-
jaarlang-onterecht-amsterdamse-cameras-bezien 36 On the basis of, among other things, the
Computer Crime Act III (cc3) and the Intelligence and security services (wiv).
Although these laws have been adjusted and limited in various parts, there is
not yet a good framework for the use of unknown software vulnerabilities by the
government. That is why D66 submitted a private member's bill to regulate this
at the end of 2018: https://nos.nl/
artikel/2264338-strictere-regelen-nieuwe-voor-hacks-door-overheid-via-zero-day-bugs.html.
37 Amy Webb speaks
in this context of 'papercuts': not a big explosion of change but a creeping
process of small cuts that slowly but surely lead to more and more
disadvantages and limitations. 38 In recent years, various policymakers and scientists
have drawn up core values and principles for the humane development of
artificial intelligence. The most important are: the Asilomar AI Principles
from the Future of Life Institute, founded by physicist Max Tegmark; An Ethical
Framework for a Good AI Society; and the EU High-Level Expert Group on
Artificial Intelligence. 39 In a recent study into the required resources, three
scenarios have been elaborated, 'low', 'medium' and 'high' supervision level.
With the current budget, even the lowest level of supervision is not achieved.
This subject is too important not to equip the Dutch Data Protection Authority
at the highest level of supervision. 40 This principle is called purpose limitation: data that
is collected for a specific purpose should also be used solely for that
purpose. A rule that is all too often violated. Digital technologies have
vastly improved our lives. From global communication to curing diseases. But in
the early days of the Internet, an even greater promise rang out: the Internet
would open up the world, connect humanity, better distribute wealth, strengthen
democracies, and set individuals freer. If we take off those utopian glasses
and take a critical look at the consequences of digitization, there is much
more to it than the visible side of shiny gadgets, beautiful platforms and
handy apps. The digital dream has not come true. In fact, the digital dream is
slowly turning into a nightmare. The data hunger of tech giants and governments
leads to Facebook's many privacy scandals, election manipulation by companies
like Cambridge Analytica and the Snowden revelations. But even more
fundamentally, it leads to a shift of power that makes us less free and affects
our democratic constitutional state. This pamphlet was written to expose the
digital assassin; to warn people about the fundamental change of our society,
as a result of digitization. Bottom line, the influence of digitization on our
society is positive for the time being. But if we don't slow down, adjust and
limit it enough, that balance will go in the wrong direction. Nothing less than
our free, democratic constitutional state is at stake. It's time for a digital
revolution. We must prevent times of wonder and amazement from turning into
times of catastrophe and alienation.
Een
politiek antwoord op de datamacht van techreuzen en controlestaten Kees Verhoeven These are the days
of miracle and wonder This is the long distance call The way the camera follows
us in slo-mo The way we look to us all, oh yeah Boy in the bubble - Paul Simon
Auteurs: Kees Verhoeven Marijn van Vliet Janne Gerritsen 1 Hoe de digitale
droom een machtsverschuiving blijkt te zijn De grote belofte van het internet
In 1986 had Paul Simon niet kunnen bevroeden dat we met de ontwikkeling van het
internet en digitale technologieën daadwerkelijk in tijden van wonderen en
verwondering zouden aanbelanden. De mogelijkheden van deze technologieën zijn
haast eindeloos. Het brengt vrienden en familie dichterbij, helpt bij het
opsporen en genezen van ziekten als kanker of dementie en geeft iedereen
toegang tot alle informatie die de mensheid ooit heeft verzameld. We hebben
toegang tot een ongekende rijkdom aan muziek, film en andere kunst. We kunnen
overal ter wereld de weg vinden met Google Maps, makkelijker reizen boeken met
Booking.com en overal in de wereld betalen met Apple Pay. En de toekomstige
technologische mogelijkheden rijken nog verder. Veel verder. Maar
digitalisering zou de samenleving ook op een andere manier fundamenteel
veranderen. In de begintijd van het internet klonk de stellige belofte dat het
de wereld zou openen, de mensheid zou verbinden, welvaart beter zou verdelen,
democratieën zou versterken en individuen vrijer zou maken. Mensen zouden vrij
informatie kunnen delen, ideeën uitwisselen en zichzelf ontdekken. Een
supersnelweg, een marktplaats van ideeën waarop iedereen gelijk zou zijn,
gevrijwaard van overheidsbemoeienis en machtige tussenpersonen. Dit wenkende
perspectief, techno-optimisme of zelfs techno-utopisme, is al sinds de jaren 90
van de vorige eeuw het blinkende goud, het heilige geloof van Silicon Valley.
Iedere ondernemer, startup en tech[1]gigant zou ‘de wereld
veranderen’ met disruptieve technologieĂ«n. Waarbij men maar moest aannemen dat
ze de wereld ten goede zouden veranderen; dat nieuw en modern in de praktijk
ook echt beter zou zijn. De woorden van Mark Zuckerberg, CEO van Facebook, toen
zijn bedrijf naar de beurs ging spraken boekdelen: “Facebook was not originally
created to be a company. It was built to accomplish a social mission — to make
the world more open and connected.”1 De datamacht van techreuzen en overheden
Als we die utopische bril afzetten en kritisch kijken naar de gevolgen van
digitalisering is er veel meer aan de hand dan de zichtbare kant van blinkende
gadgets, fraaie platforms en handige apps. Het verborgen karakter van het
internet, de ongrijpbaarheid van veel technologieën en de sluipende gestalte
van digitalisering2 verhullen dat (private) verdienmodellen en (publieke)
controlesystemen de oorspronkelijke belofte van vrijheid hebben doorkruist. De
digitale droom is niet uitgekomen. Sterker nog, de digitale droom verandert
langzaam in een nachtmerrie in de vorm van een machtsverschuiving. Door de
groeiende macht van techreuzen en overheden maakt het internet ons juist minder
vrij. De technologie die ons dichter bij elkaar moest brengen, duwt ons verder
uit elkaar. De technologie die informatie vrijuit moest verspreiden is een
motor van machtsconcentratie en desinformatie geworden. 2 Deze maatschappelijke
verandering is fundamenteel maar ook grotendeels onzichtbaar. Daarbij
realiseren we ons onvoldoende hoeveel van ons leven is gedigitaliseerd. Onze
dagelijkse routine wordt bepaald en in data gevat door digitale technologie.
Het moment dat we wakker worden gemaakt door onze smartphone, het water dat uit
de douche komt, de auto of trein die ons naar het werk brengt, het contact met
vrienden en familie, het betalen van de boodschappen en de verwarming thuis;
alles is verbonden via de digitale snelweg. Al deze aspecten van ons dagelijks
leven worden vastgelegd en opgeslagen. Een permanent dossier waarin staat welke
informatie we opzoeken, met wie we contact hebben, onze geaardheid, onze
politieke voorkeur, onze GPS-bepaalde locatie. Alles -van onze favoriete
kattenfilmpjes tot en met de meest intieme details van ons leven- is
gedigitaliseerd en opgeslagen door bedrijven en overheden. De verzameling van
al die persoonlijke data heeft geleid tot een geleidelijke, maar grote
verschuiving van macht. Met mensen als verliezers en grote bedrijven en
overheden als winnaars. Amerikaanse techreuzen als Facebook, Amazon, Apple,
Google en hun Chinese evenknieën Tencent, Alibaba, Huawei en Baidu3 hebben een
megamacht in onze samenleving. Ze weten alles over ons (datamacht); ze bepalen
wat we zien (mediamacht) en ze domineren de markt (marktmacht). Dit vormt een
maatschappelijke machtspositie die niet zelden misbruikt wordt om mensen te
beĂŻnvloeden, informatie te filteren, kleine makers te onderdrukken, personeel
te verwaarlozen, concurrenten te weren en belasting te ontlopen. Bovendien
worden de platforms van deze bedrijven misbruikt door derden om verkiezingen te
manipuleren of om angst en twijfel te zaaien over vaccinaties of klimaatverandering.
Zo is dus een macht ontstaan die gebruikt wordt tegen mens en maatschappij.
Intussen zien ook overheden de wereld door de bril van techno-utopisme.
Overheden verzamelen, koppelen en analyseren steeds vaker en steeds meer data.
Allerlei overheidsdatabases met daarin ID[1]gegevens,
woongegevens en belastinggegevens worden gedigitaliseerd, gekoppeld en
geanalyseerd op fraude of criminele activiteiten. Dat klinkt misschien mooi en
efficiënt, maar heeft een groot effect op onze samenleving.4 Een van onze
grondrechten is dat de overheid niets te zoeken heeft in ons privéleven, tenzij
we ergens van verdacht worden. Dit grondrecht wordt met al deze data-analyses
omgedraaid: we zijn bij voorbaat verdacht, tenzij de computer ons vrijspreekt.
We lijken te vergeten dat dit grondrecht essentieel is voor onze vrije,
democratische rechtstaat en dat het ons beschermt tegen willekeur,
discriminatie en onderdrukking. De politieke noodzaak om in te grijpen
Aanvankelijk was het idee dat de charme van het internet ook was dat de
overheid er weinig over te zeggen had. Bovendien was de leidende gedachte, bij
monde van Bill Clinton en Al Gore aan het begin van dit millennium, dat het
reguleren van het internet ongeveer hetzelfde was als een pudding aan de muur
spijkeren. Als je het al zou willen, dan zou het je niet lukken.5 Dat dit niet
juist is, is bewezen door landen als Rusland, Turkije en China die het
internetgebruik vergaand reguleren en controleren. Later mengde de politiek,
ook in liberale democratieën, zich wel in het internetdebat, al verliep dat
stroef. Een gebrek aan prioriteit, een digitale kennisachterstand, een beperkte
zeggenschap over de vaak private infrastructuur van kabels, servers en routers
en versnippering over verschillende ministeries en bestuurslagen, vormden vaak
belemmeringen voor een actieve rol van politici. 3 Anders dan tien jaar geleden
staan tegenwoordig tal van digitale issues op de politieke agenda. De
digitalisering van de overheid roept vragen op over de toegankelijkheid van de
dienstverlening en de kosten van ICT-projecten. De aanleg van de vijfde
generatie nieuw internet (5G), de snelle groei van apparaten met een
internetaansluiting (IoT) en het hacken door de overheid via onbekende
softwarekwetsbaarheden (0days) hebben gevolgen voor de veiligheid van onze
vitale infrastructuur en dus de stabiliteit van onze samenleving. Opkomende
technologieën bieden grote kansen voor het verbeteren van de zorg, het
onderwijs, de industrie en de landbouw. Toch zorgt de achterblijvende
innovatiekracht van Nederland en de Europese Unie voor een groot risico in onze
economische en geopolitieke positie ten opzichte van China en de Verenigde
Staten. Stuk voor stuk belangrijke thema’s die mens en maatschappij raken. Maar
het hoofdthema van nu, de groeiende macht van techreuzen en overheden ten
opzichte van mensen, is te lang onderbelicht gebleven. De afgelopen jaren ging
het politieke debat vooral over het achterhaalde auteursrecht, uit de hand
lopende IT-projecten, privacy-schendingen, datalekken, veiligheidsrisico’s,
online fraude en de druk op onze mondiale concurrentiepositie. Maar het moet
ook gaan over het bewaken van onze vrijheid, onze democratie en onze rechtstaat
in het digitale tijdperk, het beschermen van menselijke waarden tegen de macht
van techreuzen en controlestaten. Technologie wordt vaak beschreven als
machtsfactor in geopolitieke termen van veranderende machtsverhoudingen tussen
China, de VS en Europa. Dat is terecht maar we zien data en digitale
technologie onvoldoende in politieke termen van veranderende machtsverhoudingen
in onze samenleving; tussen mensen, overheden en bedrijven. Dat moet
veranderen. Voordat het te laat is. Het is nu of nooit Wie terugblikt op de
afgelopen tien jaar ziet de immense veranderingen die in minder dan een decennium
hebben plaatsgevonden. In 2011 was Hyves nog groter dan Facebook.
Veiligheidsdiensten werden bekritiseerd over te veel telefoontaps. En de Tweede
Kamer debatteerde over een downloadverbod. We staan nu aan de vooravond van een
nieuwe technologische revolutie. Systemen worden steeds slimmer, technologieën
vormen steeds meer een samenhangend geheel en de samenleving wordt steeds
verder gedataficeerd.6 Er is vergaande vooruitgang op het gebied van
quantumcomputing, nanotechnologie, robotica en sensortechnologie. Maar vooral
kunstmatige intelligentie (machine learning, deep learning) zal een enorme
vlucht nemen. Waar de toepassingen nu nog relatief smal (specifiek) zijn,
zullen ze snel meer omvattend (generiek) worden en is de stap naar algemene
kunstmatige intelligentie (bovenmenselijk) op de langere termijn niet uit te
sluiten. Vandaag de dag zorgt het samenspel van het exponentieel groeiende
internet der dingen (wareables, health-apps) en enorme opslagcapaciteit
(cloudtechnologie) voor big data die met enorme computerkracht en zelflerende
machines bewerkt worden. Dit klinkt technisch en abstract maar het is in feite
heel simpel en concreet. In de toekomst wordt het nog makkelijker om nog meer
data te verzamelen, te koppelen en te analyseren. Bijvoorbeeld door het
toepassen van gezichtsherkenning op camerabeelden. Er zullen steeds meer
verdergaande toepassingen zijn, zoals deepfake7 technologie waardoor feit en
fictie minder goed van elkaar te onderscheiden zijn. Techreuzen en overheden
zullen steeds dieper in onze levens kunnen treden. Als we niet oppassen,
gebeurt dat zonder dat we daar grip op hebben. 4 Zonder dat we een vrije keuze
of inspraak hebben. Zonder dat we ons recht kunnen halen. Daarom moeten we nu
ingrijpen; we kunnen niet wachten. Dit pamflet is geschreven om de sluier van
techno-utopisme af te trekken. De digitale sluipmoordenaar moet ontmaskerd
worden; om mensen te waarschuwen voor de geleidelijke en haast onzichtbare,
maar fundamentele verandering van onze samenleving als gevolg van digitalisering.
De invloed van digitalisering op onze samenleving is vooralsnog positief onder
de streep. Maar als we haar niet voldoende afremmen, bijsturen en begrenzen
slaat die balans de verkeerde kant op. Niets minder dan onze vrije,
democratische rechtstaat staat op het spel. Het is tijd voor een digitale
revolutie. We moeten voorkomen dat tijden van wonderen en verbazing omslaan in
tijden van catastrofes en vervreemding. 5 Hoe onbegrensde mogelijkheden het
internet tot grote belofte maakten Techno-utopisme In 1993 maakte de wereld
kennis met de eerste webbrowser, Mosaic. Het portaal naar het internet. Een
nieuwe virtuele wereld ging open: de online wereld. Het stelde mensen in staat
om via de computer contact te maken met mensen over de hele wereld. Hiervoor werd
die grote kast in de hoek van de kamer vooral gebruikt voor het typen van
teksten, het vullen van spreadsheets of het spelen van spelletjes. Ondernemers,
bedrijven en investeerders sprongen erop. Google, MSN, EBay en Yahoo stammen
allemaal uit die tijd. Een ongekend hoogtepunt dat eindigde in de
‘dotcomcrisis’ van 2000, maar die de vooruitgang in digitale technologieĂ«n en
het internet niet stopte, hooguit onderbrak en even afremde. Digitalisering
heeft ons immers veel vooruitgang gebracht. Het gemak waarmee we contact hebben
met vrienden en familie over de hele wereld. De toegang tot ongekende
hoeveelheden informatie via Google, muziek op Spotify en films en series op
Netflix. Niet meer eindeloos lang in de rij hoeven te staan bij de bank en
veiliger geldtransport dankzij internetbankieren. De zelfrijdende auto’s,
drones en satellieten. GPS, of het Europese Galileo, dat we dagelijks gebruiken
om van A naar B te komen. Digitalisering is compleet verweven met ons dagelijks
leven. Van een scheiding tussen cyberspace en onze fysieke leefwereld, die
sommigen suggereren, is dan ook geen sprake. Digitalisering heeft ook veel
betekend voor wetenschappelijk onderzoek. Ongekende hoeveelheden data kunnen
worden geanalyseerd door supercomputers om antwoorden te vinden op vragen over
het ontstaan van ons universum of om geneesmiddelen voor kanker te ontdekken.
Om nog maar te zwijgen over de enorme economische kansen voor Nederland; het
digitale knooppunt AMS-IX, automatisering in de haven van Rotterdam, het succes
van ASML, jonge bedrijven als Adyen, Elastic, Hackerone, The Next Web en
Booking.com. These are the days of miracle and wonder, This is the long
distance call. Boy in the bubble - Paul Simon 6 Maar het optimisme in de
begintijd van het internet was niet alleen gericht op het verdienen van geld of
het verbeteren van ons fysieke welzijn. ‘Don’t be evil’ was lang het motto van
Google. Internetondernemers geloofden heilig in de waarde van het verbinden van
de wereld. Het internet als vrijplaats voor ideeën, los van overheidsbemoeienis
of controle. De gedachte is misschien nog het beste omschreven door Mark
Zuckerberg toen Facebook naar de beurs ging: “Facebook was not originally
created to be a company. It
was built to accomplish a social mission — to make the world more open and
connected. At Facebook […] we often talk about inventions like the printing
press and the television — by simply making communication more efficient, they
led to a complete transformation of many important parts of society. They gave
more people a voice. They encouraged progress. They changed the way society was
organized. They brought us closer together.”8 Simpelweg het verbinden
van mensen zou genoeg moeten zijn om vooruitgang te stimuleren; om
samenlevingen te transformeren. Het zou mensen een stem geven, een manier om
buiten de ‘gatekeepers’ van informatie hun mening te uiten. Zo zouden deze
techno-utopisten de wereld verbeteren door mensen dichter bij elkaar te
brengen. De wereld zou verbonden en gelijk zijn. De economie zou eeuwig groeien.
De hemel zou op aarde zijn. 7 Hoe de keerzijde van de digitale medaille
langzaam zichtbaar werd Privacyproblemen, economische dilemma’s en
veiligheidsrisico’s Zoals altijd bracht het heilige geloof niet de voorspelde
verlichting. Zoals zo vaak met grote beloftes liep het in werkelijkheid anders.
Het gedroomde scenario van vrijheid en verbinding bleek een weerbarstige
praktijk te kennen. Langzaam maar zeker ontstonden er scheurtjes in het
gepolijste imago van het internet. Silicon Valley bleek vooral oplossingen te
bieden voor niet-bestaande problemen om hier zelf het meest van te profiteren.
Een jaar na de introductie van de eerste webbrowser werd de cookie uitgevonden
en - onzichtbaar voor het grote publiek - geĂŻntroduceerd via de Netscape (1994)
en Internet Explorer (1995) browsers. In eerste instantie was dit vooral een
oplossing om het makkelijker te maken om online te winkelen; producten stonden
ook de volgende dag nog in je online winkelmandje. Maar het was vooral de
eerste stap naar het volgen van internetgedrag van mensen, het huidige
verdienmodel van Google en Facebook. Pas twee jaar na de introductie van de
cookie werd het gebruik ervan bekend, wat leidde tot veel ophef over de
gevolgen op de privacy van mensen. De uitvinding van de cookie markeert ook het
begin van een tijdperk vol grote privacy-schandalen. Van het Financial
Times-artikel uit 1996 dat het bestaan van cookie bekend maakte bij het grote
publiek tot de vele Facebook-schandalen van de afgelopen jaren (met als
hoogtepunt de manipulatie van gegevens van honderdduizenden Facebook-gebruikers
door het Brits-Amerikaanse bedrijf Cambridge Analytica) en van de Snowden
onthullingen tot het Yahoo-datalek van 3 miljard accounts.9 Met de opkomst van
het internet kwamen ook economische dilemma’s naar boven. In 1999 zag het
beroemde Napster het licht. Hiermee konden mensen onderling bestanden
uitwisselen, zoals muziek en films. Dit was het begin van jarenlange discussies
over illegaal downloaden en piraterij, DNS-blokkades van Pirate Bay, de opkomst
van Digital Rights Management en Bittorrent. Zo zijn er de afgelopen jaren nog
tal van debatten geweest over de economische gevolgen van digitalisering. Het
debat over netneutraliteit spitste zich toe op de gevolgen van gratis
chatverkeer voor de Telecombedrijven die hun geld verdienden met sms’jes. Ook
de ruimtelijke en sociale gevolgen van de digitale economie vroegen om
aandacht. The way we look to a
distant constellation That’s dying in a corner of the sky. Boy in the
bubble - Paul Simon 8 Leegstand als gevolg van online shoppen en thuiswerken.
Maar ook veranderende werkgelegenheid doordat briefpost en fototoestellen
werden vervangen door e-mail en smartphones. Naast privacyproblemen en
economische dilemma’s zien we de laatste jaren ook de keerzijde van digitalisering
op het vlak van veiligheid. Op 10 oktober 2012 maakte de Canadese tiener Amanda
Todd een einde aan haar leven. Ze werd digitaal gechanteerd met naaktfoto’s die
door de Nederlandse Aydin C waren buitgemaakt door zich voor te doen als
tiener.10 In 2008 werd een 22-jarige man uit Culemborg veroordeeld omdat hij
jarenlang webcams van jonge meisjes had gehackt en ze met de naaktbeelden had
gechanteerd11. Dit zijn zeer pijnlijke voorbeelden van de keerzijdes van alom
aanwezige digitale apparaten als webcams en de inherente onveiligheid daarvan.
In juni 2016 stonden ineens de kranen van APM Terminals in de Rotterdamse haven
stil. Een ransomware aanval genaamd Notpetya had de digitale systemen van het
bedrijf platgelegd waardoor vrachtwagens en schepen dagenlang hun lading niet
kwijt konden met miljoenen euro’s aan schade tot gevolg. In totaal kost
cybercriminaliteit Nederland ongeveer 10 miljard per jaar.12 Maar volgens
onderzoeken van de Rekenkamer, instituten als de Wetenschappelijke Raad voor
het Regeringsbeleid (WRR) en het Rathenau Instituut, het Cybersecuritybeeld en
de jaarverslagen van inlichtingendienst AIVD kan de gebrekkige digitale
veiligheid van Nederland leiden tot maatschappelijke ontwrichting. Een
machtsverschuiving weg van mensen Geen van de internet-ondernemers uit Sillicon
Valley had een idee van de enorme invloed en negatieve gevolgen van hun
uitvindingen op onze samenleving. De effecten op het gebied van privacy,
economie en veiligheid werden niet gezien, ondanks vergelijkbare industriële
revoluties en technologische ontwikkelingen (stoommachines, elektriciteit) die
leidden tot grote maatschappelijke vraagstukken. De decentrale opzet, de
relatieve onzichtbaarheid en de complexe structuur van het internet speelden
hierin een belangrijke rol. Jazeker, het is het internet inderdaad gelukt om
mensen toegang te geven tot vrijwel alle kennis die ooit door de mensheid is
vergaard. En dat is een gigantische prestatie. Tegelijkertijd is de belofte van
het vergroten van vrijheid gebroken door een parallelle ontwikkeling die over
het hoofd werd gezien en die niet te voorspellen was. Namelijk de geleidelijke
verschuiving van macht als gevolg van data en technologieën die steeds
indringender, intiemer en intimiderend worden; een machtsverschuiving weg van
mensen, naar overheden en bedrijven. Met gevolgen voor onze vrijheid, onze
democratie en onze rechtstaat. Ofwel: de fundamenten van onze maatschappij. De
genoemde schaduwkanten van digitalisering op het gebied van privacy, economie
en veiligheid zijn ernstig genoeg en alle reden voor politiek debat. Maar het
gaat hier om de fundamentele keerzijde van digitalisering. Een ontwikkeling die
raakt aan politieke kernzaken als machtsbalans, vrijheid, democratie en
rechtvaardigheid. Om die ontwikkeling goed te kunnen bevatten is het essentieel
om eerst terug te gaan naar de basale principes die aan de basis van onze
maatschappij staan. 9 Waarom digitalisering een prangend politiek thema is
Macht, tegenmacht en de scheiding der machten De scheiding der machten, ofwel
de trias politica, is een van de basisprincipes van onze rechtstaat. De Franse
filosoof Charles baron de Montesquieu zag dat personen of organisaties met veel
macht vaak misbruik maken van die macht en de vrijheid van anderen schenden. Montesquieu zei hierover: “If the
legislative and executive authorities are one institution, there will be no
freedom. There won’t be freedom anyway if the judiciary body is not separated
from the legislative and executive authorities.” Zonder scheiding der
machten, geen vrijheid. Zonder controle op macht geen vrijheid. Zonder
tegenmacht geen vrijheid. Door de jaren heen zijn er meer machten toegevoegd
aan de drie machten (wetgevende, uitvoerende en rechterlijke) van Montesquieu.
Deze additionele machten worden ook wel aangeduid met de term ‘vierde macht’.
Beroemd politiek theoreticus Max Weber heeft uitgebreid geschreven over de
ambtenarij als bron van macht. Anderen hebben de macht van lobbyisten en
adviesbureaus aangedragen. Maar er wordt internationaal vooral veel geschreven
over de media als vierde macht. De
term is toegeschreven aan Edmund Burke die het gebruikte tijdens een
parlementair debat: “There were Three Estates in Parliament; but, in the
Reporters’ Gallery yonder, there sat a Fourth Estate more important far than
they all.” Media geven immers voor een belangrijk deel de communicatie
tussen politiek en mensen vorm. De traditionele drie machten hebben directe
macht. In het geval van media gaat het vooral om indirecte macht en de invloed
op de overtuigingen van mensen. Voorheen waren het de grote mediabedrijven die
deze rol innamen. Tegenwoordig spelen technologische bedrijven als Google,
Twitter en Facebook (met hun nieuwsplatforms, zoekmachines en chatdiensten) een
soortgelijke rol in de verspreiding van informatie. Zij hebben de mediamacht steeds verder
overgenomen. It’s a turn-around jump shot It’s everybody jump start It’s every
generation throws a hero up the pop charts. Boy in the bubble - Paul
Simon 10 De macht verschuift geleidelijk en onzichtbaar Macht is een thema dat
cruciaal is voor vrijheid, democratie en recht. Verschuivende mediamacht en
marktmacht en dus veranderende maatschappelijke macht als gevolg van
digitalisering vormt daarom een veel serieuzer risico dan de incidenten die we
tot nu toe hebben gezien op het gebied van economie, privacy en veiligheid.
Verschuiving van macht kan een fundamentele bedreiging betekenen voor onze
vrijheid, onze rechtstaat en onze democratie. Maar wat is macht? Wat maakt een
persoon of entiteit machtig? Hoe wordt macht uitgeoefend? En welke rol spelen
digitale technologieĂ«n daarin? In zijn doorwrochte boek ‘Future Politics’
(2018) gaat Jamie Susskind in op de relatie tussen technologie en macht.
Kortweg beschrijft hij hoe digitale technologie ingrijpt op informatie en
communicatie en daarmee op systemen van samenwerking, coördinatie en controle.
Dit heeft gevolgen voor het kunnen uitoefenen van macht door zowel
techbedrijven als overheden. Want data, software en algoritmes maken het
mogelijk om mensen te dwingen, te onderzoeken en te sturen. Deze machtsverschuiving maakt dat technologie
dus de vrijheid, democratie en sociale rechtvaardigheid in onze samenleving
raakt en daarmee een belangrijk politiek thema is.13 Susskind hanteert de
volgende definitie van macht: “A person or entity is powerful to the extent
that it has a stable and wide-ranging capacity to get others to do things of
significance that they would not otherwise do, or not to do things they might
otherwise have done.” Macht is dus het vermogen hebben om anderen dingen
te laten doen die ze anders niet zouden doen, of om anderen dingen niet te
laten doen die ze anders misschien wel hadden gedaan. Maar hoe dan? “Kennis is
macht.” - Francis Bacon Al honderden jaren wordt geschreven over de relatie
tussen kennis en macht; van Francis Bacon tot Michel Foucault. Foucault
concludeerde dat macht gebaseerd is op kennis en gebruikmaakt van kennis. Maar
ook dat macht kennis kan vormgeven. In de digitale wereld is data macht. Die
data is veelal kennis over mensen: wie we zijn, wat we doen en waar we zijn.
Data is een vorm van macht die gebruikt wordt om kennis van mensen te
beĂŻnvloeden. Denk aan de algoritmes van Google die bepalen wat voor informatie
we zien. De belofte van digitale technologie was dat het de vrijheid van mensen
zou vergroten door de toegang tot informatie makkelijker te maken voor
iedereen. Dat het de kennis van mensen en daarmee hun macht zou vergroten. Maar
wat digitalisering vooral heeft bereikt is het vergroten van de kennis van
bedrijven en overheden over mensen. Kortom, macht is een belangrijk onderwerp
in een samenleving. Zeker in een vrije, democratische rechtstaat die
afhankelijk is van de scheiding der machten, van machtsbalans en van
tegenmacht. Ongecontroleerde macht leidt immers tot onvrijheid en
onrechtvaardigheid. Daarnaast is het belangrijk om te kijken naar bronnen van
macht. In het digitale domein geldt misschien wel meer dan ooit dat kennis
macht is en dat die kennis is gevat in data. Hoe vergroten bedrijven en
overheden hun kennis over mensen? Hoe vergroot dit hun macht en hoe gebruiken
ze die macht? 11 Hoe techbedrijven met hun commerciële belangen steeds
machtiger worden Datamacht De hoeveelheid data die bedrijven als Facebook,
Amazon en Google14 over mensen hebben is ongekend. Nog nooit zijn zoveel
aspecten van de levens van zoveel mensen vastgelegd als nu. Via zoekopdrachten
op Google, likes op Facebook en tweets op Twitter. Maar ook via de koppeling
van allerlei databestanden verzamelen bedrijven een ware schat aan kennis. Over
wat we denken en leuk vinden, over angsten en wensen. Met wie we contact
hebben. Geaardheid, politieke voorkeuren en afkomst. Huisadres, naam en
woonplaats. Onze hartslag, locatie en medische gegevens. We geven het allemaal
weg aan bedrijven. En we geven ze zo kennis over de meest intieme onderdelen
van onze levens. Al die gegevens creëren een zeer gedetailleerd beeld van ons.
Hierdoor kennen deze bedrijven ons feitelijk beter dan onze vrienden en
familie. Volgens onderzoek van Cambridge en Stanford kent Facebook ons na 10
likes al beter dan collega’s, na 70 likes beter dan onze vrienden en na 150
likes beter dan onze familie. Alleen al het hebben en verzamelen van deze data
zelf is een vorm van macht (we noemen het hier datamacht15) die mensen minder
vrij maakt. Michel Foucault schreef veel over de relatie tussen kennis en macht
en vooral over ‘disciplinaire macht’16, die niet wordt uitgeoefend door dwang
of dreiging, maar door middel van disciplinaire ‘apparaten’. Hij concludeerde het volgende over dit type
macht: “[it] reaches into the very grain of individuals, touches their bodies
and inserts itself into their actions and attitudes, their discourses, learning
processes and everyday lives”. Waar Foucault het in deze context vooral
had over scholen, gevangenissen en klinieken, zou je kunnen zeggen dat
techreuzen ook een dergelijke rol hebben. Staccato signals of constant
information A loose affiliation of millionaires And billionaires and baby Boy
in the bubble - Paul Simon 12 Het feit dat we weten dat we ‘gevolgd’ worden, of
dat anderen veel over ons weten, maakt dat we ons anders gedragen. Het zorgt
ervoor dat we minder snel dingen doen die door de maatschappij worden gezien
als ‘slecht’ of schandelijk. Zo zorgt dit soort datamacht ervoor dat mensen
zichzelf censureren en daarmee minder vrij zijn om zichzelf te zijn. Kun je je
nog vrij ontwikkelen als een -overigens zelf onzichtbare- macht continu over je
schouder meekijkt? Waarom verzamelen bedrijven eigenlijk zoveel informatie over
ons? Het verdienmodel van deze bedrijven is de grootste boosdoener (maar niet
de enige factor). Google verdient 85% van zijn omzet uit advertenties, Facebook
zelfs 99%. Dat werkt als volgt: data helpt om meer clicks op advertenties te
krijgen. Want naarmate je meer over iemand weet, groeit de kans dat de gekozen
advertentie aansluit op zijn of haar interesses en daarmee de kans dat iemand
op deze advertentie klikt17. En meer data helpt om ervoor te zorgen dat mensen
zoveel mogelijk tijd doorbrengen op je website of app. Mensen zien namelijk
content die ze willen zien. Berichten die het verleidelijk maken om meer tijd
door te brengen op de website of app. Want hoe langer mensen op Facebook
zitten, hoe meer advertenties getoond kunnen worden en hoe meer geld Zuckerberg
kan verdienen. Het terugpakken van de macht en dus de vrijheid van het individu
zal sterk afhangen van de aanpak van dit verdienmodel. De publiek-private
verhoudingen in de Verenigde Staten, China en de Europese Unie Naast de bewuste
commerciële belangen van de techbedrijven spelen er nog twee andere mechanismen
waar Amy Webb in haar boek “The Big Nine” indringend op wijst. Allereerst is
dat het gegeven dat techbedrijven in de Verenigde Staten vaak kleine, homogene
groepen mensen (‘tribes’) zijn die ontstaan in universiteitsgebouwen en op
bedrijfscampussen. Dit zijn vaak weinig diverse groepen engineers met een hoog
gehalte aan zogenaamde hardskills (informatica, programmeren). Zij geven met
hun software en technische vondsten richting aan de toekomst, vaak met goede
intenties maar grotendeels geĂŻsoleerd en ongecontroleerd en op grote afstand
van gewone mensen18. Vanwege hun eensoortigheid zijn ze gevoelig voor
vooringenomenheid, eenkennigheid en geslotenheid. Zo krijgt het ontstaan van
biases, bubbles en black boxes dus ruim baan met nadelige gevolgen voor
iedereen. Ten tweede bevindt Sillicon Valley zich in een spagaatpositie tussen
Wall Street en Capitol Hill, oftewel de aandelenbeurs en de Amerikaanse
politiek. Dit leidt tot grote druk op snelle en tastbare resultaten met als
gevolg grove inschattingsfouten en schandalen zoals Microsofts mislukte chatbot
Tay op Twitter19 of het Maven-project waarbij Google nauw samenwerkt met het
Pentagon tegen de zin van veel medewerkers20. De druk om politici en
aandeelhouders tevreden te stellen versterkt de toch al aanwezige tech-cultuur
van “Built first, apologize later” met fouten en schade als resultaat. Webb
benadrukt daarom dat het internet en kunstmatige intelligentie veel meer als
een publiek goed behandeld zouden moeten worden. In China is dat wel het geval
maar zeker niet met gunstigere gevolgen voor de vrijheid van mensen. Daar zit
de Chinese Volkspartij onder leiding van president van de Volksrepubliek Xi
Jinping namelijk bovenop techbedrijven als Baidu, Alibaba en Tencent. Deze vormen
een integraal onderdeel van de Chinese lange termijnstrategie om via
technologie wereldmacht nummer 1 te worden21. De vergaande controle 13 en
surveillance waarmee dit gepaard gaat, zoals het sociaal kredietsysteem22,
onderdrukt miljoenen Chinezen. Maar als de voorziene technologische dominantie
van China werkelijkheid wordt zal dit ook de westerse wereld steeds meer gaan
raken. Terwijl de overheid in de VS techbedrijven veel ruimte geeft en de
Chinese overheid juist een stevige vinger in de pap heeft, is de Europese Unie
meer gericht op de burger, hetgeen je terugziet in regelgeving zoals de
Europese privacywet AVG. Deels is dit historisch en cultureel bepaald, deels is
dit pragmatisme omdat Europa geen techreuzen kent en slechts enkele relevante
platforms (Booking.com, Spotify, Zalando) binnen haar grenzen heeft23. Er zijn
mensen die stellen dat Europa leidend kan zijn in het bewaken van waarden en
het stellen van regels. Maar onze marginale rol in de platformeconomie en onze
achterstand in de technologie-wedloop staat dit in de weg. Daarom is het nodig
dat Europa de komende jaren investeert in de ontwikkeling van een Europese
techindustrie.24 Mediamacht Niet alleen het bezit van al die kennis over mensen
is een vorm van macht, ook de manier waarop het wordt gebruikt is een vorm van
macht. De persoonlijke data van mensen die deze bedrijven bezitten wordt
namelijk gebruikt om te bepalen wat voor content zij zien. Slimme algoritmes
analyseren de data om te bepalen wat voor informatie of nieuws iemand op welk
moment zou willen zien. Hoewel ‘willen’ hier niet helemaal het goede woord is.
Bedrijven weten zoveel over mensen, dat ze weten voor welke soort informatie
mensen het meest gevoelig zijn.25 Controle over wat mensen zien, wat voor
informatie ze voorgeschoteld krijgen en wat voor nieuws ze lezen is een enorme
bron van macht. Het stuurt namelijk de kennis en het beeld dat mensen van de
wereld krijgen. En het beperkt mensen in hun handelen omdat ze niet weten wat
ze niet weten. Tegelijkertijd proberen grote techreuzen deze macht te
ontkennen. Hand in hand met het techno[1]utopisme dat we in
hoofdstuk 1 bespraken ging een bedrieglijk soort neutraliteitsdenken. Bedrijven
als Facebook of Google, maar ook minder bekende platforms als Reddit, 4chan en
8chan, zouden slechts mensen de mogelijkheden geven zich te uiten. Ze zouden
zich niet bemoeien met de inhoud. Deze bedrijven zijn slechts een neutraal
platform waarop mensen zich kunnen uiten zonder verantwoordelijkheid voor de
gevolgen.26 “People having the power to express themselves at scale is a new
kind of force in the world — a Fifth Estate alongside the other power
structures of society. People
no longer have to rely on traditional gatekeepers in politics or media to make
their voices heard, and that has important consequences.” Sociale media
zijn een ‘vijfde macht’ volgens Facebook CEO Mark Zuckerberg. Daarmee refereert
hij aan een term uit de jaren 60 waarmee alternatieve media bedoeld worden en
waarmee Facebook elke vorm van verantwoordelijkheid probeert te ontlopen.27
Ondanks het feit dat techreuzen hun macht ontkennen en zich wentelen in een
mantel van neutraliteit en ontkenning van verantwoordelijkheid, oefenen deze
bedrijven wel degelijk macht uit. Facebook’s algoritmes die bepalen wat mensen
zien, zitten vol met bewuste en onbewuste keuzes van bedrijven die van grote
invloed zijn op onze maatschappij. Het is een keuze van Google om te bepalen
welke filmpjes mensen aangeraden krijgen over het ontkennen van
klimaatverandering. Het is een keuze van Facebook 14 om politici nepnieuws te
laten verspreiden via advertenties en om grote hoeveelheden nepnieuws over
vaccinaties te laten circuleren. Het is een keuze van 8chan om ruimte te bieden
aan rechtsextremistische geweldsverheerlijking. Natuurlijk zijn dit moeilijke
en complexe keuzes die raken aan de vrijheid van meningsuiting. Maar het zijn
geen nieuwe vragen. De uitvinders van de drukpers hadden soortgelijke
denkbeelden over hun rol in de samenleving. Ook zij zagen zichzelf als een
neutraal platform dat niet verantwoordelijk was voor wat schrijvers opschreven.
Ook al hadden ze hun bedenkingen bij sommige teksten in de boeken die ze
drukten. Zonder de drukpers had Maarten Luther nooit zoveel mensen kunnen
bereiken en een revolutie kunnen ontketenen. Maar diezelfde drukpers stelde
diezelfde Luther in staat om boeken te verspreiden met titels als ‘Over de
Joden en hun leugens’ en ‘een waarschuwing tegen de joden’. Door de jaren heen
is de rol van uitgeverijen, kranten en radio en televisiemedia in de
samenleving veranderd en wordt die sector ook gedefinieerd door wat het niet en
wel wil uitgeven. Onafhankelijke redacties en statuten zorgen voor
transparantie en verantwoordelijkheid. Deze verantwoordelijkheid en
transparantie ontbreken nu bij grote spelers in de digitale wereld. Met als
gevolg dat de Wereldgezondheidsorganisatie waarschuwt dat vaccinatiegraden in
Europa achteruit gaan en ernstige kinderziekten als de mazelen weer terug zijn,
dat buitenlandse actoren met nepnieuws en trollen democratische processen beĂŻnvloeden.
We leven nu in een “post truth” wereld waarin leugens niet meer te
onderscheiden zijn van de waarheid en waarin de journalistiek moet vechten om
te overleven. Journalistiek is onmisbaar in een democratie. Vrijheid kan niet
zonder vrije pers. Toch wordt de vrije pers steeds verder aangetast door
teruglopende inkomsten. Dat komt deels door de veranderende manier waarop
mensen nieuws tot zich nemen, maar ook door de keuzes die Facebook en Google
maken in hun algoritmes. Een kleine aanpassing in het algoritme van Facebook
leidde tot het ontslag van 1000 journalisten bij Buzzfeed en HuffPost. Dit
betekent ook dat 1000x minder menselijke afwegingen worden meegewogen. Facebook
ontloopt verantwoordelijkheid voor al het misbruik door zich uit te roepen tot vijfde
macht en sloopt vervolgens de vierde macht (media) die juist essentieel is om
weerstand te bieden tegen desinformatie en manipulatie. Maar dit is niet de
enige manier waarop de macht van techreuzen in de democratie voelbaar is. In
2013 publiceerden twee onderzoekers van de Universiteit van Cambridge een
studie waarin ze zeiden dat ze de persoonlijkheden van mensen konden
voorspellen op basis van likes op Facebook. De gevolgen waren groot. Aleksander
Kogan bouwde een app waarmee hij, zonder toestemming, persoonlijke gegevens van
miljoenen Amerikanen verzamelde. Diezelfde data werd later door Cambridge
Analytica gebruikt om stemmers tijdens de presidentsverkiezingen van 2016 met
gepersonaliseerde advertenties te overtuigen op Donald Trump te stemmen en om
andere stemmers – vaak minderheden- te overtuigen niet te gaan stemmen. Een
‘psychological warfare tool’ noemde klokkenluider Christopher Wylie het. 15 De
enorme hoeveelheden data die Facebook over ons bezit werden misbruikt om mensen
op oneigenlijke manier te beĂŻnvloeden op een politiek kandidaat te stemmen. Een
grotere invloed op de democratie en een duidelijker voorbeeld van de enorme
maatschappelijke macht van techreuzen is bijna niet denkbaar. Marktmacht Maar
focussen we niet teveel op een paar bedrijven? Er is toch concurrentie? Voor
Facebook was er Myspace en straks komt er een opvolger van Facebook. De
concurrentie is groot, zeggen deze techreuzen en hun voorvechters, lobbyisten
en advocaten. Dit zou mooi zijn, want dat zou betekenen dat de verschuiving van
macht van mensen naar techbedrijven slechts een tijdelijke fase is. Helaas zien
we steeds duidelijker dat dit een nieuwe illusie is. Daarbij heeft het verleden
uitgewezen dat het doorbreken of gedeeltelijk afbreken van een industriële of
technologische macht (zoals Standard Oil en Microsoft) altijd
overheidsingrijpen vereist. Achterover leunen is dus geen optie. Elke macht
heeft tegenmacht nodig en elke markt heeft een strenge marktmeester nodig. Een
marktmeester die het economisch spel van de markt grondig begrijpt. Een
marktmeester die de spelregels handhaaft om te voorkomen dat het recht van de
sterkste domineert. Die marktmeester is er in de digitale economie nauwelijks.
Met als gevolg dat de grote techreuzen vrij spel hebben. De bedrijfsmodellen
waarmee grote techreuzen winst maken zijn fundamenteel anders dan voorheen. In
de analoge economie betalen bedrijven en consumenten met geld. Een koffietentje
koopt bonen in, neemt een barista aan en verkoopt je tegen een paar euro een
verse kop koffie. Om meer winst te maken moet de eigenaar de prijs van de
koffie verhogen of meer producten verkopen. Gratis koffie bestaat niet, tenzij
je er op een andere manier voor betaalt. In de digitale economie lijkt gratis
koffie te bestaan. Google vraagt geen geld voor het gebruik van de zoekmachine,
G-mail, Maps, Android, Chrome en Drive. Terwijl ze daar wel kosten voor maken.
Ze vragen je alleen om je data bij te mogen houden. Waarop je zoekt, op welk
moment van de dag je dat doet, vanaf welke locatie en meer. Ze gebruiken de
data om advertenties te tonen. De gratis koffie legt Google geen windeieren.
85% van alle inkomsten van het moederbedrijf van Google kwam uit advertenties:
95,4 miljard dollar. De digitale economie werkt op een aantal punten geheel
anders dan de traditionele economie. De datamacht van de techreuzen zet ze op
een gigantische voorsprong. Elke byte aan informatie maakt het algoritme steeds
slimmer. Daarom blijf je eindeloos rondhangen op Facebook en weten Spotify en
Netflix precies wat je wilt horen en zien. Uitdagers, startups en kleine
concurrenten die niet genoeg data hebben kunnen nooit zulke effectieve
algoritmes maken. Zo sluit datamacht tegenmacht door uitdagers uit. In 2011 was
Hyves nog populairder dan Facebook in Nederland. Enkele jaren later ging het
ten onder. Dat is een voorbeeld van een ander verschil: het netwerk-effect. 28
Hoe meer gebruikers er op een platform zijn, des te meer data er wordt
achtergelaten, des te waardevoller het platform is. Niemand zit nog te wachten
op een tweede Facebook, tweede Twitter of tweede LinkedIn app. Door het
netwerkeffect dat zorgt voor optimalisatie op basis van datamacht worden de
techreuzen niet meer uitgedaagd. 16 Het is eten of gegeten worden in de
digitale economie. Om de macht te behouden en te vergroten, strijden de
bedrijven niet alleen op markten maar ook om markten. Meer diensten aanbieden
betekent meer data en minder concurrentie. De economische spelregels, zoals het
kartelverbod of het verbod op misbruik van economisch dominante posities, horen
tegenwicht te bieden. De regelgeving is alleen nog niet up-to-date voor de
huidige digitale economie.29 Dat het recht van de sterkste techreuzen
zegeviert, komt in alle uitwassen duidelijk naar voren. Medewerkers en kleine
makers worden uitgebuit en belastingplicht wordt ontlopen. De gretigheid naar
advertentie-inkomsten is zo hoog, dat er liever aan desinformatie wordt
verdiend dan op fatsoenlijke bedrijfsvoering wordt toegezien. Zo zijn de
techreuzen Google, Amazon, Facebook en Apple door datamacht de grote
industrialisten van onze tijd geworden. En op afzonderlijke meer specifieke
deelmarkten kunnen specifieke platforms zoals Netflix, Spotify, Uber en Airbnb
zeer machtig zijn. Veel van deze bedrijven misbruiken hun marktmacht om hun
dominante positie te behouden. Innovatieve startups worden opgekocht en
onschadelijk gemaakt. Als er al een serieuze uitdager komt, dan wordt die vaak
overgenomen zoals Google het platform YouTube inlijfde en Facebook diensten
zoals WhatsApp en Instagram overnam. En als een uitdager de dans weet te
ontsnappen, dan wordt hij gekopieerd zoals Facebook/Instagram de app Snapchat
kopieerde. Op deze manier overleeft de monopolist. Dit is slecht voor
innovatie, slecht voor de concurrentie en dus slecht voor ons allemaal. De kern
van de verschuiving van macht van mensen naar bedrijven ligt bij data en de
steeds verdergaande verwerking ervan. Het verdienmodel van de techreuzen draait
om het verzamelen van zoveel mogelijk data. Meer data betekent meer
persoonlijke advertenties. Meer data betekent mensen langer kunnen vasthouden
op de website of app en dus meer advertenties. Meer advertenties en
persoonlijkere advertenties betekenen meer geld. Meer data betekent dus gratis
diensten voor gebruikers maar vooral meer geld voor de techreuzen. Het
veranderen van dat verdienmodel zal helpen maar is niet voldoende. De honger
naar data zit dieper dan dat. Een meer fundamentele aanpak is nodig. Een aanpak
die ook oog heeft voor de mediamacht en marktmacht van bedrijven. 17 Hoe
overheden met hun controlezucht steeds machtiger worden Een digitale dubbelrol:
controlestaat en marktcontroleur Als bedrijven te machtig zijn en de burger
daar nadeel van ondervindt, dan is de overheid de aangewezen partij om de
burger daartegen te beschermen. Dat is al niet gemakkelijk vanwege het grens
overstijgende en complexe karakter van digitale technologieën en datastromen
alsmede het private eigendom van de digitale infrastructuur. Maar afgezien
daarvan is er een fundamenteler probleem. Namelijk dat de overheid zelf uit
controle-overwegingen ook een grote datagebruiker is en daarbij zelfs gebruik
maakt van het bedrijfsleven. De overheid speelt dus een dubieuze dubbelrol als
controlestaat en marktcontroleur. De datazucht van de overheid De
digitalisering van ons dagelijks leven en de manier waarop steeds meer
onderdelen van ons dagelijks leven gevat worden in data heeft ook gevolgen voor
de machtsverhouding tussen overheden en mensen. Overheden verzamelen, koppelen
en analyseren steeds meer data. Bestaande databases van informatie over mensen
zijn de afgelopen decennia gedigitaliseerd. Identiteitsgegevens,
belastinggegevens, NAW-gegevens, adresgegevens, arbeidsgegevens,
onderwijsgegevens, politie-databases, KvK-gegevens, passagiersgegevens van
vluchten, enzovoorts. In totaal heeft de overheid meer dan 5000 databases met
persoonsgegevens en zit de gemiddelde Nederlander in tientallen van dergelijke
databases.30 Tegelijkertijd gebruikt de politie ook steeds vaker private
databases. Denk aan databases van bel- en internetbedrijven die bijhouden met
wie je contact hebt, of aan locatiegegevens en data verkregen via social media.
Daarnaast zien we dat de overheid naast het digitaliseren van bestaande
databases en het aanboren van private databases nog meer data over mensen verzamelt
door middel van op internet aangesloten apparaten en andere nieuwe
technologieĂ«n. Denk aan ANPR-camera’s boven snelwegen, geluidssensoren,
camera’s in binnensteden, scanauto’s voor parkeercontroles, en bodycams. Ook de
wildgroei aan smart city initiatieven – projecten waarbij hele steden
volgehangen worden met sensoren – worden hierbij gebruikt. Zelfs satellieten
worden voor dit doel ingezet.31 The way the camera follows us in slo-mo Boy in
the bubble - Paul Simon 18 Hiermee hebben overheden een completer overzicht van
ons leven dan welke overheid in de geschiedenis van de mensheid dan ook,
inclusief de autoritaire regimes van de 20e eeuw. En daarmee verschuift de
machtsbalans tussen mens en overheid richting de overheid. Maar de overheid
verzamelt niet alleen meer data, het koppelt en analyseert ook steeds meer
data. Een database geeft maar een klein beeld van iemands leven. Twee of drie
gekoppelde databases leveren al een completer beeld op, laat staan als
tientallen databases gekoppeld worden. Zo kan de overheid onder meer een beeld
krijgen van waar je je bevindt, met wie je contact hebt en waar je je geld aan
uitgeeft. Een completer beeld van iemands leven kun je je nauwelijks
voorstellen. De surveillancestaat: van SyRI en smart cities tot het Sociale
kredietsysteem Een voorbeeld van hoe dit nu gebruikt wordt is SyRI, oftewel
Systeem Risico Indicatie. Dit is een systeem van de Rijksoverheid dat
verschillende databases met persoonsgegevens aan elkaar koppelt om fraude op te
sporen. De data van meer dan tien verschillende databases wordt gekoppeld. Een
computer krijgt voorbeelden van bekende fraudeurs te zien en probeert op basis
van die data verbanden te herkennen in de data van onschuldige mensen. Er
bestaat op dat moment nog geen concrete verdenking. De data van onschuldige
mensen wordt verzameld, gekoppeld en geanalyseerd om te kijken of ze iets fout
gedaan hebben. Waar leidt dit toe? De verbanden tussen bekende fraudeurs en de
data van onschuldige mensen moeten worden gelegd door algoritmes die door mensen
worden gemaakt. Het probleem is dat niemand die algoritmes mag inzien, evenals
de data waarmee de algoritmes zijn getraind. Kortom, we hebben te maken met een
klassieke black box. Het zou bij wijze van spreken kunnen dat het algoritme
getraind is met data van alleen maar fraudeurs die op een oneven straatnummer
wonen, waardoor het algoritme concludeert dat mensen op een oneven straatnummer
eerder fraudeurs zijn. Door bias die zowel data-based (oude data, eenzijdige
data, statistisch ongeldige data) als rule-based (algoritmes gebaseerd op
onjuiste aannamen) kan zijn, liggen discriminatie en willekeur op de loer. Het
recht op privacy en de onschuldpresumptie zijn twee van de meest fundamentele
kernwaarden van onze samenleving. Het recht op privacy houdt in dat een
overheid niet zomaar in jouw privéleven mag rondneuzen en de onschuldpresumptie
betekent dat je onschuldig bent tot het tegendeel bewezen is. Samen beschermen
deze twee basisprincipes van onze rechtstaat mensen tegen discriminatie,
willekeur en onderdrukking. Ze beschermen tegen een te machtige staat die de
vrijheid van mensen beperkt. Artikel 8 lid 2 van het Europees Verdrag voor de
Rechten van de Mens zegt duidelijk: “Geen inmenging van enig openbaar gezag is
toegestaan in de uitoefening van dit recht, dan voor zover bij de wet is
voorzien en in een democratische samenleving noodzakelijk is in het belang van
de nationale veiligheid, de openbare veiligheid of het economisch welzijn van
het land, het voorkomen van wanordelijkheden en strafbare feiten, de
bescherming van de gezondheid of de goede zeden of voor de bescherming van de
rechten en vrijheden van anderen.” 19 Kortom, er is een zorgvuldige balans
nodig tussen het recht op privacy, de openbare veiligheid en het economisch
welzijn van het land. Het voorbeeld van SyRI markeert een punt in een verkeerde
trend die de balans doet doorslaan. Daarmee slaan we een weg in die onze
rechtstaat uitholt en uiteindelijk doodloopt. Deze technologie staat namelijk
allesbehalve stil. Opslag en rekenkracht van computers worden steeds groter en
sneller, sensoren en camera’s worden steeds beter en kunstmatige intelligentie
wordt steeds geavanceerder. Dit leidt weer tot nieuwe toepassingen, zoals
gezichtsherkenning, die gebruikt kunnen worden om mensen in real time te
identificeren. Waar kan dit allemaal toe leiden? China geeft het duistere
voorbeeld. De Chinese overheid is druk bezig een systeem te implementeren dat
mensen een ‘social credit score’ geeft. Data van bedrijven en overheden worden
gekoppeld om een beeld te krijgen van mensen en in hoeverre zij goede
onderdanen zijn. Slecht gedrag – het te laat betalen van boetes, door rood
rijden, vrienden zijn met mensen met een lage score, te lang gamen – levert
minpunten op. Goed gedrag – netjes je rekeningen betalen, kinderen krijgen,
vrienden hebben met een goeie score – zorgt voor pluspunten. Camera’s met
gezichtsherkenning zorgen voor handhaving door mensen real life te
identificeren en fout gedrag zoals door rood rijden te herkennen. Alles wat je
doet wordt constant in de gaten gehouden, geanalyseerd en beoordeeld. Dit is de
griezelige impact van digitalisering en dataficatie ten voeten uit. Maar ook in
democratische rechtstaten die vrijheid hoog in het vaandel hebben kan
surveillance doorslaan. Neem de onthullingen van klokkenluider Snowden. De
Amerikaanse inlichtingen- en veiligheidsdiensten hebben digitale technologieën
gebruikt om gegevens te verzamelen over honderden miljoenen onschuldige mensen
om ze te in de gaten te kunnen houden. Telefoongesprekken werden opgeslagen,
internetverkeer werd wereldwijd afgetapt en consumentenapparaten werden
gehackt. Maar ook in Nederland zien we dat onze straten, wijken en steden
volgehangen worden met camera’s en sensoren, dat onze levens gevat worden in
data en dat die data verzameld, gekoppeld en geanalyseerd wordt. De politie
heeft een databank van 1,3 miljoen foto’s.32 Scanauto’s voor parkeercontrole
worden ingezet voor alternatieve doeleinden.33 De politie gebruikt software die
misdaad voorspelt om de inzet van agenten te sturen34 en maakt misbruik van
camera’s die voor andere doeleinden zijn opgehangen.35 Ook krijgen
inlichtingen- en veiligheidsdiensten en opsporingsdiensten steeds meer
bevoegdheden om data te verzamelen, apparaten te kunnen hacken en data te
analyseren.36 Overal ter wereld zijn er steeds weer politici die encryptie
(versleuteling) willen verzwakken waardoor mensen en bedrijven niet meer veilig
en privé kunnen communiceren en beleidsmakers die nog makkelijker data van
onschuldige mensen willen koppelen en analyseren. 20 Na ‘Ik heb niets te
verbergen’ en ‘Wie veilig wil zijn moet maar wat privacy inleveren’ is ‘Privacy
is het schild van criminelen’ het nieuwe motto van de techno-utopisten van de
overheid. Zoveel verschilt die benadering niet van de techno-utopisten van de
techreuzen, accuraat samengevat in de roman The Circle als ‘sharing is caring
and privacy is theft’. Zij bekijken de wereld uitsluitend vanuit
veiligheidsoptiek. Het zijn hamers en alles wat ze zien is een spijker.
‘Privacy is het schild van criminelen’ is een totalitaire uitspraak, er is geen
nuance mogelijk. Mensen moeten al hun data delen met de overheid anders helpen
ze criminelen. Het leidt tot een samenleving zonder vrijheid en is volledig in
strijd met de vrije, democratische rechtstaat die Nederland is. Waar behoefte
aan is, is een overheid die opstaat tegen de datamacht van techreuzen om haar
burgers te beschermen door bij te sturen waar mogelijk en te begrenzen waar
nodig. Maar haast het omgekeerde gebeurt. Langzaam maar zeker ontkomt ook de
Nederlandse samenleving niet aan de praktijk van overheersende surveillance
door de overheid. Een gevoel waarbij toezicht de overhand heeft: alles wat je
doet wordt vastgelegd en bekeken. Een gevoel van onvrijheid die mensen
belemmert zichzelf te zijn, zichzelf te ontplooien en daadwerkelijk vrij te
zijn. Het gaat langzaam maar zeker de verkeerde kant op. Maar het is nog niet
te laat om het tij te keren. Maar dan moeten we wel nu beginnen. 21 Hoe we de
macht terugbrengen bij mensen. Tijd voor een digitale revolutie De verwondering
voorbij De tijden van wonderen en verwondering waar Paul Simon in 1986 over
zong zijn al lang en breed aangebroken. Het is ongelofelijk wat er allemaal
mogelijk is met digitale technologie. Zelfrijdende auto’s die ons van A naar B
brengen, 3D-printers die voedsel printen, de creatieve en levensechte games die
ons veel plezier brengen, salto springende robots en de mogelijkheid om
afstanden tussen mensen letterlijk en figuurlijk te verkleinen. Nederland
profiteert van- en draagt bovendien vol bij aan deze ontwikkelingen met
bedrijven als Adyen, The Next Web, Booking.com, Hackerone, Elastic, ASML en
Phillips. In potentie biedt digitalisering een enorme kans om de vrijheid van
mensen te vergroten, om mensen dichter bij elkaar te brengen, om mensen uit de
armoede te tillen, om mensen veiliger te maken. Het geeft mensen de
mogelijkheid om nieuwe bronnen van informatie aan te boren, om nieuwe passies
en lotgenoten te vinden. Het heeft de potentie om kansengelijkheid te vergroten
door informatie en kennis voor iedereen bereikbaar te maken. Gratis
initiatieven als CodeAcademy maken het voor iedereen mogelijk om te leren
coderen, een baan te vinden en zich omhoog te werken op de maatschappelijke
ladder. Dit is de belofte van digitalisering die we uit het oog zijn verloren.
We dachten dat die ontwikkeling vanzelf zou komen. We zijn vergeten dat
technologie niet automatisch onze waarden bevordert. We zijn vergeten dat
mensen technologie maken en dat mensen technologie zo moeten vormgeven dat de
waarden die we koesteren bewaakt in plaats van uitgehold worden. We zijn
vergeten dat we moeten vechten voor onze vrijheid, onze democratie en onze
rechtstaat. These are the days
of miracle and wonder, This is the long distance call. Boy in the bubble
- Paul Simon 22 We waren blind voor het sluipende mechanisme dat bedrijven en
overheden machtiger zou maken en mensen afhankelijker zou maken. Met als
gevolg: minder vrijheid, aantasting van onze democratie en uitholling van onze
grondrechten. Dit is geleidelijk verlopen en daarom pas achteraf
waarneembaar.37 Het is tijd dat wij, mensen, die macht weer teruggrijpen. Het
is tijd voor een digitale revolutie. Tijd voor een nieuwe scheiding der machten
in het digitale tijdperk. Het is nog niet te laat. Mits we concrete stappen
zetten om die macht terug te grijpen. Cruciale randvoorwaarden, uitgangspunten
en principes voor de digitale eeuw Het bovenstaande heeft laten zien dat
digitale technologieën een veelkoppig monster vormen dat verschillende
fundamenten van onze maatschappij onder vuur neemt. Dit vergt een brede en
samenhangende aanpak op verschillende niveaus. Alvorens we ingaan op een aantal
concrete voorstellen en maatregelen gericht op zowel bedrijven als overheden,
schetsen we een aantal centrale uitgangspunten waaraan een duurzame digitale
aanpak moet voldoen. Allereerst moet de mens centraal staan. Menselijke
waarden, ethische principes en burgerrechten dienen altijd leidend te zijn bij
de ontwikkeling en toepassing van digitale technologieën.38 Hierbij moet
gedacht worden aan transparantie, aanspreekbaarheid, uitlegbaarheid,
diversiteit, eerlijkheid en gelijkheid. Ten tweede moet sprake zijn van een
mondiale en Europese aanpak. Gezien het grensoverschrijdende karakter van
digitalisering zijn nationale oplossingen zelden zinvol. Internationale en
intergouvernementele samenwerking is noodzakelijk. Ten derde moet de oplossing
bij de bron (data) en bij het ontwerp (by design) beginnen. Vooraf nadenken
dus. Achteraf moet er onafhankelijk toezicht zijn om onwenselijke en oneerlijke
uitkomsten te herstellen. Ten vierde moeten bedrijven en overheden continu
investeren in onderwijs en onderzoek. Een hoog kennisniveau en voldoende
innovatiekracht zijn onmisbaar voor een leefbare digitale samenleving. Bedrijven
die menselijke waarden respecteren: minder datamacht, mediamacht &
marktmacht Het is hoog tijd om de datamacht die bedrijven over ons hebben in te
perken door de hoeveelheid beschikbare data terug te dringen. De nieuwe
Europese privacywet (AVG) is hierin een belangrijk onderdeel. Hoewel
persoonlijke data met deze wet nog geen formeel eigendom van de gebruiker zijn,
geeft deze wet mensen wel controle over data die bedrijven over hen hebben.
Mensen mogen hun persoonsgegevens inzien, wijzigen en verwijderen. Sommige
bedrijven nemen hierin ook al hun verantwoordelijkheid. Zoals Google dat mensen
via privacy instellingen de mogelijkheid geeft het verzamelen van data en het
tonen van gepersonaliseerde advertenties uit te zetten. Maar er is meer nodig.
De AVG zorgt er ook voor dat mensen toestemming moeten geven voor het delen van
hun gegevens. Concreet betekent dit dat websites, apps en browsers niet de
toegang mogen ontzeggen aan mensen die hun data niet willen afstaan. Bovendien
moeten de cookiemuren en de app- en browserinstellingen standaard ingesteld
staan op het niet verzamelen van data. In de praktijk is dit nog vrijwel
nergens het geval, al die websites, apps en browsers zijn in strijd met de
privacywet. De toezichthouder, de Autoriteit Persoonsgegevens, moet daarom
streng toezicht houden en voldoende 23 middelen hebben om haar werk goed te
kunnen doen. Momenteel beschikt de toezichthouder over te weinig middelen en
menskracht. 39 Het inperken van de mediamacht van bedrijven is ingewikkelder.
Bedrijven als Facebook, Twitter en Google hebben altijd volgehouden dat zij
slechts neutrale doorgeefluiken van informatie zijn. Zij zien zichzelf niet als
‘gatekeepers’ van informatie, maar zijn dat feitelijk wel. Via algoritmes
worden namelijk actief keuzes gemaakt om mensen bepaalde informatie en nieuws
te laten zien. Het zijn poortwachters, maar ze nemen niet de
verantwoordelijkheid die traditionele media wel op zich nemen. Het wordt tijd
dat deze bedrijven dat wel gaan doen om zo de ergste uitwassen van desinformatie
en manipulatie tegen te gaan. Dat zal geen gemakkelijke opgave zijn, want het
gaat om de vrijheid van meningsuiting. Net als privacy is dat grondrecht niet
absoluut en staat niks transparante en goed onderbouwde ingrepen van social
media bedrijven in de weg. Bovendien is er een model dat deze bedrijven kunnen
volgen, namelijk dat van traditionele mediaorganisaties. Deze hebben veelal een
redactie (en vaak zelfs een ombudsman) die onafhankelijk van adverteerders
bepaalt wat mensen te zien krijgen. Bij Facebook wordt wat mensen te zien
krijgen 1 op 1 bepaald door wat het meeste geld oplevert. Er moet dus ook bij
techreuzen een onafhankelijke redactie komen die bepaalt welke keuzes er
gemaakt worden in het algoritme dat bepaalt wat mensen zien. Daarnaast hebben
mediaorganisaties statuten waarin de journalistieke uitgangspunten op een
transparante manier opgeschreven staan. Dergelijke transparantie over de
uitgangspunten die ten grondslag liggen aan de inrichting van de algoritmes van
Facebook, Google en Twitter is essentieel. Daarnaast moeten afspraken gemaakt
worden met bedrijven als Facebook, Google en Twitter die voor een groot deel
het bezoekersaantal, en daarmee de inkomsten, van nieuwsmedia bepalen. De
aftakeling van de landelijke en regionale journalistiek is een zorgelijke
ontwikkeling in onze democratie. De journalistiek moet gehoord worden wanneer
bedrijven als Facebook wijzigingen in algoritmes doorvoeren met grote invloed
op de journalistiek. Hoe? Bedrijven als Google en Facebook die een grote invloed
hebben op de journalistiek en de manier waarop mensen nieuws tot zich nemen
moeten een speciale aanmerking krijgen tot ‘vitaal maatschappelijk bedrijf’.
Deze aanmerking moet bedrijven dwingen tot het nemen van concrete maatregelen
om het belang van journalistiek mee te nemen in belangrijke besluiten die van
invloed zijn op de journalistiek. Bijvoorbeeld door een dialoog te starten met
vertegenwoordigers van media om algoritmische keuzes te bespreken en daarover
open te communiceren. Zo kunnen we grote techreuzen dwingen hun
verantwoordelijkheid te nemen en de mediamacht van bedrijven terug te geven aan
mensen. De marktmacht van de grote industrialisten van de 20ste eeuw is met de
uitvinding van het mededingingsrecht en mededingingsautoriteiten doorbroken. Die
spelregels moeten we nu vertalen naar de digitale wereld om misbruik van
economische macht door grote techreuzen te stoppen. Ten eerste moet de optie
bestaan om techreuzen te splitsen. Facebook, Google en Apple bieden een grote
verscheidenheid aan diensten aan. Zo’n combinatie is gevaarlijk voor de
economie en de democratie. Verschillende diensten van een enkel bedrijf kunnen
namelijk moeiteloos data uitwisselen. En als poortwachter bepalen ze wie
toegang heeft tegen welke prijs. In Duitsland is Facebook bijvoorbeeld al
verboden om data van Duitse burgers uit Facebook, WhatsApp en Instagram te
combineren. 24 Op Europees niveau kunnen lidstaten gezamenlijk een sterke vuist
maken tegen dit soort praktijken. Miljarden mensen maken gebruik van WhatsApp
en Facebook betaalde voor de overname 21.8 miljard dollar. De toezichthouders
konden niet eens een onderzoek opstarten, omdat WhatsApp gratis is en daarom
nauwelijks omzet maakt. Een ouderwetse regel, waar je als consument de nadelen
van ondervindt. Toezichthouders moeten zich niet blindstaren op de omzet. Ze
moeten hun ogen open houden voor de overnamewaarde, de combinatie van data en
netwerkeffecten. De onafhankelijke mededingingsautoriteiten, in Nederland de
Autoriteit Consument & Markt (ACM), moeten een gezonde tegenmacht kunnen
vormen. Dit kan door fusies scherper te onderzoeken, daar voorwaarden aan te
verbinden of door ze te verbieden. Bovendien moeten opkomende techbedrijven een
eerlijke kans krijgen. Hun marktmacht geeft techreuzen een voorsprong die niet door
andere bedrijven in te halen is. Door techreuzen te verplichten om sommige data
te delen, kunnen nieuwe bedrijven hun eigen algoritmes even slim maken. Ook
moet het als klant makkelijk zijn om over te stappen van techbedrijf naar
techbedrijf. Als je genoeg hebt van Amazon moet jouw persoonlijke informatie
overgezet kunnen worden naar een Disney+ abonnement. Naast deze
dataportabiliteit zijn nog twee andere voorwaarden nodig, namelijk
interoperabiliteit en non-discriminatie. Dit betekent dat technische barrières
worden weggenomen zodat alle aanbieders met hun diensten kunnen inbreken bij de
dominante spelers. En dat diensten van concurrenten op het eigen platform niet
worden benadeeld. Als je je vrienden mee kan nemen van Facebook naar een ander
netwerk of als bedrijven hun eigen appstore op de iPhone kunnen zetten dan
wordt meer concurrentie en minder marktmacht mogelijk. Naast de verplichting
van de AVG om standaardinstellingen van apps en websites op het niet delen van
data in te stellen (opt-in) zijn dit de belangrijkste maatregelen om de
datahonger van techreuzen tegen te gaan. Als meer data niet langer meer geld
betekent en als meer data niet langer een dominante marktpositie oplevert
kunnen we echt een fundamentele verandering teweegbrengen en kunnen we
negatieve gevolgen voorkomen. Overheden die burgerrechten bewaken en
respecteren Naast het terugdringen van de datamacht van bedrijven moeten we de
digitale macht die overheden naar zich toe hebben getrokken weer terugpakken.
Die macht is het gevolg van het steeds meer verzamelen, koppelen en analyseren
van data. Dat begint met het inzichtelijk maken van het verschuiven van die
machtsbalans. We moeten weten hoeveel databases met persoonsgegevens de
overheid precies heeft opgesteld, welke databases precies door welke
overheidsorganisaties worden gekoppeld en op welke manier en met welk doeleinde
er analyses worden uitgevoerd. Daarnaast moeten duidelijke wettelijke
uitgangspunten geformuleerd worden die de digitale surveillancepraktijk in lijn
brengt met bestaande grondrechten. Zomaar databases met persoonlijke informatie
van onschuldige mensen koppelen en analyseren, zoals SyRI doet, kan niet zomaar
en op 25 grote schaal. Dit kan enkel en alleen als er een duidelijk en
belangrijk doel aan ten grondslag ligt, zoals uiteengezet in artikel 8 van het
Europees Verdrag van de Rechten van de Mens (EVRM). En mits het met (vooraf)
weldoordachte en (achteraf) controleerbare methodes gebeurt, die de privacy van
onschuldige mensen zo min mogelijk raken. In alle andere gevallen moet er een
concrete verdenking van een individu zijn als de overheid die databases wil
raadplegen. Hier moet een duidelijke richtlijn voor ontwikkeld worden. Alle
toepassingen van algoritmes die door databases met data van onschuldige mensen
spitten, zoals SyRI, moeten wettelijk ingekaderd en begrensd worden zodat de
Tweede Kamer controle kan behouden. Zolang deze duidelijke kaders er nog niet
zijn, dienen experimenten en toepassingen te worden stilgelegd. Dat betekent
ook dat ANPR-camera’s niet zomaar informatie over alle auto’s die langskomen
mogen opslaan, maar alleen over kentekens die onderdeel zijn van onderzoek.40
En dat nieuwe technologieĂ«n, zoals gezichtsherkenningscamera’s niet zomaar
mogen worden toegepast zonder breed maatschappelijke debat, duidelijke
richtlijnen en wettelijke waarborgen. Dat geldt ook voor het gebruik van
dergelijke camera’s voor het identificeren van niet-strafbare zaken zoals
‘verward’ gedrag of het samenkomen van een groep mensen of het opslaan van
informatie van iedereen die langsloopt. Ook hier geldt: eerst duidelijke kaders
die de technologie begrenzen, dan pas gebruik in de praktijk. Kun je door al
die digitale controle en surveillance meer misdaden opsporen? Waarschijnlijk
wel. Maar dat betekent niet dat we het moeten doen. Als de prijs van het
toepassen van die technologie het opgeven van grondwettelijke rechten en het
uithollen van de rechtstaat is, dan is die prijs te hoog. Technologie moet in
balans zijn met al onze basiswaarden. Ook moet er meer grip komen om de
wildgroei aan algoritmes en digitale technologie bij de overheid terug te
dringen. Elke gemeente, elk ministerie en elke overheidsorganisatie, zoals de
politie of het OM, is bezig met smart city experimenten of pilots met
kunstmatige intelligentie. Vaak gebeurt dit met weinig tot geen oog voor de
negatieve gevolgen. Bovendien is het belangrijk dat de Rijksoverheid de
algemene situatie bewaakt. Daarom moeten overheden de toepassing van
sensortechnologie, zoals gezichtsherkenningscamera’s, verplicht melden bij de
minister voor rechtsbescherming. Het terugbrengen van de macht van de overheid
op digitaal gebied is geen zwart/wit kwestie waarbij met een paar maatregelen
alles is opgelost. Het is een kwestie van constant afwegen in hoeverre al die
digitale technologieën samen leiden tot een situatie waarin er sprake is van
een te grote praktijk van surveillance. De minister voor rechtsbescherming moet
hierin een controlerende rol krijgen, inclusief de doorzettingsmacht om sommige
experimenten of praktische toepassingen van technologie te stoppen. Daarnaast
moet er een algoritme autoriteit komen die het gebruik van algoritmes kan
controleren op discriminatie of uitsluiting en deze kan terugdraaien. Ook moet
er een meldplicht komen voor het gebruik van ingrijpende algoritmes, zowel bij
de toezichthouder als bij de minister. Tot slot moet de overheid het goede
voorbeeld geven, bijvoorbeeld door middel van een gedegen afwegingsproces om
onbekende software-kwetsbaarheden te melden aan de producent in plaats van ze heimelijk
te bewaren voor eigen gebruik en door encryptie te waarborgen en geen
achterdeurtjes in te bouwen om te kunnen hacken. 26 Tijd voor een Digitale
Revolutie De afgelopen decennia is onze samenleving vergaand gedigitaliseerd.
Dat heeft ons veel gebracht, maar het heeft ook schade toegebracht. Aan onze
democratie en aan de machtspositie, de vrijheid, en de rechtspositie van
burgers. De echte prijs van de goedkope fossiele energie in de vorige eeuw zien
we nu terug in de klimaatcrisis. Zo zullen we ook de echte prijs van de gratis
diensten van techreuzen in de toekomst moeten dragen in de vorm van uitholling
van onze vrije, democratische rechtstaat. Tenzij we nu ingrijpen. De analyse
over de grote risico’s van digitalisering en datahonger van techreuzen wordt
breed gedeeld onder techdeskundigen. Wat echter lange tijd ontbrak was een
politieke vertaling van die analyse naar concrete voorstellen tot verandering.
Daar komt wereldwijd verandering in met de Amerikaanse senator (en
Democratische presidentskandidaat) Elizabeth Warren en de vice-voorzitter van
de Europese Commissie Margrethe Vestager (met de portefeuille digitalisering en
mededinging) als prominente voorbeelden. Dit pamflet is een eerste aanzet voor
het debat in Nederland. Waarbij simpele oplossingen voor dit probleem helaas
niet bestaan. Een maatschappij-brede visie is noodzakelijk. Met de maatregelen
die we in dit pamflet voorstellen wordt de macht terug gegeven aan mensen, en
de macht van bedrijven en overheden beperkt. Dat is essentieel om de risico’s
van digitalisering het hoofd te bieden, maar bovenal om de ongekende kansen ten
volste te kunnen benutten. Met deze maatregelen kan de belofte van digitale
technologie om de vrijheid van mensen te vergroten realiteit worden. Wie
gelooft in de positieve kracht van digitalisering wil juist de risico’s
aanpakken. Met deze maatregelen kunnen we de digitale revolutie concreet
vormgeven, onze waarden in het digitale tijdperk beschermen en mensen meer
vrijheid geven. Zo voorkomen we een techno-dystopie en komt een humaan digitaal
tijdperk binnen bereik. 27 Bijlage: De belangrijkste maatregelen in het kort
Macht van overheden inperken: • Maak een wettelijk kader voor het gebruik van
digitale besluitvormingssystemen zoals SyRI (die databases met gegevens van onschuldige
mensen koppelen en analyseren). Leg vast dat het enkel en alleen mag voor
zwaarwegende doeleinden en met voldoende, doordachte garanties om de
burgerrechten van onschuldige mensen te beschermen. • Maak een centraal
overzicht van het aantal databases en de mate van koppeling. • Stel een
Algoritme Autoriteit in en een meldplicht voor algoritmegebruik. Maak een
centraal overzicht voor vergaande algoritmes en automatische besluitvorming. Op
die manier kunnen de Tweede Kamer en toezichthouders hun controletaak beter
uitvoeren. • Verbied gezichtsherkenning en ingrijpende algoritmes tot er
wetgeving en toezicht is. • Stel een coördinerende minister in voor
rechtsbescherming tegen te grote datasurveillance vanuit de overheid. Macht van
bedrijven inperken: • Vergroot de bewustwording over digitalisering en
dataficatie onder mensen en kleine bedrijven. • Garandeer data-eigendom en
data-zeggenschap. Zet daarom stappen naar echte dataportabiliteit. • De
Europese privacywet AVG moet optimaal benut en gehandhaafd worden. Cookiemuren
zijn dus verboden en webinstellingen moeten standaard op het niet delen van
data staan. • Toezichthouders als de Autoriteit Persoonsgegevens (AP), het
Commissariaat voor de Media en de Autoriteit Consument en Markt (ACM) moeten
meer middelen krijgen om hun werk te perfectioneren. • Bedrijven als Google en
Facebook moeten hun maatschappelijke verantwoordelijkheid nemen. Dit betekent
dat ze een onafhankelijke redactie moeten instellen en openbare statuten moeten
opstellen die uiteenzetten hoe en waarom hun algoritmes keuzes maken. •
Bedrijven als Google en Facebook krijgen de aanmerking ‘vitaal maatschappelijk
bedrijf’ en moeten maatregelen nemen om belangen van de journalistiek te
betrekken in keuzes over hun algoritmes. Desinformatie en deepfake moeten
ingeperkt worden zonder censuur te veroorzaken. • Verdere maatregelen tegen
misbruik van economische macht: techreuzen opbreken; fusies verbieden;
algoritmes inzichtelijk maken; data-delen verplicht maken en interoperabiliteit
afdwingen. 28 Eindnoten 1 https://www.theguardian.com/technology/2012/feb/01/facebook-letter-mark-zuckerberg-text.
2 De fysieke infrastructuur van het internet bestaande uit kabels,
knooppunten, datacenters en servers bevindt zich grotendeels buiten het zicht
van mensen. De ach[1]terliggende
datastromen, computerkracht en algoritmes zijn voor de meeste mensen een blinde
vlek. Deze complexiteit van digitale technologie maakt het bijvoorbeeld ook
lastig om er in begrijpelijke taal over te communiceren. Het resultaat: steeds
zien we pas achteraf hoe ingrijpend de gevolgen zijn. 3 In haar boek “The Big
Nine” (2019) schrijft Amy Webb over de Amerikaanse en Chinese techreuzen en hun
denkende machines. Ze spreekt van “G-MAFIA” (Google, Microsoft, Amazon,
Facebook, IBM en Apple) en “BAT” (Baidu, Alibaba en Tencent). 4 Journalist
Huib Modderkolk beschrijft in zijn boek “Het is oorlog maar niemand die het
ziet” (2019) hoe we de controle over onze data zijn kwijtgeraakt: “Inlicht[1]ingendienst AIVD
trekt hele webfora leeg, inclusief de gegevens van mensen die geen doelwit van
de dienst zijn. En wat voor de geheime dienst geldt, geldt ook voor bedrijven
en overheidsinstanties.” 5 https://foreignpolicy.com/2016/06/29/the-man-who-nailed-jello-to-the-wall-lu-wei-china-internet-czar-learns-how-to-tame-the-web/.
6 Susskind (2019): “Future Politics”. 7 Voor een goede uitleg van deepfake en
de maatschappelijke risico’s, zie het recente rapport van Jarno Duursma
hierover: “Deepfake Technology. The
Infocalypse” (2019). https://www.jarnoduursma.nl/wp-content/uploads/2019/09/Jarno-Duursma-_-Deepfake-Technologie-The-Infocalypse.pdf.
8 https://www.theguardian.com/technology/2012/feb/01/facebook-letter-mark-zuckerberg-text.
9 Dit vormde ook de start van regelgeving om de risico’s te beperken. Van
de eerste Europese privacy richtlijn uit 1995 tot de cookiewet en uiteindelijk
de Algemene Verordening Gegevensbescherming. 10 https://www.ad.nl/binnenland/webcamafperser-stopt-strijd-in-nederland-en-wil-naar-canada-voor-zelfmoord-amanda~a7b67fb3/.
11 https://www.nrc.nl/nieuws/2008/07/25/man-veroordeeld-voor-gluren-met-webcam-11578707-a267367
12 https://www.nu.nl/internet/4936847/cybercrime-kost-nederlandse-economie-jaarlijks-10-miljard.html
13 Susskind beschrijft in zijn boek uitgebreid hoe technologie onze vrijheid
inperkt door overheden die surveilleren en gedrag voorspellen en door
techbedrijven die informatie filteren en algoritmes die onze keuzes
beĂŻnvloeden; hoe technologie onze democratie schaadt door desinformatie en
deepfake, fragmentarisering in filterbub[1]bles en echochambers
plus hatespeech door bots en trollen; hoe technologie ingrijpt op sociale
rechtvaardigheid door data-exploitatie zonder toestemming, oneerlijke
verdienmodellen en marktconcentratie alsmede het verkeerd behandelen en benadelen
van minderheden door schijnneutraliteit, statistische fouten oftewel bias (in
zowel data als algoritmes). Het is dan ook niet overdreven om te stellen dat
elke eigentijdse politicus zijn boek gelezen zou moeten hebben. 14 Vanwege hun
enorme omvang en macht worden techreuzen vaak gezien als een markt en zelfs een
staat op zichzelf. De vergelijking met een markt is begrijpelijk, maar wij
spreken liever van monopolie of monopsomie. De vergelijking met een staat is
minder voor de hand liggend omdat techreuzen mensen geen inspraak bieden,
commercieel zijn en tevens oncontroleerbaar. Evenmin zijn hun diensten
nutsfuncties die genationaliseerd kunnen worden. De suggestie van Susskind om
te spreken van economische spelers met politieke macht is goed bruikbaar. 15 Hiermee
bouwen we voort op de Techvisie 2.0 die D66 begin 2019 lanceerde:
https://d66.nl/techvisie-2-0-een-politieke-agenda-voor-de-digitale-toekomst/.
16 Tegenwoordig ook vaak het “chilling effect’ genoemd. 17 Welkom in de
waanzinnige wereld van de online advertentie industrie die draait om
gepersonaliseerd adverteren. U kent deze wereld wellicht van termen als
profiling en targeting maar verder heeft u waarschijnlijk geen idee van de
invloed die dit op uw gedrag heeft. 18 Ook omdat de Amerikaanse overheid –in
tegenstelling tot de Chinese Volkspartij- op grote afstand staat van de
techreuzen, ze ruim baan geeft en op onderdelen zelfs afhankelijk van ze is. 19 https://guce.techcrunch.com/copyConsent?sessionId=3_cc-session_442f8f6b-089a-4513-810b-1a5341fbc213&inline=false&lang=nl-NL.
20 https://www.vrt.be/vrtnws/nl/2018/05/16/google-werkt-samen-met-pentagon--en-niet-iedereen-is-daar-blij-m/.
21 China heeft daartoe een aantal staatsprogramma’s als One Belt, One Road (de
nieuwe Zijderoute) en Made in China 2025. 22 https://nos.nl/nieuwsuur/artikel/2227440-big-brother-2-0-in-china-bepaalt-je-sociale-score-je-leven.html
23 In de VS beschouwt men data als eigendom van bedrijven, in China als
eigendom van de staat en in Europa als eigendom van het individu. Je zou
respectievelijk kunnen spreken van surveillance kapitalisme, surveillance
socialisme en surveillance liberalisme. Over de immense impact van surveillance
heeft Shoshana Zuboff het boek “The Age of Surveillance Capitalisme”
geschreven. 24 https://d66.nl/europese-techvisie/ 25 De schrijver Yuval
Harari stelt in zijn boek Homo Deus zelfs dat mensen zelf ook algoritmes zijn
en dus zeer makkelijk stuurbaar en manipuleerbaar. 26 Daarbij zijn ook data,
code en algoritmes niet neutraal. Of preciezer gezegd: ze zijn misschien wel
neutraal maar daarmee juist oneerlijk. Dit omdat ze bestaande –menselijke-
aannames, vooringenomenheid en benadeling bevestigen en versterken. Zoals
Susskind zegt: neutraal is altijd in het voordeel van de machthebbers, nooit
van de minderheden en onderdrukten. 27 https://www.newyorker.com/news/our-columnists/mark-zuckerberg-doesnt-know-what-the-first-amendment-is-for
28 Economen spreken ook van het first-mover advantage en het
winner-takes-all-principe. Het komt er steeds op neer dat de dominante partij
met datamacht de beste algoritmes en daarmee de meest optimale dienst kan
ontwikkelen. Dit geeft een zichzelf versterkend effect dat concurrenten zo goed
als buitenspel zet. In de D66 initi[1]atiefnota
“Mededinging in de digitale economie” (2019) gaan we uitgebreider op deze
principes in:
https://www.tweedekamer.nl/kamerstukken/detail?id=2019Z02054&-
did=2019D04620. 29 In haar boek The Big Nine schetst Amy Webb ook hoe
machtsconcentratie en consolidatie kunnen leiden tot sociale gevolgen als
segregatie en polarisatie. Als de techreuzen hun dominante positie weten uit te
breiden naar steeds meer markten, kunnen zogenaamde Google-, Apple- en
Amazon-gezinnen ontstaan, die alles in hun smarthome afnemen van een enkele
aanbieder. 30 https://sargasso.nl/meer-dan-5000-databases-met-persoonsgegevens-bij-overheid/
31 https://www.security.nl/posting/486380/Overheid+verkent+gebruik+satellieten+voor+monitoring
32 https://www.security.nl/posting/617777/Politie+heeft+database+met+foto%27s+van+1%2C3+miljoen+mensen
33 https://nos.nl/nieuwsuur/artikel/2302813-opsporingsdiensten-ontdekken-nieuw-wapen-de-scanauto.html
34 https://nos.nl/artikel/2286848-overheid-gebruikt-op-grote-schaal-voorspellende-algoritmes-risico-op-discriminatie.html
35 https://www.rtlnieuws.nl/tech/artikel/4886461/politie-kon-jarenlang-onterecht-amsterdamse-cameras-bekijken
36 Onder meer op basis van de wet computercriminaliteit III (cc3) en de wet op
de inlichtingen- en veiigheidsdiensten (wiv). Hoewel deze wetten op
verschillende onderdelen zijn bijgestuurd en begrensd, is er nog geen goed
kader voor het gebruik van onbekende software-kwetsbaarheden door de overheid.
Daarom heeft D66 eind 2018 een initiatiefwet gediend om dit te regelen:
https://nos.nl/artikel/2264338-strengere-regels-nodig-voor-hacks-door-overheid-via-zero-day-bugs.html.
37 Amy Webb spreekt in dit verband van ‘papercuts’: geen grote explosie van
verandering maar een sluipend proces van kleine sneetjes die langzaam maar
zeker steeds meer nadelen en beperkingen opleveren. 38 Voor een humane
ontwikkeling van kunstmatige intelligentie zijn afgelopen jaren door
verschillende beleidsmakers en wetenschapers kernwaarden en principes
opgesteld. De belangrijkste zijn: de Asilomar AI Principles van het Future of
Life Institute, opgericht door natuurkundige Max Tegmark; An Ethical Framework
for a Good AI Society; en de EU High-Level Expert Group on Artificial
Intelligence. 39 In een recent onderzoek naar de benodigde middelen zijn drie
scenario’s uitgewerkt, ‘laag’, ‘middel’ en ‘hoog’ toezichtsniveau. Met het
huidige budget wordt zelfs het laagste toezichtsniveau niet gehaald. Dit
onderwerp is te belangrijk om de Autoriteit Persoonsgegevens niet uit te rusten
op het hoogste toezichtsniveau. 40 Dit principe heet doelbinding: data die
worden verzameld voor een bepaald doel, dienen ook enkel en alleen voor dat
doel te worden gebruikt. Een regel die maar al te vaak wordt geschonden.
Digitale technologieën hebben ons leven enorm verbeterd. Van wereldwijde
communicatie tot het genezen van ziektes. Maar in de begintijd van het internet
klonk een nog grotere belofte: internet zou de wereld openen, de mensheid
verbinden, welvaart beter verdelen, democratieën versterken en individuen
vrijer maken. Als we die utopische bril afzetten en kritisch kijken naar de
gevolgen van digitalisering, is er veel meer aan de hand dan de zichtbare kant
van blinkende gadgets, fraaie platforms en handige apps. De digitale droom is
niet uitgekomen. Sterker nog, de digitale droom verandert langzaam in een
nachtmerrie. De datahonger van techreuzen en overheden leidt tot de vele
privacyschandalen van Facebook, manipulatie van verkiezingen door bedrijven als
Cambridge Analytica en de onthullingen van Snowden. Maar nog fundamenteler
leidt het tot een verschuiving van macht die ons minder vrij maakt en onze
democratische rechtstaat aantast. Dit pamflet is geschreven om de digitale
sluipmoordenaar te ontmaskeren; om mensen te waarschuwen voor de fundamentele
verandering van onze samenleving, als gevolg van digitalisering. De invloed van
digitalisering op onze samenleving is onder de streep vooralsnog positief. Maar
als we haar niet voldoende afremmen, bijsturen en begrenzen slaat die balans de
verkeerde kant op. Niets minder dan onze vrije, democratische rechtstaat staat
op het spel. Het is tijd voor een digitale revolutie. We moeten voorkomen dat
tijden van verwondering en verbazing omslaan in tijden van catastrofes en
vervreemding.
Comments
Post a Comment