Using Metrics of Curation to Evaluate Information-Based Ideation

Penulis : Andruid Kerne, Andrew M. Webb, Steven M. Smith, Rhema Linder, Nic Lupfer, Yin Qu, Jon Moeller, dan Sashikanth Damaraju

Pengkaji : Dimas Agung Maulana Hidayatul Irsyad

URL  : http://dx.doi.org/10.1145/2591677

Abstrak

Evaluating creativity support environments is challenging. Some approaches address people’s experiences of creativity. The present method measures creativity, across conditions, in the products that people make. This research introduces information-based ideation (IBI), a paradigm for investigating open-ended tasks and activities in which users develop new ideas. IBI tasks span imagining, planning, and reflecting on a weekend, vacation, outfit, makeover, paper, internship, thesis, design, campaign, crisis response, career, or invention. What products do people create through engagement in IBI? Curation of digital media incor- porates conceptualization, finding and choosing information objects, annotation, and synthesis. Through engagement in IBI tasks, people create curation products. This article formulates a quantitative methodology for evaluating IBI support tools, building on prior creative cognition research in engineering design to derive a battery of ideationmetrics of curation. Elemental ideationmetrics evaluate creativity within curated found objects. Holistic ideation metrics evaluate how a curation puts elements together. IBI support environments are characterized by their underlying medium of curation. Curation media include lists, such as listicles, and grids, such as the boards of Pinterest. An in-depth case study investigates information composition, an art-based medium representing a curation as a freeform visual semantic connected whole. We raise two creative cognition challenges for IBI. One challenge is overcoming fixation—for instance, when a person gets stuck in a counterproductive men- tal set. The other challenge is to bridge information visualization’s synthesis gap, by providing support for connecting findings. To address the challenges, we develop mixed-initiative information composition (MI2C), integrating human curation of information composition with automated agents of information retrieval and visualization. We hypothesize that MI2C generates provocative stimuli that help users overcome fixation to become more creative on IBI tasks. We hypothesize that MI2C’s integration of curation and visualization bridges the synthesis gap to help users become more creative. To investigate these hypotheses, we apply ideation metrics of curation to interpret results from experiments with 44 and 49 participants

Review :

Jurnal ini membahas tentang dalam hubungan antara pertumbuhan informasi digital Big Data, inovasi kreatif telah muncul sebagai faktor paling penting yang mengarah ke penciptaan lapangan kerja dan Keberhasilan ekomnomi. Sebuah inti dari suatu inovasi adalah ideation, yaitu  penciptaan ide-ide baru. penulis membutuhkan lingkungan interaktif yang membantu orang-orang menggunakan informasi dalam mendukung aktivitas ideation. Untuk mengarahkan pengembangan lingkungan kearah  seperti itu, penulis juga harus mampu untuk mengevaluasi mereka, secara tidak langsung. Sebagai alternatif untuk memeriksa laporan diri pengalaman pribadi orang lain atau interaksi sosial mereka, penelitian ini mengembangkan metodologi yang mengevaluasi produk yang orang orang buat ketika terlibat dalam kegiatan inovasi dan informasi.

Diantara informasi yang melibatkan pekerjaan dan peranan manusia, informasi berbasis ideation (IBI) didefinisikan sebagai kegiatan yang membahas kreativitas dan inovasi dengan menghasilkan dan mengembangkan ide-ide baru. Penulis mengidentifikasi produk kreatif yang dihasilkan dari pengumpulan, pengorganisasian, dan anotasi serta kurasi sumber informasi digital. Penulis meneliti bagaimana berbagai media kurasi memberikan pengaruh tertentu untuk IBI, mencatat peran medium kurasi elemen dan dari kumpulan media, misalnya mereka, bagaimana media memungkinkan menempatkan elemen bersama-sama untuk membentuk keseluruhan. Penulis menggunakan prinsip dari seni dan teori budaya untuk membatasi paradigma informasi berbasis kurasi ideation untuk inovasi kreatif. Penulis menarik informasi dari psikologi kognitif, desain engineering, dan desain informasi untuk merumuskan suatu kurasi battery of ideation metrics  untuk mengevaluasi kreativitas. Penulis melakukan penelitian terkontrol di mana penulis membandingkan alat pendukung IBI dengan menggunakan ideation metrics dari kurasi produk untuk mengukur kreativitas para partisipan di semua kondisi. Paradigma untuk penyelidikan tentang bagaimana orang bekerja dengan informasi interaktif yaitu sensemaking, foraging, dan exploratory search. Sensemaking dikatakan berperan dalam tugas-tugas pengolahan informasi daripada dalam menciptakan pengetahuan baru. Representasi ditemukan untuk memainkan peran kunci. Orang-orang diberi tahu agar mengesampingkan representasi untuk mengurangi biaya operasi tugas, tapi bukti ini tidak disediakan. Informasi teori foraging juga sama, mengemukakan bahwa orang-orang memenuhi kebutuhan informasi dengan mengoptimalkan energi menguat terhadap waktu yang dihabiskan. Alamat pengalaman exploratory search  mencari experiences  di mana informasi yang dibutuhkan didefinisikan kembali secara iteratif. Hal ini ditandai dengan menggabungkan query dan strategi penelusuran untuk mendorong pembelajaran dan investigasi.

Dalam artikel ini, penulis mengembangkan paradigma IBI dan metodologi untuk perbandingan evaluasi lingkungan dukungan IBI terdiri dari: (1) melibatkan orang melakukan tugas-tugas IBI, seperti mengekspresikan ide dalam komposisi informal, menyusun motivasi dan implikasinya bagi diri dan kehidupan social, mengembangkan dan menghubungkan ide, opini, serta penjelasan, menemukan dan mengoleksi sejumlah informasi yang relevant, dan terakhir menggunakan ide sendiri untuk membuat komposisi koheren yang mengembangkan tema orisinil, strategi, dan arah. (2) memperoleh produk kurasi mereka, (3) mengukur kreativitas dengan kurasi ideation metrics, dan (4) membandingkan distribusi metrik ideation di kondisi. Alat visualisasi informasi dapat juga terlibat dalam pengalaman IBI. IBI menggeser membingkai ke perspektif yang berpusat manusia berfokus pada proses kreatif yang berarti bagi orang ketika mereka terlibat dengan informasi. IBI menyediakan metode untuk evaluasi dalam bentuk metrik kurasi yang dapat diterapkan untuk secara berbeda mengukur dampak lingkungan dukungan pada aspek kreativitas. Kognisi kreatif menyediakan sarana untuk penyelidikan dukungan IBI berdasarkan penelitian pada mekanisme pikiran. Pada saat yang sama, kognisi kreatif tidak membuat kesalahan epistemologis mengklaim untuk memperhitungkan semua aspek kreativitas. Begitu juga dengan penelitian ini. Pendekatan lain dari seni dan ilmu pengetahuan juga diperlukan, untuk misalnya, penyelidikan kualitatif dan sosial dari kegiatan IBI yang diperlukan. Penulis mengemukakan kurasi sebagai bentuk produk yang orang buat melalui keterlibatan dalam tugas-tugas IBI. Artinya, mengumpulkan benda-benda digital, menyusunnya, anotasi, dan refleksi. Penulis mencatat di sini bahwa kurasi sebenarnya merupakan bagian penting dari setiap penulisan laporan proses. "Anotasi" dapat melibatkan setiap jumlah menulis, membuat sketsa, dan rekaman. Terminologi tersebut menekankan secara asosiasiatif yang diberikan oleh Internet untuk menghubungkan benda-benda digital yang ditemukan. Kurasi digital menunjukkan bentuk laporan dan presentasi yang kaya dengan  media dan kutipan. Objek digital direferensikan di kurasi Encompass yang dibuat sendiri dan yang siap dibuat. Unsur-unsur ini kurasi dapat disimpan dalam repositori pribadi, keluarga, organisasi, kelembagaan, dan nasional. Benda-benda digital kecil yang dibuat orang hanya untuk diri mereka sendiri dan Big Data dari publikasi besar-besaran, dataset, gudang data, dan statistik kini semua berperan.

Penulis menyajikan komposisi informasi sebagai media ekspresif dan kreatif kurasi untuk orang yang terlibat dalam tugas-tugas IBI. Komposisi menekankan perbandingan dan penggabungan objek yang ditemukan serta anotasinya. Komposisi memberikan sintesis dan pembuatan ide, mendukung orang dalam berpikir di temuan yang ia kaji pada analisis mendalam. Penulis mengembangkan komposisi campuran informasi-inisiatif, di mana agen perangkat lunak terlibat dalam pencarian informasi dan visualisasi dari waktu ke waktu, bekerja sama dengan pengguna, untuk mendapat eksplorasi dan kurasi dalam kinerja tugas IBI. Penciptaan media baru untuk kurasi dan lingkungan interaktif secara bersamaan menunjukkan dukungan IBI pada lapangan terbuka. Studi kasus ini komposisi informasi merupakan sebuah rambu pada medan yang muncul. Membangun lingkungan informasi multiguna yang interaktif dan inisiatif memprovokasi dan mendukung kreativitas adalah agenda penelitian jangka panjang, yang membutuhkan penelitian berkelanjutan, investigasi ilmu pengetahuan terpadu, desain, kognisi, sosiologi, visualisasi informasi, informasi semantik dan pengambilan, penginderaan dan pengakuan, teknik interaksi, dan media digital, termasuk metode evaluasi tersusun yang menyelidiki efisiensi dari komponen sistem. Metodologi IBI memberikan peneliti empiris, berarti tujuan untuk mengevaluasi Media kurasi dan lingkungan dukungan IBI  baru. Informasi Berbasis informasi ideation memiliki potensi untuk membantu para peneliti melepaskan kekuatan data, besar dan kecil, untuk bahan bakar penemuan yang mendorong ekonomi penulis dan menanamkan kehidupan pribadi penulis dengan kepuasan.

Heuristic Evaluation for User Interface Design

Hai semuanya, pada kesempatan kali ini, saya akan melakukan evaluasi perancangan interface (antar-muka) dengan metode Heuristic Evaluation. Metode ini bertujuan untuk memperbaiki perancangan antarmuka sehingga fungsinya menjadi lebih efektif. Heuristic Evaluation melibatkan sejumlah set dari hasil pengamatan evaluator mengenai interface nya dan kesesuaiannya dengan prinsip usabilitynya. Heuristic evaluation memiliki sejumlah keuntungan, diantaranya :

   1. Tidak memakan banyak biaya
   2. Mudah dilaksanakan, kapanpun dan dimanapun
   3. Sejumlah besar masalah pada interface bisa diketahui saat itu juga
   4, Waktu yang singkat sehingga tidak membuang - buang waktu.

Situs yang telah ditentukan dan akan di review terkait pengujian Heuristic Evaluation ini adalah situs http://jogjakota.go.id// ,dalam rangka memenuhi tugas mata kuliah Interaksi Manusia dan Komputer, Departemen Ilmu Komputer, Institut Pertanian Bogor. Sehingga saya berharap agar evaluasi ini tidak dianggap sebagai sesuatu yang menjatuhkan, akan tetapi sebagai masukkan agar interface yang di evaluasi bisa menjadi lebih baik lagi.berikut sejumlah aspek yang saya evaluasi :

1. Aesthetic and Minimalist Design
2. Flexibility and Efficiency
3. Help users recognize, diagnose, and recover from errors
4. User Control and Freedom
5. Visibility of system status

User Control and Freedom - Jogjakota.go.id

User Control and Freedom merupakan bagian evaluasi dalam Heuristic evaluation dimana user harus dapat secara bebas memilih dan melakukan aksi (sesuai kebutuhan). User harus dapat mengambil keputusannya sendiri (dengan informasi yang jelas) berkaitan dengan aksi yang sedang/akan dilakukan. Bagian terpenting dalam evaluasi ini yaitu sistem tersebut harus memiliki kemampuan untuk  undo dan redo.

Berikut ini akan saya sampaikan sejumlah evaluasi pada situs jogjakota.go.id, di bagian User Control and Freedom

1. Tidak ada menu undo dan redo pada menu guestbook dan forum
   
   
   Pada situs  jogjakota.go.id, saya mencoba mengisi menu guestbook yang terdapat di menu KONTAK. namun yang menjadi perhatian saya adalah bagaimana jika saya ingin mengubah atau membatalkan data yang sudah saya masukkan, Jawabannya adalah TIDAK BISA, karena saya tidak dapat menemukan satupun menu undo bahkan redo pada menu dan sistem ini.
   
   
   
   
   
   
   
   Oleh karena itu, sebaiknya ditambahkan fungsi undo dan redo di bagian menu yang membutuhkan input data dari user, supaya user merasa nyaman dengan aktivitas mereka pada situs ini. Severity rating (skor keparahan) di bagian ini menurut useit dikategorikan sebagai 3, yakni sebaiknya HARUS diperbaiki dan diberikan prioritas TINGGI ketika situs akan diperbaiki karena ketersediaan menu undo dan redo sangatlah penting bagi kebebasan dan kenyamanan user dalam berinteraksi pada situs ini.
   
   
2. User tidak bisa memilih tampilan halamannya sendiri
   
   
   
   
   
   Pada situs Jogjakota.go.id, situs tidak memberikan sejumlah pilihan tampilan yang dapat dipilih user, sehingga tampilan situs tersebut benar benar statis. Severity rating (skor keparahan) dibagian ini yakni 1, hanya permasalahan desain, sehimgga tidak terlalu penting untuk diperbaiki kecuali memang terdapat sumber daya yang cukup untuk memperbaikinya. Namun begitu, saya merasa tidak ada salahnya memang bila ingin membuat menu yang dinamis yang dapat dipilih sesuka hati oleh user. Baiklah,sekian review evaluasi Heuristic Evaluation bagian User control and freedom, semoga dengan evaluasi ini situs Jogjakota.go.id dapat sedikit berbenah untuk meningkatkan kualitas situsnya menjadi lebih baik lagi. , 

Visibility of System Status - Jogjakota.go.id

Visibility of system status merupakan bagian evaluasi dalam Heuristic evaluation pada suatu sistem yang berfungsi sebagai notifikasi pada user tentang proses apa saja yang sedang terjadi di sistem tersebut melalui sejumlah feedback dengan waktu yang wajar (tidak terlalu lama).

Berikut ini akan saya sampaikan sejumlah evaluasi pada situs jogjakota.go.id, di bagian Visibility of system status

1. Setelah pengguna menyelesaikan sebuah/serangkaian aksi, tidak ada feedback ataupun notifikasi yang menyatakan sukses tidak nya aksi tersebut
   
   
   
   Pada situs  jogjakota.go.id, saya mencoba mengisi menu guestbook yang terdapat di menu KONTAK.
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   Pada bagian Guestbook, saat saya telah mengisikan sejumlah requirement pada field diatas lalu mengklik menu submit, tidak ada notifikasi yang menyatakan bahwa apakah yang kita isi sukses terentri pada sistem, namun hanya tampak seperti page tersebut seperti di refresh saja.
   
   
   
   
   
   
   
   Hal ini tentu menjadikan user tidak merasa nyaman, karena user akan berpikir "Apakah proses yang saya lakukan sudah berhasil atau belum ya?" Sehingga, sebaiknya dibuat suatu notifikasi apabila suatu input user sudah sukses, karena tentu tidak semua user akan nyaman dengan hal ini, bisa saja ada user yang penasaran lalu ia menginput secara terus - menerus karena tidak ada notifikasi bahwa apa yang telah di input user tersebut sudah sukses.
   
   
   Oleh karena itulah  severity rating (skor keparahan) di bagian ini menurut useit dikategorikan sebagai 2, yakni sebaiknya segera diperbaiki dan diberikan prioritas menengah ketika situs akan diperbaiki / maintenance, karena seperti yang saya sampaikan sebelumnya, tidak semua user akan nyaman dengan hal ini.
2. ikon-ikon dan skema desain pada halaman sistem belum konsisten
   
   
   
   
   
   
   Pada gambar diatas, terdapat ketidak-konsistenan gambar pada menu yang sama, yaitu info kota (dilingkari berwarna merah), dan travel guide (dilingkari berwarna biru). severity rating (skor keparahan) di bagian ini menurut useit dikategorikan sebagai 1, yakni bukanlah suatu prioritas terutama dalam maintenace sistem, namun sebaiknya tetap diperbaiki mengingat kita hanya perlu mengganti logo menunya saja, jadi seharusnya proses bisa berjalan lebih cepat.

Baiklah,sekian review evaluasi Heuristic Evaluation bagian Visibility of system status, semoga dengan evaluasi ini situs Jogjakota.go.id dapat sedikit berbenah untuk meningkatkan kualitas situsnya menjadi lebih baik lagi. 

Help users recognize, diagnose, and recover from errors - Jogjakota.go.id

Help users recognize, diagnose, and recover from errors,  merupakan bagian evaluasi dalam Heuristic evaluation agar pengguna tidak perlu mempertanyakan lagi mengenai perbedaan pemahaman pada sebuah kata dan kalimat, situasi dan aksi. Semua harus sudah mengikuti standar yang ada.

Berikut ini akan saya sampaikan sejumlah evaluasi pada situs jogjakota.go.id, di bagian Help users recognize, diagnose, and recover from errors

1. Pesan kesalahan yang ditampilkan menjelaskan bahwa yang melakukan kesalahan bukanlah sistem, tapi pengguna.
   
   

   Pada situs  jogjakota.go.id, saya mencoba mengisi menu guestbook yang terdapat di menu KONTAK secara asal untuk memicu pesan kesalahan yang terjadi. namun pesan kesalahn yang muncul menyatakan bahwa kesalahan dilakukan oleh user, seperti terkesan menyatakan bahwa sistem selalu benar, tanpa menyatakan secara detail bagaimana cara memulihkan diri dari kesalahan tersebut. misal, dikatakn alamat email salah, akan tetapi tidak diberi contoh tentang penulisan alamat email yang benar pada hint.
   
   

   

   
   

   Severity rating (skor keparahan) dibagian ini yakni 2, hanya permasalahan tata bahasa dan sedikit tambahan cara memulihkan diri dari error. sehingga sebaiknya diperbaiki pada saat maintenance, agar user lebih merasa nyaman ketika melakukan suatu kesalahan pada sistem dan mudah mempelajari bagaimana memulihkan kesalahannya.
2. Pesan kesalahan tidak menunjukkan separah apa kesalahan yang terjadi
   
   pada kesalahan seperti poin no.1 diatas, sistem tidak memberikan suatu tingkatan kesalahan yang dilakukan user, sehingga user akan merasa kesalahan yang ia lakukan biasa saja, sehingga ia tidak belajar dari kesalahan yang telah ia lakukan. Severity rating (skor keparahan) dibagian ini yakni 1, hanya permasalahan pemberian tingkat kesalahan yang terjadi dalam sistem.

Flexibility and Efficiency - Jogjakota.go,id

Flexibility and Efficiency merupakan bagian evaluasi dalam Heuristic evaluation yang berfungsi sebagai suatu akomodasi pengguna yang sudah ahli dan pengguna yang masih pemula, seperti suatu alternatif untuk pengguna yang “berbeda” dari pengguna biasa (secara fisik, budaya, bahasa, dll)

Berikut ini akan saya sampaikan sejumlah evaluasi pada situs jogjakota.go.id, di bagian Flexibility and Efficiency

1. Sistem belum mengakomodasi pengguna pemula dan ahli, pesan kesalahan belum dibedakan menurut pengguna-pengguna tersebut
   
   
   
   

   Pada situs  jogjakota.go.id, sistem belum mengakomodasi jenis jenis pengguna, sistem dibuat secara umum, saya lalu mencoba mengisi menu guestbook yang terdapat di menu KONTAK secara asal untuk memicu pesan kesalahan yang terjadi. namun pesan kesalahn yang muncul pun juga seragam / umum, tidak dibedakan denganb jenis jenis pengguna tertentu.

   Severity rating (skor keparahan) dibagian ini yakni 1, hanya permasalahan desain, sehingga tidak terlalu penting untuk diperbaiki kecuali memang terdapat sumber daya yang cukup untuk memperbaikinya. Namun begitu, saya merasa tidak ada salahnya memang bila ingin membuat menu yang dinamis yang dapat dipilih sesuka hati oleh user. 

   
   
   
   
   
2. Sistem belum menawarkan bahasa yang berbeda
   
   
   Tidak terdapat adanya pilihan bahasa yang berbeda, sehingga sistem hanya bisa digunakan oleh user yang menguasai bahasa tersebut saja. Severity rating (skor keparahan) dibagian ini yakni 2, sebaiknya diperbaiki karena walaupun ini hanya situs pemerintahan lokal, tidak menutup kemungkinan akan diakses juga oleh warga negara asing. 
   
   

Aesthetic and minimalist design - Jogjakota.go.id

Aesthetic and minimalist design merupakan bagian evaluasi dalam Heuristic evaluation yang berfungsi sebagai penghasil informasi yang relevan, karena informasi yang tidak relevan mengurangi
visibilitas dan usability dari sistem.

Berikut ini akan saya sampaikan sejumlah evaluasi pada situs jogjakota.go.id, di bagian Aesthetic and minimalist design

1. Informasi yang ditampilkan pada  halaman memungkinkan pengguna tidak dapat mengambil sebuah keputusan



Susunan menu yang terlalu kompleks dapat menyebabkan bingungnya user mencari informasi yang mereka inginkan, di mana letaknya, sehingga mereka akan menunda nunda aktivitas yang harus mereka lakukan pada sistem. Sebaiknya dibuat menu yang sesimpel mungkin sehingga user tidak perlu berpikir terlalu lama untuk memtuskan aksi apa yang akan mereka pilih.
Severity rating (skor keparahan) dibagian ini yakni 1, hanya permasalahan desain, sehingga tidak terlalu penting untuk diperbaiki kecuali memang terdapat sumber daya yang cukup untuk memperbaikinya.

2. Tabel tidak langsung digunakan untuk menampilkan data tabular
   
   dalam menampilkan data tabular, sistem tidak menampilkannya langsung dalam tabel, namun tabel tersebut dijadikan file yang harus di download terlebih dahulu oleh user.
   contohnya adalah ssat saya memilih submenu KEUANGAN di menu PEMERINTAHAN.
   
   
   
   
   Severity rating (skor keparahan) dibagian ini yakni 1, hanya permasalahan meilhat dengan tabel secara langsung atau tidak. sehingga tidak terlalu penting untuk diperbaiki kecuali memang terdapat sumber daya yang cukup untuk memperbaikinya.